Kafka系列之：延时队列

Kafka系列之：深入理解延时队列

一、延时队列概念和使用场景

• 队列是存储消息的载体，延时队列存储的对象是延时消息。所谓的延时消息是指消息被发送以后，并不想让消费者立刻获取，而是等待特定的时间后，消费者才能获取这个消息进行消费，延时队列一般也被称为延迟队列。
• 延时与TTL的区别：延时的消息达到目标延时时间后才能被消费，而TTL的消息达到目标超时时间后会被丢弃。

延时队列的使用场景有很多，比如：

• 在订单系统中，一个用户下单之后通常有30分钟的时间进行支付，如果30分钟之内没有支付成功，那么订单将进行异常处理，这时就可以使用延时队列来处理这些订单了。
• 订单完成1小时后通知用户进行评价。
• 用户希望通过手机远程遥控家里的智能设备在指定时间进行工作。就可以将用户指令发送到延时队列，当指令设定的时间到了之后再将它推送到智能设备。

二、延时队列实现方案

• 在发送延时消息的时候并不是先投递到要发送的真实主题中，而是先投递到要发送的真实主题中real_topic中，而是先投递到一些kafka内部的主题delay_topic中，这些内部主题对用户不可见，然后通过一个自定义的服务拉取这些内部主题中的消息，并将满足条件的消息再投递到要发送的真实的主题中，消费者所订阅的还是真实的主题。
• 按照不同的延时等级来划分，比如设定5s、10s、30s、1min、2min、5min、10min这些按延时时间递增的延时等级，延时的消息按照延时时间投递到不同等级的主题中，投递到同一主题中的消息的延时时间差范围之内（比如延时时间为17s的消息投递到30s的延时主题中，之后按照延时时间为30s进行计算，延时误差为13s）。虽然有一定的延时误差，但是误差可控，并且这样只需要增加少许的主题就能实现延时队列的功能。