0
0

Kafka-Java四：Spring配置Kafka消费者提交Offset的策略

一、Kafka消费者提交Offset的策略

Kafka消费者提交Offset的策略有

  1. 自动提交Offset： 1. 消费者将消息拉取下来以后未被消费者消费前，直接自动提交offset。2. 自动提交可能丢失数据，比如消息在被消费者消费前已经提交了offset，有可能消息拉取下来以后，消费者挂了
  2. 手动提交Offset 1. 消费者在消费消息时/后，再提交offset，在消费者中实现2. 手动提交Offset分为：手动同步提交、手动异步提交
  3. 什么是Offset 1. 参考文章：Linux：【Kafka三】组件介绍

二、自动提交策略

  1.     Kafka消费者默认是自动提交Offset的策略
  3.     可设置自动提交的时间间隔
  1. package com.demo.lxb.kafka;
  3. import org.apache.kafka.clients.consumer.ConsumerConfig;
  4. import org.apache.kafka.clients.consumer.ConsumerRecord;
  5. import org.apache.kafka.clients.consumer.ConsumerRecords;
  6. import org.apache.kafka.clients.consumer.KafkaConsumer;
  7. import org.apache.kafka.common.serialization.StringSerializer;
  9. import java.time.Duration;
  10. import java.util.Arrays;
  11. import java.util.Properties;
  13. /**
  14.  * @Description: kafka消费者消费消息,自动提交offset
  15.  * @Author: lvxiaobu
  16.  * @Date: 2023-10-24 16:26
  17.  **/
  18. public class MyConsumerAutoSubmitOffset {
  20.     private  final static String CONSUMER_GROUP_NAME = "GROUP1";
  21.     private  final static String TOPIC_NAME = "topic0921";
  23.     public static void main(String[] args) {
  24.         Properties props = new Properties();
  26.         // 一、设置参数
  27.         // 配置kafka地址
  28. //        props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,
  29. //                "192.168.151.28:9092"); // 单机配置
  30.         props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG,
  31.                 "192.168.154.128:9092,192.168.154.128:9093,192.168.154.128:9094"); // 集群配置
  32.         // 配置消息 键值的序列化规则
  33.         props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
  34.         props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG,StringSerializer.class.getName());
  35.         // 配置消费者组
  36.         props.put(ConsumerConfig.GROUP_ID_CONFIG,CONSUMER_GROUP_NAME);
  38.         // 设置消费者offset的提交方式
  39.         // 自动提交：默认配置
  40.         props.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG,"true");
  41.         // 自动提交offset的时间间隔
  42.         props.put(ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG,"1000");
  44.         // 二、创建消费者
  45.         KafkaConsumer<String,String> consumer = new KafkaConsumer<String,String>(props);
  46.         // 三、消费者订阅主题
  47.         consumer.subscribe(Arrays.asList(TOPIC_NAME));
  49.         // 四、拉取消息，开始消费
  50.         while (true){
  51.             // 从kafka集群中拉取消息
  52.             ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(1000));
  53.             // 消费消息,当前是自动提交模式,在消息上一行消息被拉取下来以后,offset就自动被提交了,下面的代码如果出错,或者此时
  54.             // 消费者挂掉了,那么消费其实是没有进行消费的(也就是业务逻辑处理)
  55.             for (ConsumerRecord<String, String> record : records) {
  56.                 System.out.println("接收到的消息: 分区: " + record.partition() + ", offset: " + record.offset()
  57.                 + ", key值: " + record.key() + " , value值: "+record.value());
  58.             }
  59.         }
  60.     }
  61. }

上述代码中的如下代码是自动提交策略的相关设置 

  1.         // 设置消费者offset的提交方式
  2.         // 自动提交：默认配置
  3.         props.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG,"true");
  4.         // 自动提交offset的时间间隔
  5.         props.put(ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG,"1000");

三、手动提交策略

3.1、手动同步提交策略

  1.     手动同步提交，会在提交offset处阻塞。当消费者接收到 kafka集群返回的消费者提交offset成功的ack后，才开始执行消费者中后续的代码。
  3.     因为使用异步提交容易丢失消息，固一般使用同步提交，在同步提交后不要再做其他逻辑处理。
  1. package com.demo.lxb.kafka;
  3. import org.apache.kafka.clients.consumer.ConsumerConfig;
  4. import org.apache.kafka.clients.consumer.ConsumerRecord;
  5. import org.apache.kafka.clients.consumer.ConsumerRecords;
  6. import org.apache.kafka.clients.consumer.KafkaConsumer;
  7. import org.apache.kafka.common.serialization.StringSerializer;
  9. import java.time.Duration;
  10. import java.util.Arrays;
  11. import java.util.Properties;
  13. /**
  14.  * @Description: kafka消费者消费消息,手动同步提交offset
  15.  * @Author: lvxiaobu
  16.  * @Date: 2023-10-24 16:26
  17.  **/
  18. public class MyConsumerMauSubmitOffset {
  20.     private  final static String CONSUMER_GROUP_NAME = "GROUP1";
  21.     private  final static String TOPIC_NAME = "topic0921";
  23.     public static void main(String[] args) {
  24.         Properties props = new Properties();
  26.         // 一、设置参数
  27.         // 配置kafka地址
  28. //        props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,
  29. //                "192.168.151.28:9092"); // 单机配置
  30.         props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG,
  31.                 "192.168.154.128:9092,192.168.154.128:9093,192.168.154.128:9094"); // 集群配置
  32.         // 配置消息 键值的序列化规则
  33.         props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
  34.         props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG,StringSerializer.class.getName());
  35.         // 配置消费者组
  36.         props.put(ConsumerConfig.GROUP_ID_CONFIG,CONSUMER_GROUP_NAME);
  38.         // 设置消费者offset的提交方式
  39.         // 手动提交offset
  40.         props.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG,"false");
  41.         // 自动提交offset的时间间隔:此时不再需要设置该值
  42. //        props.put(ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG,"1000");
  44.         // 二、创建消费者
  45.         KafkaConsumer<String,String> consumer = new KafkaConsumer<String,String>(props);
  46.         // 三、消费者订阅主题
  47.         consumer.subscribe(Arrays.asList(TOPIC_NAME));
  49.         // 四、拉取消息，开始消费
  50.         while (true){
  51.             // 从kafka集群中拉取消息
  52.             ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(1000));
  53.             //  业务逻辑处理
  54.             for (ConsumerRecord<String, String> record : records) {
  55.                 System.out.println("接收到的消息: 分区: " + record.partition() + ", offset: " + record.offset()
  56.                 + ", key值: " + record.key() + " , value值: "+record.value());
  57.             }
  59.             // 当for循环业务逻辑处理结束以后,再手动提交offset
  60.             // 同步方式提交,此时会产生阻塞,当kafka集群返回了提交成功的ack以后,才会消除阻塞,进行后续的代码逻辑。
  61.             // 一般使用同步提交，在同步提交后不再做其他逻辑处理
  62.             consumer.commitAsync();
  64.             // do anything
  66.         }
  67.     }
  68. }

3.2、手动异步提交策略

  1.     异步提交，不会在提交offset代码处阻塞，即消费者提交了offset后，不需要等待kafka集群返回的ack即可继续执行后续代码。但是在提交offset时需要提供一个回调方法，供kafka集群回调，来告诉消费者提交offset的结果。
  1. package com.demo.lxb.kafka;
  3. import com.alibaba.fastjson.JSONObject;
  4. import org.apache.kafka.clients.consumer.*;
  5. import org.apache.kafka.common.TopicPartition;
  6. import org.apache.kafka.common.serialization.StringSerializer;
  8. import java.time.Duration;
  9. import java.util.Arrays;
  10. import java.util.Map;
  11. import java.util.Properties;
  13. /**
  14.  * @Description: kafka消费者消费消息,手动异步提交offset
  15.  * @Author: lvxiaobu
  16.  * @Date: 2023-10-24 16:26
  17.  **/
  18. public class MyConsumerMauSubmitOffset2 {
  20.     private  final static String CONSUMER_GROUP_NAME = "GROUP1";
  21.     private  final static String TOPIC_NAME = "topic0921";
  23.     public static void main(String[] args) {
  24.         Properties props = new Properties();
  26.         // 一、设置参数
  27.         // 配置kafka地址
  28. //        props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,
  29. //                "192.168.151.28:9092"); // 单机配置
  30.         props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG,
  31.                 "192.168.154.128:9092,192.168.154.128:9093,192.168.154.128:9094"); // 集群配置
  32.         // 配置消息 键值的序列化规则
  33.         props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
  34.         props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG,StringSerializer.class.getName());
  35.         // 配置消费者组
  36.         props.put(ConsumerConfig.GROUP_ID_CONFIG,CONSUMER_GROUP_NAME);
  38.         // 设置消费者offset的提交方式
  39.         // 手动提交offset
  40.         props.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG,"false");
  41.         // 自动提交offset的时间间隔:此时不再需要设置该值
  42. //        props.put(ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG,"1000");
  44.         // 二、创建消费者
  45.         KafkaConsumer<String,String> consumer = new KafkaConsumer<String,String>(props);
  46.         // 三、消费者订阅主题
  47.         consumer.subscribe(Arrays.asList(TOPIC_NAME));
  49.         // 四、拉取消息，开始消费
  50.         while (true){
  51.             // 从kafka集群中拉取消息
  52.             ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(1000));
  53.          
  54.             for (ConsumerRecord<String, String> record : records) {
  55.                 System.out.println("接收到的消息: 分区: " + record.partition() + ", offset: " + record.offset()
  56.                 + ", key值: " + record.key() + " , value值: "+record.value());
  57.             }
  58.             // 异步提交,不影响后续的内容。
  59.             // new OffsetCommitCallback是kafka集群会回调的方法,告诉消费者提交offset的结果
  60.             consumer.commitAsync(new OffsetCommitCallback() {
  61.                 @Override
  62.                 public void onComplete(Map<TopicPartition, OffsetAndMetadata> map, Exception e) {
  63.                     if(e != null){
  64.                         // 可将提交失败的消息记录到日志
  65.                         System.out.println("记录提交offset失败的消息到日志");
  66.                         System.out.println("消费者提交offset抛出异常:" + Arrays.toString(e.getStackTrace()));
  67.                         System.out.println("消费者提交offset异常的消息信息:" + JSONObject.toJSONString(map));
  68.                     }
  69.                 }
  70.             });
  72.             // 后续逻辑处理,不需要等到kafka集群返回了提交成功的ack以后才开始处理。
  73.             //do anything
  75.         }
  76.     }
  77. }
标签： java kafka spring
本文转载自: https://blog.csdn.net/qq_36769100/article/details/134029496
版权归原作者 叫我吕小布 所有， 如有侵权，请联系我们删除。
登录后发布评论

“Kafka-Java四：Spring配置Kafka消费者提交Offset的策略”的评论:

还没有评论
关于作者
...
overfit同步小助手
文章同步
相关阅读

网络安全法-网络运行安全

使用selenium/drissionpage时如何阻止chrome自动跳转http到https

docker desktop 里部署的Open WebUI 管理员密码忘记了的处理方法

在ubuntu20.04中搭建onsite比赛运行环境

利用开源的低代码表单设计器FcDesigner高效管理和渲染复杂表单结构

Kafka学习笔记

【前端】浏览器输入url到页面呈现发生了什么？