解决Kafka新消费者组导致重复消费的问题
通过使用唯一的消费者组ID、利用Kafka的消费者组协调器或手动管理消费者偏移量，我们可以避免重复消费并确保消息的正常处理。无论是使用唯一的消费者组ID、利用Kafka的消费者组协调器，还是手动管理消费者偏移量，都需要根据团队的实际情况来进行选择和配置。如果我们使用相同的消费者组ID，Kafka会将
如何做 Kafka 的性能测试
如何做 Kafka 的性能测试
Kafka 之生产者与消费者基础知识：基本配置、拦截器、序列化、分区器
自定义生产者拦截器类需要继承 org.apache.kafka.clients.producer.ProducerInterceptor，并实现其中的方法：onSend(ProducerRecord record)是发送消息之前的切面方法；onAcknowledgement(RecordMetada
【kafka】记一次kafka基于linux的原生命令的使用
环境是linux，4台机器，版本3.6，kafka安装在node 1 2 3 上，zookeeper安装在node2 3 4上。遇到不熟悉的sh文件，直接输入名字并回车，就会提示你可用的命令参数。安装好kafka，进入bin目录，可以看到有很多sh文件，是我们执行命令的基础。在其中的一台机器上起一个
一个基于Kafka客户端封装的工具，Kafka开发效率神器
topic列表topic创建topic删除topic的分区列表，分区和副本数删除groupId集群的节点列表消费者列表指定topic的活跃消费者列表生产数据到指定的topic,同步接口{"topic":"RULEa93304e6d844000","partition":1,"offset":681}
Linux系统上搭建高可用Kafka集群（使用自带的zookeeper）
Apache Kafka 是一个高吞吐量的分布式消息系统，被广泛应用于大规模数据处理和实时数据管道中。本文将介绍在CentOS操作系统上搭建Kafka集群的过程，以便于构建可靠的消息处理平台。
@KafkaListener注解详解（一）| 常用参数详解
KafkaListener 注解提供了许多可配置的参数，以便更灵活地定制 Kafka 消息监听器的行为。
Linux——kafka常用命令
kafka常用命令
Kafka Tool（Kafka 可视化工具）安装及使用教程
不同版本的Kafka对应不同版本的工具，个人使用的是2.11，所以下载的是最新的2.0.8版本（Kafka0.11之后版本就需要用Kafka Tool 2）选中某一个message，点击“Message”查看详情，默认是“Text”格式（如果想看到JSON格式，只需要设置下“View Data As
Kafka基本原理、生产问题总结及性能优化实践 | 京东云技术团队
Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、Storm/Spark流
一百七十二、Flume——Flume采集Kafka数据写入HDFS中（亲测有效、附截图）
Flume采集Kafka数据写入HDFS中
用好kafka，你不得不知的那些工具
工欲善其事，必先利其器。本文主要分享一下消息中间件kafka安装部署的过程，以及我平时在工作中针对kafka用的一些客户端工具和监控工具。本文分享了平时我在工作使用kafka以及zookeeper常用的一些工具，同时分享了kafka集群的部署，值得一提的是kafka部署配置zookeeper地址的时
为Kafka动态设置用户名密码访问权限
推荐下载kafka的kafka_2.13-3.5.0版本，本配置方法基于kafka_2.13-3.5.0版本，其他版本可能略有调整。kafka安装目录为/opt/kafka。在bin目录下的kafka-server-start.sh文件，将kafka_server_jaas.conf文件目录加入到配
kafka详解一
kafka是一个分布式的、基于发布订阅模式的消息队列，主要应用于大数据实时处理领域。PROCESSSTOREkafka的分区策略决定了producer生产者产生的一条消息最后会写入到topic的哪一个分区中/***/1、指定具体的分区号//1、给定具体的分区号，数据就会写入到指定的分区中2、不给定具
Kafka生产者与消费者api示例
consumer的消费位移提交方式：全自动定时提交到consumer_offsets半自动然后手动触发提交 consumer.commitSync()；提交到consumer_offsets全手动写自己的代码去把消费位移保存到你自己的地方mysql/zk/redis/提交到自己所涉及的存储；初始化时
Kafka - 3.x Kafka 生产者分区技巧全面指北
除了使用 Kafka 提供的默认分区器进行分区分配，还可以使用自定义的分区器，只需同DefaultPartitioner 一样实现 Partitioner 接口即可。默认的分区器在 key 为 null 时不会选择非可用的分区， 我们可以通过自定义的分区器 来打破这一限制，具体的实现可以参考下面的示
Zookeeper 和 Kafka 工作原理及如何搭建 Zookeeper集群 + Kafka集群
1 Zookeeper1.1 Zookeeper 定义1.2 Zookeeper 工作机制1.3 Zookeeper 特点1.4 Zookeeper 数据结构1.5 Zookeeper 应用场景1.6 Zookeeper 选举机制2 部署 Zookeeper 集群2.1 安装前准备2.2 安装 Zo
kafka消费者程序日志报错Offset commit failed问题研究
kafka消费者程序日志报错Offset commit failed问题研究
kafka日志文件详解及生产常见问题总结
日志文件是kafka根目录下的config/server.properties文件，配置log.dirs=/usr/local/kafka/kafka-logs，kafka一部分数据包含当前Broker节点的消息数据(在Kafka中称为Log日志)，称为无状态数据，另外一部分存在zookeeper上
Kafka的重要组件，谈谈流处理引擎Kafka Stream
今天我们学了一些关于Kafka Stream的内容太，知道了它是一种流处理引擎，可以消费Kafka中的数据，进行处理后，还能其转换为输出流。它特点在于不需要额外征用集群资源、易于使用、支持丰富的转换操作。使用场景包括实时数据分析、实时预测等
