kafka、zookeeper、flink测试环境、docker
kafka、zookeeper、flink测试环境
记一次Kafka重复消费解决过程
而且kafka消息拉取参数max-poll-records设置了500，意味着一次会批量拉取500条消息到本地处理，而max.poll.interval.ms参数默认是5分钟，当500条消息处理时长超过5分钟后，就会认为消费者死掉了，触发再均衡，导致同一个消息被重复消费。，一次拉取数据的最大数据量，
搭建ELK+Filebead+zookeeper+kafka实验
20.0.0.56的配置文件。这边不演示了,参考前面的博客。20.0.0.57配置文件。
基于Filebeat、Kafka搭建ELK日志分析平台详细步骤
基于Filebeat、Kafka搭建ELK日志分析平台详细步骤
解密Kafka主题的分区策略：提升实时数据处理的关键
理解Kafka主题的分区策略对于构建高性能的消息传递系统至关重要。深入探讨Kafka分区策略的重要性以及如何在分布式消息传递中使用它。Kafka是一个分布式消息传递系统，用于实现高吞吐量的数据流。消息传递系统的核心是主题（Topics），而这些主题可以包含多个分区（Partitions）。分区是Ka
Kafka（三）生产者发送消息
消息格式为JSON, 使用Jackson将类序列化为JSON字符串@Override在实际编码过程中，可以参考官方写的Kafka权威指南对应章节书写，或者参考各大云服务厂商的Kafak的开发者文档。不过我建议还是看Kafka权威指南， 我看了阿里云和华为云的，虽然都号称兼容开源Kafka，但是发现其
spring-kafka中ContainerProperties.AckMode详解
本文是一个深入讨论如何通过优化 Kafka 的消费者确认模式来提升 I/O 密集型系统性能的案例研究。首先分享了一个实际的性能问题，通过改变一行代码中的 Kafka 消费者确认模式配置，系统性能提升了几十倍。这引出了文章的主题：Spring-Kafka 中的七种确认模式（包括两种手动确认模式和五种自
Flink和Kafka连接时的精确一次保证
Flink和Kafka连接时的精确一次保证
6.2、Flink数据写入到Kafka
Flink数据写入到Kafka
kerberos认证Flink的kafka connector和kafka client配置
flink-connector-kafka 和 kafka client 在kerberos连接方式
在Linux操作系统上安装 kafka
在启动Kafka broker之前，您需要先启动Zookeeper实例。您可以从官方网站（https://kafka.apache.org/downloads）上下载最新版本的Kafka。其中，your_host_name是您计算机的主机名，这将是Kafka broker公开的地址。Kafka是一个
分布式 - 消息队列Kafka：Kafka 消费者消费位移的提交方式
到目前为止，我们知道消息的拉取是根据poll（）方法中的逻辑来处理的，这个poll（）方法中的逻辑对于普通的开发人员而言是一个黑盒，无法精确地掌控其消费的起始位置。与消费者中的其他处理过程一样，自动提交也是在轮询循环中进行的。假设刚刚提交完一次消费位移，然后拉取一批消息进行消费，在下一次自动提交消费
从零到Kafka：万字带你体验Spring Boot整合消息驱动的奇妙之旅
在Kafka 中，可以自定义消息的序列化和反序列化过程，以便按照需求对消息进行定制化处理。一般来说，Kafka 使用的默认序列化器是基于字节数组的序列化和反序列化。但有时候为了处理更复杂的消息格式需要自定义序列化器来处理。在Kafka中，如果需要使用自定义的序列化器，可以实现接口。假设处理自定义的对
Kafka保证消息幂等以及解决方案
1、幂等的基本概念幂等简单点讲，就是用户对于同一操作发起的一次请求或者多次请求的结果是一致的，不会产生任何副作用。幂等分很多种，比如接口的幂等、消息的幂等，它是分布式系统设计时必须要考虑的一个方面。查询操作(天然幂等)查询一次和查询多次，在数据不变的情况下，查询结果是一样的。查询是天然的幂等操作删除
zookeeper和kafka的安全认证机制SASL（静态）
zookeeper和kafka的安全认证机制SASL
【Docker】手把手教你使用Docker搭建kafka【详细教程】
手把手教你使用Docker搭建kafka
【Kafka面试】Kafka如何保证消息不丢失？
使用Kafka时，在消息的收发过程中都有可能会出现消息丢失。
Flink 获取 Kafka 中的数据，分流存储到 Redis、MySQL 中
实时存储，处理流数据，小案例。
Kafka——两种集群搭建详解
Kafka是一个能够支持高并发以及流式消息处理的消息中间件，并且Kafka天生就是支持集群的，今天就主要来介绍一下如何搭建Kafka集群。Kafka目前支持使用Zookeeper模式搭建集群以及KRaft模式（即无Zookeeper）模式这两种模式搭建集群，这两种模式各有各的好处，今天就来分别介绍一
KafkaConsumer 消费逻辑
版本：kafka-clients-2.0.1.jarkafkaConsumer 拉取消息的 offset 是存本地的，根据 offset 拉取消息。开启自动提交时，会自动提交 offset 到 broker（在一些场景下会手动检查是否需要提交），防止重启或reblance时 offset 丢失。而本
