安装配置Kafka，并使用Java集成Kafka
Kafka 是Java 语言编写的，因此需要在安装 Kafka 之前先安装 Java 运行环境。Kafka 支持 Java 8 及以上版本。可以通过以下命令检查 Java 运行环境的版本Kafka 的运⾏环境依赖于 ZooKeeper，Kafka 使用 ZooKeeper 进行分布式协调，因此在安装
大数据-52 Kafka 基础概念和基本架构 核心API介绍 应用场景等
上节我们完成了Redis的高可用、主从模式、一主多从、一主一从、哨兵模式、Docker-compose进行配置测试。本节我们开始学习Kafka，基础概念、基本架构、核心API介绍、应用场景。Kafka最初是由Linkedin公司开发，是一个分布式、分区的、多副本、多生产者、多消费者、基于ZK的。常见
大数据-57 Kafka 高级特性 消息发送相关01-基本流程与原理剖析
上节完成了Kafka JavaAPI的使用，在SpringBoot中进行测试。本节研究Kafka的高级特性，消息发送相关的：基本流程 和 原理剖析部分。该配置设置了一个延迟，生产者消息不会立即将消息送到Broker，而是等待这么一段时间以积累消息，然后将这段消息之类的消息作为一个批次发送，该设置是批
大数据-61 Kafka 高级特性 消息消费02-主题与分区 自定义反序列化 拦截器 位移提交 位移管理 重平衡
上节我们完成了消费组测试、消费组心跳机制、相关配置参数等内容。本节研究Kafka高级特性的 主题与分区 自定义反序列 拦截器 位移提交 重平衡 如何避免重平衡等概念问题。重平衡可以说是Kafka中诟病最厉害的一部分。重平衡是一个协议，它规定了如何让消费者组下的所有消费者来分配Topic中每一个分区。
大数据-78 Kafka 集群模式 集群的应用场景与Kafka集群的搭建 三台云服务器
上节研究了Kafka的延时队列、重试队列。本节进入Kafka最后的环节，Kafka集群模式的搭建。多节点的Kafka集群搭建。Kafka的需要用户在由多个阶段组成的处理管道中处理数据，其中原始输入数据从Kafka主题中使用，然后进行汇总，充实或以其他方式转换为新主题，以供进一步使用或后续处理。Kaf
如何查看Kafka的偏移量offset
如何查看Kafka的偏移量offset
大数据-76 Kafka 高级特性 稳定性-消费重复 生产者、Broker、消费者 导致的重复消费问题
上节研究了Kafka的稳定性-一致性保证，而且研究了LEO和HW，以及Leader和Follower何时更新LEO和HW。本节研究消费消息重复，出现数据重复的环节有：生产者阶段、Broker阶段、消费者阶段。以及给出对应阶段的解决方案。
Kafka吞吐量高的原因
Apache Kafka能够实现高吞吐量的原因归结于其独特的设计和架构选择。
大数据-63 Kafka 高级特性 分区 副本机制 宕机恢复 Leader选举
上节完成kafka-topics基本参数和使用，涉及创建、查看、修改等等内容。本节学习Kafka的高级特性：分区，包含副本机制、宕机恢复、Leader的选举。副本之间的关系并不是固定不变的，在Leader所在的Broker发生故障的时候，就需要进行分区的Leader副本和Follower副本之间的切
大数据-67 Kafka 高级特性 分区 分配策略 Ranger、RoundRobin、Sticky、自定义分区器
上节Kafka高级特性分区-副本数量调整，业务中遇到副本调整需求，但是无法直接修改，需要JSON+脚本的方式来进行配置。本节分区-分区策略，有Ranger、RoundRobin、Sticky等策略，最后实现自定义分区器。需要实现org.apache.kafka.clients.consumer.in
消息中间件：深入理解 Kafka 的核心架构与组件解析
Kafka 是一种流行的分布式流处理平台，广泛应用于实时数据处理和消息队列场景。本文将深入解析 Kafka 的核心架构及其各个组成部分，包括 Broker、主题、分区、生产者、消费者、消费者组、Zookeeper、日志、偏移量，以及 Leader-Follower 机制。通过清晰的关系图和详细的解释
大数据-65 Kafka 高级特性 分区 Broker自动再平衡 ISR 副本 宕机恢复再重平衡 实测
上节完成模拟Kafka集群中的分区重新分配，当线上Kafka节点不够用时，新增节点后，分区不会分配，需要脚本来重新分配。本节我们继续研究分区中Broker的自动再平衡，当Broker宕机再恢复后，分区也不会恢复，需要脚本进行自动再重平衡。
大数据-72 Kafka 高级特性 稳定性-事务 (概念多枯燥) 定义、概览、组、协调器、流程、中止、失败
上节完成了Kafka高级特性的磁盘存储部分，涉及到零拷贝、磁盘文件传输、JavaNIO、mmap、sendfile等概念信息。本节继续Kafka高级特性：事务（概念较多很枯燥。生产者可以显式的发起事务会话，在这些会话中发送（事务）消息，并提交或中止事务。原子性：消费者的应用程序不应暴露于未提交的消息
基于Canal和Kafka实现MySQL的Binlog近实时同步
近段时间，业务系统架构基本完备，数据层面的建设比较薄弱，因为笔者目前工作重心在于搭建一个小型的数据平台。优先级比较高的一个任务就是需要近实时同步业务系统的数据（包括保存、更新或者软删除）到一个另一个数据源，持久化之前需要清洗数据并且构建一个相对合理的便于后续业务数据统计、标签系统构建等扩展功能的数据
部署kafka时OS需要做什么?
kafka作为一个突出读写性能的消息队列组件。如何做好性能调优，是我们的一个课题。这里我们探讨在os层面，可以对集群进行哪些优化。
Kafka-偏移量（含消费者事务）
Kafka偏移量
大数据-64 Kafka 高级特性 分区 分区重新分配 实测
上节研究Kafka的分区相关副本机制、同步节点、宕机恢复、Leader选举过程等。本节上机实际测试 分区重新分配的 全流程过程。向已经部署好的Kafka集群里添加机器，我们需要从已经部署好的Kafka节点中复制相应的配置文件，然后把里边的 BrokerID 修改为全局唯一的，最后启动这个节点即可让它
大数据-69 Kafka 高级特性 物理存储 实机查看分析 日志存储一篇详解
上节我们研究了Kafka的物理存储，日志存储的概述，日志切分文件，索引切分文件。本节继续研究Kafka的物理存储，日志存储模块，实机查看分析。如果是CreateTime则无法保证顺序。在偏移量索引文件索引中，索引数据都是顺序记录Offset，但时间戳索引文件中每个追加的索引时间戳必须大于之前追加的索
ELK+Kafka+Filebeat日志分析系统详细！！！
ElasticSearch是一个基于Lucene的开源分布式搜索服务。只搜索和分析日志特点：分布式，配置简洁，自动发现，索引自动分片，索引副本机制，多数据源等。它提供了一个分布式多用户能力的全文搜索引擎。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是第二
