2023_Spark_实验二十五：SparkStreaming读取Kafka数据源：使用Direct方式
通过终端模拟输入将数据输入到kafka集群，使用scala开发消费者消费kafka订阅的主题数据，实现词频统计。
Kafka事务是怎么实现的？Kafka事务消息原理详解（文末送书）
Kafka事务性消息是一项关键的功能，为确保数据一致性提供了重要的支持。在本部分，我们将深入了解Kafka事务性消息的基本概念。Kafka事务性消息的概念Kafka事务性消息是一种机制，用于确保消息的可靠性传递和处理。与非事务性消息相比，它们在数据处理中提供了额外的保证。一旦消息被写入Kafka集群
Docker快速安装kafka
【代码】Docker快速安装kafka。
部署Kafka
部署Kafka
kafka2.x常用命令：创建topic，查看topic列表、分区、副本详情，删除topic，测试topic发送与消费
kafka2.x常用创建topic，查看topic列表、分区、副本详情，删除topic，测试topic发送与消费指令
消息中间件（RocketMQ、RabbitMQ、ActiveMQ、Redis、kafka、ZeroMQ）以及之间的区别
面向消息的系统（消息中间件）是在分布式系统中完成消息的发送和接收的基础软件。消息中间件也可以称消息队列，是指用高效可靠的消息传递机制进行与平台无关的数据交流，并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息队列模型，可以在分布式环境下扩展进程的通信。消息队列已经逐渐成为企业IT系统内部通
Kafka 学习：默认端口号 9092
在 Kafka 中，消息被组织成一个或多个主题（Topics），并通过生产者（Producers）发布到主题，然后由消费者（Consumers）订阅并处理这些消息。Kafka 的默认端口号是 9092，本文将介绍如何使用 Kafka，并提供相关的源代码示例。在 Kafka 中，消息被组织成一个或多个
ELK+kafka+filebeat企业内部日志分析系统
本文主要详细讲述了ELK+kafka+filebeat企业内部日志分析系统，如何操作以及解决配置过程中的相关问题
【Kafka学习-3】Kafka命令
Kafka的命令都是基于bin目录下的脚本来使用的。
详解Kafka分区机制原理｜Kafka 系列 二
Kafka 系列第二篇，详解分区机制原理。为了不错过更新，请大家将本号“设为星标”。点击上方“后端开发技术”，选择“设为星标” ，优质资源及时送达上一篇文章介绍了 Kafka 的基本概念和术语，里面有个概念是 分区(Partition)。kafka 将 一个Topic 中的消息分成多份，分别存储在不
Kafka 集群如何实现数据同步？
Kafka 是一个高吞吐的分布式消息系统，不但像传统消息队列（RaabitMQ、RocketMQ等）那样能够【异步处理、流量消峰、服务解耦】还能够把消息持久化到磁盘上，用于批量消费。除此之外由于 Kafka 被设计成分布式系统，吞吐量和可用性大大提高Kafka 角色kafka 客户端生产者（prod
Springboot实战14 消息驱动：如何使用 KafkaTemplate 集成 Kafka？
消息通信机制的整体工作流程如下图所示：消息通信机制示意图上图中位于流程中间的就是各种消息中间件，消息中间件一般提供了消息的发送客户端和接收客户端组件，这些客户端组件会嵌入业务服务中。消息的生产者负责产生消息，在实际业务中一般由业务系统充当生产者；而消息的消费者负责消费消息，在实际业务中一般是后台系统
kafka报错
启动Kafka出现The Cluster ID doesn’t match stored clusterId错误需要删除在kafka路径下面的logs里面的meta.properties，这是因为 cluster.id 不匹配。
Kafka Connect ：构建强大分布式数据集成方案
在本篇文章中，深入探讨了 Kafka Connect 的核心架构、实战应用以及高级特性。通过详细的示例代码，展示了如何灵活应用 Kafka Connect 进行数据集成，连接多种数据源，实现实时数据流处理，并利用高级特性如Exactly Once语义、数据变换与清洗以及Connector的动态加载，
分布式消息队列Kafka（四）- 消费者
可以理解为分配的结果带有“粘性的”。即在执行一次新的分配之前， 考虑上一次分配的结果，尽量少的调整分配的变动，可以节省大量的开销。粘性分区是 Kafka 从 0.11.x 版本开始引入这种分配策略，首先会尽量均衡的放置分区到消费者上面，在出现同一消费者组内消费者出现问题的时候，会尽量保持原有分配的分
kafka常见命令介绍和使用
kafka常见命令介绍和使用
springboot 开启和关闭kafka消费
关闭kafka自动消费，手动开启和关闭kafka消费
简单实现，在nodejs中简单使用kafka
Kafka 是由Linkedin公司开发的，它是一个分布式的，支持多分区、多副本，基于 Zookeeper 的分布式消息流平台，它同时也是一款开源的基于发布订阅模式的消息引擎系统。
【Kafka】Kafka再平衡机制及相关参数
再平衡是指的是Consumer Group 下的 Consumer 所订阅的Topic发生变化时 发生的一种分区重分配机制。也就是说，再平衡也就是一种协议，它规定了如何让消费组下的所有消费者来分配 Topic 中的每一个分区。举个栗子：一个 Topic 有 100 个分区，一个消费者组内有有 20
docker搭建kafka
注意：云服务器需要设置安全策略放行2181与9092端口，否则访问失败。
