【SpringCloud】Kafka消息中间件
Kafka 是一个分布式流媒体平台,类似于消息队列或企业消息传递系统。producer相当于生产者，consumer相当于消费者。Kafka Cluster相当于快递驿站，broker1、broker2相当于1，2号快递员，topic为它们的要派送的快递；producer：发布消息的对象称之为主题生
在Spring Boot 中使用Kafka
确保在启动应用程序时 Kafka 已经正常运行，并且配置了正确的连接信息和主题名称。可以根据你的需要配置更多的 Kafka 相关属性，如序列化器、反序列化器等。现在，你可以在你的 Spring Boot 应用程序中通过。方法设置了 Kafka 消费者的配置，包括反序列化器。方法设置了 Kafka 生
Kafka数据重复和乱序的原因和跨会话幂等性问题
Kafka数据重复和乱序的原因和跨会话幂等性问题
【大数据技术基础 | 实验十四】Kafka实验：订阅推送示例
本实验介绍Kafka的安装部署，Kafka的topic创建及如何生成消息和消费消息，Kafka和Zookeeper之间的关系，了解Kafka如何保存数据及加深对Kafka相关概念的理解。
大数据技术Kafka详解 ② | Kafka基础与架构介绍
本文详细介绍开源高吞吐量分布式消息中间件kafka的架构与组件构成。
SpringBoot 整合 Avro 与 Kafka
优质博文：IT-BLOG-CN【需求】：生产者发送数据至 kafka 序列化使用 Avro，消费者通过 Avro 进行反序列化，并将数据通过 MyBatisPlus 存入数据库。【1】Apache Avro 1.8；【2】Spring Kafka 1.2；【3】Spring Boot 1.5；【4】
Kafka 如何保证数据不丢失？不重复？
当设置成false时，由于是手动提交的，可以处理一条提交一条，也可以处理一批，提交一批，由于consumer在消费数据时是按一个batch来的，当pull了30条数据时，如果我们处理一条，提交一个offset，这样会严重影响消费的能力，那就需要我们来按一批来处理，或者设置一个累加器，处理一条加1，如
kafka
Kafka和RocketMQ都提供了强大的扩展性，
Kafka+RabbitMQ+ActiveMQ看看消息队列设计精要2
消息队列已经逐渐成为企业IT系统内部通信的核心手段。它具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能，成为异步RPC的主要手段之一。当今市面上有很多主流的消息中间件，如老牌的ActiveMQ、RabbitMQ，炙手可热的Kafka，阿里巴巴自主开发的Notify、MetaQ、Rocke
Kafka之生产者
对Kafka体系结构中的生产者的相关基本知识和原理来进行介绍
Kafka-kraft模式部署与使用
Kafka-kraft模式部署与使用
一文上手Kafka【中】
Kafka当中消息的发送、接收及消息确认机制.
Kafka+RabbitMQ+ActiveMQ看看消息队列设计精要9
消息队列已经逐渐成为企业IT系统内部通信的核心手段。它具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能，成为异步RPC的主要手段之一。当今市面上有很多主流的消息中间件，如老牌的ActiveMQ、RabbitMQ，炙手可热的Kafka，阿里巴巴自主开发的Notify、MetaQ、Rocke
Kafka之消费者客户端
对Kafka消费者客户端相关的知识进行介绍
【快速入门】Kafka的安装部署
前提：在安装Kafka前要确保你的集群中有zookeeper我的三台服务器分别是bigdata01,bigdata02,bigdata03,并且修改了本机的hosts文件!
Kafka 如何保证消息不丢失
在消息中间件领域，Kafka 是一款广泛使用的分布式消息系统，在众多大数据和实时数据处理场景中有着重要地位。保证消息不丢失是 Kafka 可靠性的关键部分，这在很多对数据准确性要求高的业务场景中至关重要，比如金融交易数据传输、日志收集系统等。下面我们来详细探讨 Kafka 是如何做到这一点的。
【大数据学习 | kafka】kafka的ack和一致性
这个模式不会丢失数据，但是如果leader接受完毕数据并且将数据同步给不同的follower，从节点已经接受完毕，但是还没有返回给sender线程ack的时候，这个时候leader节点宕机了，sender没有接收到这个ack，它人为没有发送成功还会重新发送数据过来，会造成数据重复。在kafka的0.
Kafka为啥比RocketMQ快
- • RocketMQ 和 kafka 相比，在架构上做了减法，在功能上做了加法- • 跟 kafka 的架构相比，RocketMQ 简化了协调节点和分区以及备份模型。同时增强了消息过滤、消息回溯和事务能力，加入了延迟队列，死信队列等新特性。- • 凡事皆有代价，RocketMQ 牺牲了一部分性能
Flume采集Kafka数据到Hive
Hive表准备：确保hive表为：分区分桶、orc存储、开启事务。去hive数据表进行数据查看，数据成功同步过来。切换到flume的bin目录下，运行配置文件。启动Kafka写入数据。监控flume页面情况。
Kafka 3.5 源码导读
Kafka 3.5 是一个重要的版本，包含了一些新特性和改进。以下是对 Kafka 3.5 源码的一些导读，帮助你理解其核心组件和实现机制。
