架构必备能力——kafka的选型对比及应用场景
经过上述的讲解，我们不难知道Kafka的应用场景非常广泛，你可以只把他当MQ组件，也可以使用它进行日志传输或流处理。它的特点也非常鲜明，就是强大的吞吐量、扩展性和可靠性。当然它与传统MQ组件对比，它在复杂场景下的使用会比较麻烦。但其在大数据领域应用广泛，比如经常作为 Hadoop 的数据源，将数据传
【Kafka】记录一次基于connect-mirror-maker做的Kafka集群迁移完整过程
一个测试环境的kafka集群，Topic有360+，Partition有2000+，部署在虚拟机上，由于多方面原因，要求迁移至k8s容器内（全量迁移），正好可以拿来练一下手。本文主要记录对MM1和MM2的实际操作过程，以及使用过程中遇到的问题及解决方案。
Kafka-深度学习
当我最后更新我的知识时（2021年9月），Apache Kafka是一个流行的分布式消息队列系统，用于可靠地传输和处理大量的实时数据。Kafka的设计目标包括高吞吐量、可扩展性和容错性，使其成为处理实时数据流的理想工具。在本文中，我将为您写一篇关于Kafka的博客，并附上一些Java代码示例，以帮助
Springboot中解决kafka数据重复消费问题
消费者处理比较耗时，一次poll的数据，在max.poll.interval.ms达到最大值后仍未完成，未提交offest，默认值为5分钟。Ⅱ.使用自定义配置kafkaConfig则在消费者配置部分添加。1.提高max.poll.interval.ms的值。Ⅰ.使用springboot自动配置方式。
Windows上安装和配置Apache Kafka
Apache Kafka是一个开源的流式平台，用于处理实时数据流。它可以用于各种用途，包括日志聚合、事件处理、监控等。本文将向您展示如何在Windows操作系统上安装和配置Apache Kafka。
Kafka详解
Apache Kafka 是一个分布式发布 - 订阅消息系统和一个强大的队列，可以处理大量的数据，并使你能够将消息从一个端点传递到另一个端点。Kafka 适合离线和在线消息消费。Kafka 消息保留在磁盘上，并在群集内复制以防止数据丢失。Kafka 构建在 ZooKeeper 同步服务之上。它与 A
Kafka的底层“真面目”
kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。kafka对外使用topic的概念，生产者往topic里写消息，消费者从读消息。为了做到水平扩展，一个topic实际是
Kafka3.0.0版本——消费者（消费者组原理）
Kafka3.0.0版本——消费者（消费者组原理）
Kafka3.0.0版本——消费者（offset的默认维护位置）
Kafka3.0.0版本——消费者（offset的默认维护位置）
Kafka集群安装部署（自带zookeeper）
（不挂起），用于在系统后台不挂断地运行命令，退出终端不会影响程序的运行。以集群的方式运行，可以由一个或多个服务组成，每个服务叫做一个。文件，启动过程中没有报错，且有以下信息输出，说明启动成功。：该节点负责该分区的所有的读和写，每个节点的。默认情况下，删除是标记删除，没有实际删除这个。的节点列表，也就
模拟宕机后kafka的重新分区
直接停掉192.168.233.133:9092 (broker.id = 5)恢复192.168.233.133:9092 (broker.id = 5)宕掉的broker已经不在leader和Isr中，Replicas依然还在。Isr中已经恢复看到了，但是leader中还是没有。leader也能
Kafka 调优
挂载 (Mount) 文件系统时 , 禁掉 atime 更新 (access time，文件最后被访问的时间)Broker 设置堆大小 : 经验值 : JVM 堆大小 = 6～8GB。Broker 端调优 : 保持客户端版本和 Broker 端版本一致。，防止 Linux 的 OOM Killer
Kafka是什么，以及如何使用SpringBoot对接Kafka
继上一次教大家手把手安装kafka后，今天我们直接来到入门实操教程，也就是使用SpringBoot该怎么对接和使用kafka。当然，在一开始我们也会比较细致的介绍一下kafka本身。那么话不多说，马上开始今天的学习吧
Kafka核心原理第一弹——更新中
kafka的通信主要发生于生产端和broker之间，broker和消费端之间，broker和broker之间，这些通信都是基于TCP协议进行的，大家自己看看网络课程，底层基于TCP连接和传输数据，应用层的协议，是Kafka自己自定义的所谓自定义协议，就是定好传输数据的格式，请求格式、响应格式，这样大
FlinkSQL kafka完整案例 可直接复制使用
完整案例，可以直接使用。flinksql 消费kafka整体来说是十分简单好用的，使用时门口较低，实时性又高
大数据之使用Flume监听端口采集数据流到Kafka
本题来源于全国职业技能大赛之大数据技术赛项电商赛题 - 实时数据采集题目很简单。大数据处理涉及到海量的数据采集和处理，如何高效地采集数据是一个重要的问题。Flume是一个分布式的、可靠的、高可用的海量日志采集工具，可以轻松地采集、聚合和移动大量的数据。在数据采集过程中，Flume可以使用网络协议、文
kafka晋升之路-理论+场景
本文讲解了kafka的基本概念、常见问题、通过此篇文章，相信你对kafka已经有了一定的了解，赶紧实验起来吧。
科普rabbitmq，rocketmq，kafka三者的架构比较
拉取消息：RocketMQ 的消费者（Consumer）通过订阅 Topic 和指定消费者组（Consumer Group）来拉取消息。发送消息：RocketMQ 的生产者（Producer）将消息发送到指定的 Topic，并不能直接选择要发送到的队列，而是由 Broker 负责将消息分发到相应的队
Skywalking Kafka Tracing实现
Skywalking默认场景下，Tracing对于消息队列的发送场景，无法将TraceId传递到下游消费者，但对于微服务场景下，是有大量消息队列的业务场景的，这显然无法满足业务预期。
（二十八）大数据实战——Flume数据采集之kafka数据生产与消费集成案例
通过flume监听nc端口的数据，将数据发送到kafka消息的first主题中，然后在通过flume消费kafka中的主题消息，将消费到的消息打印到控制台上。该案例证明了flume1成功采集到了nc监听端口的数据，并将数据发送到了kafka主题first中，flume2成功从kafka主题中消费到了
