Kafka - 3.x Kafka 生产者分区技巧全面指北
除了使用 Kafka 提供的默认分区器进行分区分配，还可以使用自定义的分区器，只需同DefaultPartitioner 一样实现 Partitioner 接口即可。默认的分区器在 key 为 null 时不会选择非可用的分区， 我们可以通过自定义的分区器 来打破这一限制，具体的实现可以参考下面的示
Zookeeper 和 Kafka 工作原理及如何搭建 Zookeeper集群 + Kafka集群
1 Zookeeper1.1 Zookeeper 定义1.2 Zookeeper 工作机制1.3 Zookeeper 特点1.4 Zookeeper 数据结构1.5 Zookeeper 应用场景1.6 Zookeeper 选举机制2 部署 Zookeeper 集群2.1 安装前准备2.2 安装 Zo
kafka消费者程序日志报错Offset commit failed问题研究
kafka消费者程序日志报错Offset commit failed问题研究
kafka日志文件详解及生产常见问题总结
日志文件是kafka根目录下的config/server.properties文件，配置log.dirs=/usr/local/kafka/kafka-logs，kafka一部分数据包含当前Broker节点的消息数据(在Kafka中称为Log日志)，称为无状态数据，另外一部分存在zookeeper上
Kafka的重要组件，谈谈流处理引擎Kafka Stream
今天我们学了一些关于Kafka Stream的内容太，知道了它是一种流处理引擎，可以消费Kafka中的数据，进行处理后，还能其转换为输出流。它特点在于不需要额外征用集群资源、易于使用、支持丰富的转换操作。使用场景包括实时数据分析、实时预测等
Kafka生产者示例：发送JSON数据到Kafka Topic
Kafka生产者示例：发送JSON数据到Kafka TopicKafka是一个高性能、分布式的流处理平台，广泛应用于大数据领域。本文将深入浅出地介绍如何使用Kafka生产者发送JSON数据到Kafka Topic，并附带相应的源代码。
ELK + kafka 日志方案
本文介绍使用ELK（elasticsearch、logstash、kibana） + kafka来搭建一个日志系统。主要演示使用spring aop进行日志收集，然后通过kafka将日志发送给logstash，logstash再将日志写入elasticsearch，这样elasticsearch就有
Kafka——配置文件详解
【代码】Kafka——配置文件详解。
kafka+Kraft模式集群+安全认证
kafka+Kraft模式集群+安全认证
Kafka的安装与配置
由于Kafka是用Scala语言开发的，运行在JVM上，因此在安装Kafka之前需要先安装JDK。
Kafka
Apache Kafka是一个开源分布式事件流平台，也是一种高吞吐量的分布式发布订阅消息系统，被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用程序。
Springboot Kafka整合（开发实例、连接、配置TOPICS、发送消息）—官方原版
Springboot Kafka整合—官方原版
kafka 的 ack 的三种机制
这些不同的确认机制可以根据应用程序的需求进行选择。如果对延迟非常敏感，可以选择acks=0，但要注意可能会丢失消息。如果对可靠性要求非常高，可以选择acks=all，但延迟可能会增加。acks=1通常是一种折中选择，提供了一定的可靠性而不会引入太多的延迟。Kafka的消息确认（acknowledgm
Kafka——管理Kafka(命令行工具)详解
有时候，我们需要知道提交的消费者群组偏移量是多少，比如某个特定的群组是否在提交 偏移量，或者偏移量提交的频度。也就是说，如果集群里有 5 个 broker，生产者的配额是 10MB/s，那么它可以以 10MB/s 的速率在单个 broker 上生成 数据，总共的速率可以达到 50MB/s。根 据分区
kafka 集群企业部署最佳实践
Kafka 是一款高性能、高可靠性、可水平扩展的分布式消息队列系统
java操作kafka
一.本地连接kafka发送消息：生产者同步发送消息和异步发送消息。
kafka和rocketMq的区别
1、RocketMQ 和 Kafka 都使用了顺序写机制，但相比 Kafka，RocketMQ 在消息写入时追求极致的顺序写，会在同一时刻将消息全部写入一个文件，这显然无法压榨磁盘的性能。而 Kafka 是分区级别顺序写，在分区数量不多的情况下，从所有分区的视角来看是随机写，但这能重复发挥 CPU
分布式 - 消息队列Kafka：Kafka生产者架构和配置参数
如果生产者发送消息的速度超过发送到服务器的速度，则会导致生产者空间不足，这个时候KafkaProducer的send（）方法调用要么被阻塞，要么抛出异常，这个取决于参数max.block.ms的配置，此参数的默认值为60000，即60秒。在默认情况下，生产者发送的消息是未经压缩的。如果应用程序调用s
KAFKA (2.12-2.2.1)常用命令和kafka tool 工具使用
Kafka tool为kafka 较为通用的客户端连接工具之一，通过连接kafka直接明了的查看kafka数据、创建删除topic，添加kafka数据完成简单流程验证、查看topic消费情况等功能Kafka Tool 工具下载地址:Kafka 连接配置1）启动 Kafka Tool在安装目录下，双击
ZooKeeper+Kafka+ELK+Filebeat集群搭建实现大批量日志收集和展示
如果重新创建topic时报错，需要删掉/tmp/kafka-logs/meta.properties才能正常启动，另外配置文件中一定要写好zookeeper的连接属性：zookeeper.connect=10.10.200.33:2181,10.10.200.34:2181,10.10.200.35
