Kafka -- 初识
Kafka server，用来存储消息，Kafka 集群中的每一个服务器都是一个 Broker，消费者将从 broker 拉取订阅的消息 Producer 向 Kafka 发送消息，生产者会根据 topic 分发消息。最简单的方式从分区列表中轮流选择。producer 在发布消息的时候，可以为每条消
Kafka连接超时问题及解决方法
总结起来，连接超时是使用Kafka进行远程连接时常见的问题。然而，在使用Kafka进行远程连接时，有时会遇到连接超时的问题。更新Kafka版本：有时连接超时问题可能是由于Kafka本身的bug导致的。在这种情况下，可以尝试升级Kafka的版本，以修复已知的问题。在Kafka的配置文件中，有几个与连接
使用kafka_exporter监控Kafka
prometheus 监控 kafka 常见的有两种开源方案，一种是传统的部署 exporter 的方式，一种是通过 jmx 配置监控，本文将采用kafka_exporter方式实现，相比JMX，其优势在于不需要消耗 JVM资源，指标收集时间从分钟级别降到秒级别，便于大规模集群的监控。
Kafka、SpringMVC整合例子
logger.info("=============kafka消息订阅=============");logger.info("=============kafka消息订阅=============");//检查result结果集。logger.info("-----------------kafk
MQ - KAFKA 高级篇
网卡/磁盘等都可以认为是DMA设备,是一个半自治单元,比如网卡有它自己的运算单元(相当于特异化的cpu)和自己的缓存,网卡接收和发送数据时是不需要cpu的全程参与的,磁盘也是类似的.简单来讲就是dma设备就是cpu领导下的一个不太聪明的小弟,cpu负责指挥小弟去干活,但干活的过程中是不需要cpu参与
kafka中消息key作用与分区规则关系
在 kafka 2.0.0 的 java sdk 中ProducerRecord 中类注释如下说明了 key 与分区编号的关系。
Kafka消息发送失败的常见原因及解决方案
异步确认：生产者在发送消息后不等待Kafka服务器的确认响应，而是立刻发送下一条消息。Kafka生产者可以设置重试次数和重试间隔时间，当消息发送失败时，Kafka生产者将自动进行重试。- 同步确认：生产者在发送消息后，等待Kafka服务器的确认响应，直到收到确认响应之后才继续发送下一条消息。这种方式
Kafka3.0.0版本——集群部署（linux环境-centos7）
Kafka3.0.0版本——集群部署（linux环境-centos7）
Flink借助Kafka实现端到端精准一次
Flink结束Kafka实现端到端精准一次，包含检查点，保存点，状态后端的概念
（二十五）大数据实战——kafka集群及Kafka-Eagle控制台安装与部署
本节内容我们主要介绍一下搭建kafka集群以及kafka集群的一个web客户端组件Kafka-Eagle的部署安装，使用的kafka版本是kafka_2.12-3.0.0。在搭建kafka集群之前，我们要预先搭建好zookeeper集群，这里作者默认zookeeper的集群环境已经搭建完成，可参考作
Kafka中的auto-offset-reset配置
如果kafka服务器记录有消费者消费到的offset，那么消费者会从该offset开始消费。如果Kafka中没有初始偏移量，或者当前偏移量在服务器上不再存在(例如，因为该数据已被删除)，那么这时 auto.offset.reset 配置项就会起作用。
kafka详解
消息中间件处理节点，一个 Kafka 节点就是一个 Broker，一个或者多个 Broker 可以组成一个 Kafka 集群。
UI for Apache Kafka
UI for Apache Kafka
Kafka 基础知识-01
Kafka基础知识
2023_Spark_实验二十四：Kafka集群环境搭建
KafKa集群环境的搭建，zookeeper集群搭建，Kafka部署验证，2023
【kafka性能测试脚本详解、性能测试、性能分析与性能调优】
官方在kafka高版本发行时，修改了这个默认值，暂时理解为官网的推荐设置，但对于实时性较高的业务，比如实时统计用户访问量的分析，一般会启用这个配置，即设置为true，但对于可靠性较高的业务，比如银行的业务，宁可花费几分钟或几个小时的延时后再处理像信用卡支付的业务，也不会冒险处理错误的消息。因此，按真
关于Flume-Kafka-Flume的模式进行数据采集操作
关于Flume-Kafka-Flume的模式进行数据采集操作
kafka个人笔记
大部分内容源于, 本人手敲一边加强印象方便复习。
2023_Spark_实验二十三：Kafka的安装与基本操作
Kafka单节点模式部署，并测试
Kafka的启动、关闭及相关命令
在使用Kafka时，我们需要了解如何启动和关闭Kafka服务以及相关的命令。同时，熟悉和掌握Kafka的相关命令可以帮助我们管理和操作Kafka集群，实现高效的数据流处理。在启动Kafka Broker之前，需要准备一个Kafka配置文件，其中包含了Kafka Broker的相关配置信息。除了启动和
