KafKa 3.x（三、Eagle、Kraft、压测调优，源码解析）
Kafka-Eagle框架用于监控Kafka集群运行状况。官网https://kafka-eagle.org。
一百零八、Kettle采集Kafka数据到HDFS（踩坑，亲测有效）
Kettle采集Kafka数据到HDFS
kafka详解
kafka是一款分布式、支持分区的、多副本，基于zookeeper协调的分布式消息系统。最大的特性就是可以实时处理大量数据来满足需求。
docker如何搭建Kafka
Kafka是一个分布式流处理平台，用于高吞吐量、低延迟的数据传输和处理。一般是用做分布式系统的消息中间件。
Kafka跨集群备份解决方案MirrorMaker
从本质上说，MirrorMaker 就是一个消费者 + 生产者的程序。消费者负责从源集群（Source Cluster）消费数据，生产者负责向目标集群（Target Cluster）发送消息。整个镜像流程如下图所kafka跨集群备份解决方案MirrorMaker示：MirrorMaker 连接的源集
kafka入门，节点服役和退役（新增节点和删除节点）(十二)
kafka入门，节点服役和退役（新增节点和删除节点）。
kafka-3-kafka应用的核心要点和内外网访问
kafka应用的核心要点和内外网访问
SpringBoot——集成Kafka详解
我们知道，kafka中每个topic被划分为多个分区，那么生产者将消息发送到topic时，具体追加到哪个分区呢？这就是所谓的分区策略，Kafka 为我们提供了默认的分区策略，同时它也支持自定义分区策略。若发送消息时指定了分区（即自定义分区策略），则直接将消息append到指定分区；若发送消息时未指定
Springboot Kafka 集成配置
Springboot 配置使用 Kafka前言一、Linux 安装 Kafka二、构建项目三、引入依赖四、配置文件生产者yml 方式Config 方式消费者yml 方式Config 方式五、开始写代码生产者发送成功回调和异常处理消费者接收异常处理七、开始测试测试普通单条消息测试消费者异常处理测试延时
kafka学习笔记
数据传输的事务定义有三种级别：1、最多一次，消息不回重复发送，最多被传输一次，但也有可能一次不传输2、最少一次，消息不会漏发，但是可能会被重复传输3、精确的一次（exactly one）：不会漏传，但是也不会重复传输，是大家所期望的。
flink 从savepoint、checkpoint中恢复数据
flink作业因为故障导致restart strategy失败或升级flink版本重新发布任务，这时就需要从最近的checkpoint恢复。一般而言有两种方案，第一种方案是开启checkpoint且任务取消时不删除checkpoint（调整参数execution.checkpointing.exte
（四）Kafka 消费者
不同于传统的消息系统，横向伸缩消费者和消费者群组并不会导致 Kafka 性能下降。除了通过增加消费者数量来横向伸缩单个应用程序，实际上，Kafka 的一个主要设计目标是。在这些应用场景中，我们希望。
kafka各种环境安装(window,linux,docker,k8s),包含KRaft模式
6、删除 topic,该操作在winodw，会出现文件授权问题，日志可以在kafka的启动命令窗口中查看，只需要修改文件权限即可，3、把主题中所有的数据都读取出来（包括历史数据），可以看到我们获取到了从消费者没有上线之前到上线之后的所有数据，一共6条。如果是linux，不使用window下的命令即可
flink cdc DataStream api 时区问题
这里主要使用第二种方式。/*** 处理Debezium时间转换的问题* Debezium默认将MySQL中datetime类型转成UTC的时间戳({@link io.debezium.time.Timestamp }) ，时区是写死的无法更改，* 导致数据库中设置的UTC+8，到kafka中变成了多
Kafka Connect详解及应用实践
Kafka Connect是一个用于数据导入和导出的工具。它能够把多种数据源（如MySQL，HDFS等）与Kafka之间进行连接，实现数据在不同系统之间的交互以及数据的流动。扩展性：Kafka Connect支持自定义Connector，用户可以通过编写自己的Connector来实现与更多数据源进行
Kafka集群安装部署（超详细操作演示）—— Linux
Kafka集群安装部署（超详细操作演示）—— Linux
Kafka的工作原理
pull模式的不足之处在于，如果kafka没有数据，消费者会陷入空循环中，针对这一点，Kafka的消费者会在消费时传入timeout参数，如果当前Kafka中没有数据，消费者会等待一个timeout时长再返回。，会被临时踢出ISR，待该follower恢复后，follower会读取本地磁盘记录的HW
黑马头条 热点文章实时计算、kafkaStream
《黑马头条》项目采用的是SpringBoot+springcloud当下最流行的微服务为项目架构，配合spring cloud alibaba nacos作为项目的注册和配置中心。新课程采用快速开发的模式，主要解决真实企业开发的一些应用场景。深入挖掘技术和业务的解决方案，做到更加的通用，能举一反三，
kafka 3.5.0集群环境部署（使用自带的zookeeper）
注意：先把集群所有节点的zookeeper启动起来，再启动kafka。
kafka如何保障数据不丢失
自动提交：设置为enable.auto.commit为true，表示开启自动提交，自动提交会在每次调用poll时，提交上次poll时的消费位移，每次poll时，都是提交上次的offset的位移，如果是在单线程的情况，不会出现消费丢失的情况，但是对应多线程的应用来说，就有可能出现消费丢失的情况，例如我
