Springboot Kafka 集成配置
Springboot 配置使用 Kafka前言一、Linux 安装 Kafka二、构建项目三、引入依赖四、配置文件生产者yml 方式Config 方式消费者yml 方式Config 方式五、开始写代码生产者发送成功回调和异常处理消费者接收异常处理七、开始测试测试普通单条消息测试消费者异常处理测试延时
kafka学习笔记
数据传输的事务定义有三种级别：1、最多一次，消息不回重复发送，最多被传输一次，但也有可能一次不传输2、最少一次，消息不会漏发，但是可能会被重复传输3、精确的一次（exactly one）：不会漏传，但是也不会重复传输，是大家所期望的。
flink 从savepoint、checkpoint中恢复数据
flink作业因为故障导致restart strategy失败或升级flink版本重新发布任务，这时就需要从最近的checkpoint恢复。一般而言有两种方案，第一种方案是开启checkpoint且任务取消时不删除checkpoint（调整参数execution.checkpointing.exte
（四）Kafka 消费者
不同于传统的消息系统，横向伸缩消费者和消费者群组并不会导致 Kafka 性能下降。除了通过增加消费者数量来横向伸缩单个应用程序，实际上，Kafka 的一个主要设计目标是。在这些应用场景中，我们希望。
kafka各种环境安装(window,linux,docker,k8s),包含KRaft模式
6、删除 topic,该操作在winodw，会出现文件授权问题，日志可以在kafka的启动命令窗口中查看，只需要修改文件权限即可，3、把主题中所有的数据都读取出来（包括历史数据），可以看到我们获取到了从消费者没有上线之前到上线之后的所有数据，一共6条。如果是linux，不使用window下的命令即可
flink cdc DataStream api 时区问题
这里主要使用第二种方式。/*** 处理Debezium时间转换的问题* Debezium默认将MySQL中datetime类型转成UTC的时间戳({@link io.debezium.time.Timestamp }) ，时区是写死的无法更改，* 导致数据库中设置的UTC+8，到kafka中变成了多
Kafka Connect详解及应用实践
Kafka Connect是一个用于数据导入和导出的工具。它能够把多种数据源（如MySQL，HDFS等）与Kafka之间进行连接，实现数据在不同系统之间的交互以及数据的流动。扩展性：Kafka Connect支持自定义Connector，用户可以通过编写自己的Connector来实现与更多数据源进行
Kafka集群安装部署（超详细操作演示）—— Linux
Kafka集群安装部署（超详细操作演示）—— Linux
Kafka的工作原理
pull模式的不足之处在于，如果kafka没有数据，消费者会陷入空循环中，针对这一点，Kafka的消费者会在消费时传入timeout参数，如果当前Kafka中没有数据，消费者会等待一个timeout时长再返回。，会被临时踢出ISR，待该follower恢复后，follower会读取本地磁盘记录的HW
黑马头条 热点文章实时计算、kafkaStream
《黑马头条》项目采用的是SpringBoot+springcloud当下最流行的微服务为项目架构，配合spring cloud alibaba nacos作为项目的注册和配置中心。新课程采用快速开发的模式，主要解决真实企业开发的一些应用场景。深入挖掘技术和业务的解决方案，做到更加的通用，能举一反三，
kafka 3.5.0集群环境部署（使用自带的zookeeper）
注意：先把集群所有节点的zookeeper启动起来，再启动kafka。
kafka如何保障数据不丢失
自动提交：设置为enable.auto.commit为true，表示开启自动提交，自动提交会在每次调用poll时，提交上次poll时的消费位移，每次poll时，都是提交上次的offset的位移，如果是在单线程的情况，不会出现消费丢失的情况，但是对应多线程的应用来说，就有可能出现消费丢失的情况，例如我
kafka 积压消息查询
在目录下，执行下面的脚本，查询kafka积压消息。
kafka如何保证消息的有序性
软件测试常见面试题：kafka如何保证消息的有序性
ELK-日志服务【kafka-配置使用】
kafka-0110.0.0.21kafka-0210.0.0.22kafka-0310.0.0.23【2】安装kafka集群
Kafka查看消息是否堆积（服务器）
kafka消息偏移量查看
Kafka3.0.0版本——消费者（消费者组详细消费流程图解及消费者重要参数）
Kafka3.0.0版本——消费者（消费者组详细消费流程图解及消费者重要参数）
DDS与MQ对比分析
努力了那么多年,回头一望,几乎全是漫长的挫折和煎熬。对于大多数人的一生来说,顺风顺水只是偶尔,挫折、不堪、焦虑和迷茫才是主旋律。我们登上并非我们所选择的舞台,演出并非我们所选择的剧本。继续加油吧！
kafka--kafka基础概念-ISR详解
因为P1S1同步数据 可能花费 50ms P1S2可能花费60ms。当绿色P1接收到写入的数据，要同步到紫色的P1S1和P1S2。使用In Sync Replicas 也就是ISR概念。同步时间是可以设置规定时间的（容忍时间）绿色部分主要监督 紫色部分有没有超时。主要是讲 主 往 从同步中的问题。
Spring boot使用Kafka Java反序列化漏洞 CVE-2023-34040
背景：公司项目扫描到 Spring-Kafka上使用通配符模式匹配进行的安全绕过漏洞 CVE-2023-20873Spring Kafka 是 Spring 框架提供的一个库，它提供了使用 Apache Kafka 的便捷方式。Apache Kafka 是一个开源的流处理平台，主要用于构建实时数据流
