kafka详解及集群环境搭建
kafka详解及集群环境搭建
Kafka同步发送与异步发送消息
生产者同步发消息，在收到kafka的ack告知发送成功之前一直处于阻塞状态
Apache Kafka Connect JNDI注入漏洞复现(CVE-2023-25194)
在Apache Kafka Connect中存在JNDI注入漏洞，当攻击者可访问Kafka Connect Worker，且可以创建或修改连接器时，通过设置sasl.jaas.config属性为com.sun.security.auth.module.JndiLoginModule，进而可导致JND
Flink Sql(二) Kafka连接器
如果作为TableSource，连接器会将读取到的topic中的数据（key,value），解释为对当前key的数据值的更新（UPDATE），也就是查找动态表中key对应的一行数据，将value更新为最新的值；需要特别说明的是，在KafkaTable的字段中有一个ts，它的声明中用到了METADAT
通过Java操作Kafka
通过Java操作Kafka
如何确定kafka与zookeeper版本的对应关系
授人以渔式确定kafka与zookeeper版本的对应关系
golang学习之go连接Kafka
window wsl 安装 java zookeeper kafka 及golang 连接kafka
Kafka 学习笔记
为什么使用消息队列？以用户下单购买商品的行为举例，在使用微服务架构时，我们需要调用多个服务。传统的调用方式是同步调用，这会存在一定的性能问题使用消息队列可以实现异步的通信方式，相比于同步的通信⽅式，异步的⽅式可以让上游快速成功，极大提高系统的吞吐量。在分布式系统中，通过下游多个服务的分布式事务的保障
Flink日志文件配置
因为在正常的情况下，Flink的流数据是非常大的，有时候会使用print()打印数据自己查看，有时候为了查找问题会开启debug日志，就会导致日志文件非常大，通过Web UI查看对应的日志文件是会非常卡，所以首先将日志文件按照大小滚动生成文件，我们在查看时不会因为某个文件非常大导致Web UI界面卡
kafka的分区详解
kafka的分区副本机制分区Leader选举☆分区重新分配☆创建集群和主题查看主题详情再添加一个分区再添加一个节点重新分配修改副本因子分区策略RangeAssignor分配策略RoundRobinAssignor分配策略StickyAssignor自定义分配策略主要内容 : kafka分区的管理
DataX二次开发——（6）kafkareader、kafkawriter的开发
基于阿里开源DataX3.0版本，开发kafka的读写驱动，可以实现从mysql、postgresql抽取数据到kafka，从kafka 消费消息写入hdfs等功能。
大数据Hadoop之——Kafka安全机制（Kafka SSL认证实现）
Kafka0.9.0开始引入丰富的安全认证机制，实现基础安全用户认证，将kafka上云或进行多租户管理的必要步骤安全，目前kafka支持`SASL`、`SSL`、`Delegation Token`这三种认证机制。
kafka连接zookeeper配置搭建环境、安装和启动，Windows环境下
kafka，分布式集群架构下，高性能的流式事件数据（主要是消息）集成、发布（生产）和订阅（分发、消费）组件（中间件）。kafka依赖zooeeper（数据后端），这里有Windows下安装配置启动zookeeper的 文章（1）：Windows 10环境zookeeper单机伪集群部署和配置_Zha
【Kafka】基于Docker的KRaft模式(无Zookeeper)集群安装及测试
最近项目中想使用kafka做消息系统，但安装好像很复杂，现在把安装过程记录一下。主流的安装方式是在服务器上直接安装，而我希望的是使用Docker。主流的Kafka使用Zookeeper，但最近Kafka将会逐步舍弃Zookeeper而使用自带的KRaft所以以下步骤是基于Docker安装无Zooke
kafka 中参数：session.timeout.ms 和 heartbeat.interval.ms的区别
文章目录1、heartbeat.interval.ms2、heartbeat.interval.ms 与 session.timeout.ms 的对比3、session.timeout.ms 和 max.poll.interval.ms4、一次kafka consumer 不断地 rebalance
大数据开发是做什么的？怎样入门？
我们现在正处于“互联网+”的时代，将互联网和传统行业融合，往往可以创造出1+1＞2的效果。这种1+1的模式，在编程语言的使用上也通用，比如Python+大数据开发，就可以在数字化经济中发挥巨大作用。目前，数字经济成为全球经济增长新动能，而我国的数字经济规模在世界上排行第二！从以量级计算的数据中找到背
kafka保证数据有序性小结
最近，项目中使用过kafka但是不太理解，然后各种搜博客补习。然后对kafka如何保证数据的有序性很感兴趣，于是乎，又疯狂找博客学习，现在可以说是小有心得，在这里记录一下，怕忘记。也作为给大家的一个分享。本文内容为集多家之长，根据自己的理解就诞生了这篇内容，开始。自己在学习的过程中，看完博客结合自己
kafka-consumer-groups.sh 命令行工具使用手册，附测试用例
kafka-consumer-groups 命令行工具使用手册，Kafka管理必备
MQ基本使用及重点内容
2、在消息消费时，要求消息体中必须要有一个 bizId（对于同一业务全局唯一，如支付ID、订单ID、帖子ID 等）作为去重的依据，避免同一条消息被重复消费。1、在消息生产时，MQ内部针对每条生产者发送的消息生成一个inner-msg-id，作为去重的依据（消息投递失败并重传），避免重复的消息进入队列
kafka配置
记录kafka配置
