Flink从Kafka读取数据流写入到MySQL
今天来实现一个综合案例：Flink从独立部署的Kafka读取数据流，处理后，通过自定义的Sink函数写入到MySQL中部署一个Kafka服务，源源不断的想主题kafka发送数据参考：SpringBoot整合Kafka效果Flink思路：从Kafka源源不断获取的数据为User实体的JSON字符串，需
关于kafka数据丢失场景的一次激烈讨论.... |文末送书
大家好,我是彦祖~问题描述最近彦祖发现,有不少同学 对 acks 和 min.insync.replicas 的配置存在不少误解.刚好拿一个同学的问题,来好好说明一下根据上面提的几个问题, 整理一下几个知识点acks = all的概念是什么？min.insync.replicas 是怎么用的？什么情
Flume集群安装部署、Kafka集群安装部署以及Maxwell安装部署实战
Flume集群安装部署、Kafka集群安装部署以及Maxwell安装部署实战
Kafka生产者——消息发送流程，同步、异步发送API
Kafka的Producer发送消息采用的是异步发送的方式。在消息发送的过程中，涉及到了两个线程:main线程和Sender线程，以及一个线程共享变量:RecordAccumulator。①main线程中创建了一个双端队列RecordAccumulator，将消息发送给RecordAccumulat
kafka详解及集群环境搭建
kafka详解及集群环境搭建
Kafka同步发送与异步发送消息
生产者同步发消息，在收到kafka的ack告知发送成功之前一直处于阻塞状态
Apache Kafka Connect JNDI注入漏洞复现(CVE-2023-25194)
在Apache Kafka Connect中存在JNDI注入漏洞，当攻击者可访问Kafka Connect Worker，且可以创建或修改连接器时，通过设置sasl.jaas.config属性为com.sun.security.auth.module.JndiLoginModule，进而可导致JND
Flink Sql(二) Kafka连接器
如果作为TableSource，连接器会将读取到的topic中的数据（key,value），解释为对当前key的数据值的更新（UPDATE），也就是查找动态表中key对应的一行数据，将value更新为最新的值；需要特别说明的是，在KafkaTable的字段中有一个ts，它的声明中用到了METADAT
通过Java操作Kafka
通过Java操作Kafka
如何确定kafka与zookeeper版本的对应关系
授人以渔式确定kafka与zookeeper版本的对应关系
golang学习之go连接Kafka
window wsl 安装 java zookeeper kafka 及golang 连接kafka
Kafka 学习笔记
为什么使用消息队列？以用户下单购买商品的行为举例，在使用微服务架构时，我们需要调用多个服务。传统的调用方式是同步调用，这会存在一定的性能问题使用消息队列可以实现异步的通信方式，相比于同步的通信⽅式，异步的⽅式可以让上游快速成功，极大提高系统的吞吐量。在分布式系统中，通过下游多个服务的分布式事务的保障
Flink日志文件配置
因为在正常的情况下，Flink的流数据是非常大的，有时候会使用print()打印数据自己查看，有时候为了查找问题会开启debug日志，就会导致日志文件非常大，通过Web UI查看对应的日志文件是会非常卡，所以首先将日志文件按照大小滚动生成文件，我们在查看时不会因为某个文件非常大导致Web UI界面卡
kafka的分区详解
kafka的分区副本机制分区Leader选举☆分区重新分配☆创建集群和主题查看主题详情再添加一个分区再添加一个节点重新分配修改副本因子分区策略RangeAssignor分配策略RoundRobinAssignor分配策略StickyAssignor自定义分配策略主要内容 : kafka分区的管理
DataX二次开发——（6）kafkareader、kafkawriter的开发
基于阿里开源DataX3.0版本，开发kafka的读写驱动，可以实现从mysql、postgresql抽取数据到kafka，从kafka 消费消息写入hdfs等功能。
大数据Hadoop之——Kafka安全机制（Kafka SSL认证实现）
Kafka0.9.0开始引入丰富的安全认证机制，实现基础安全用户认证，将kafka上云或进行多租户管理的必要步骤安全，目前kafka支持`SASL`、`SSL`、`Delegation Token`这三种认证机制。
kafka连接zookeeper配置搭建环境、安装和启动，Windows环境下
kafka，分布式集群架构下，高性能的流式事件数据（主要是消息）集成、发布（生产）和订阅（分发、消费）组件（中间件）。kafka依赖zooeeper（数据后端），这里有Windows下安装配置启动zookeeper的 文章（1）：Windows 10环境zookeeper单机伪集群部署和配置_Zha
【Kafka】基于Docker的KRaft模式(无Zookeeper)集群安装及测试
最近项目中想使用kafka做消息系统，但安装好像很复杂，现在把安装过程记录一下。主流的安装方式是在服务器上直接安装，而我希望的是使用Docker。主流的Kafka使用Zookeeper，但最近Kafka将会逐步舍弃Zookeeper而使用自带的KRaft所以以下步骤是基于Docker安装无Zooke
kafka 中参数：session.timeout.ms 和 heartbeat.interval.ms的区别
文章目录1、heartbeat.interval.ms2、heartbeat.interval.ms 与 session.timeout.ms 的对比3、session.timeout.ms 和 max.poll.interval.ms4、一次kafka consumer 不断地 rebalance
大数据开发是做什么的？怎样入门？
我们现在正处于“互联网+”的时代，将互联网和传统行业融合，往往可以创造出1+1＞2的效果。这种1+1的模式，在编程语言的使用上也通用，比如Python+大数据开发，就可以在数字化经济中发挥巨大作用。目前，数字经济成为全球经济增长新动能，而我国的数字经济规模在世界上排行第二！从以量级计算的数据中找到背
