CentOS 7.6环境安装kafka_2.13-3.0.0[单机版]
本节内容主要总结一下如何在CentOS 7.6上安装kafka 2.13-3.0.0注意：此单机版使用的是kafka自带的zookeeper1.组件版本组件 版本 CentOS 7.6 JDK 1.8.0_221 kafka 2.13-3.0.0 2.环境设置Init-env
kafka初学(自己觉得好难)
kafka初学一、介绍Kafka是是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统低延迟的实时系统Storm/Spark流式处理引擎web
Kafka消息失败后无限重复消费现象的排查
文章目录背景相关代码现象解决方法Reference背景项目中用到了kafka消息队列，在开发测试过程中发现了消息端设置的最大重试次数失效的情况，具体信息如下：consumer: 3partition:1maxRetryTimes:15spring-kafka: 2.2.15.RELEASEkafka
大数据场景下的消息队列：Kafka3.0快速入门
大数据场景下的消息队列：Kafka3.0快速入门
Kafka架构、高性能和高可用性分析
本文主要介绍Kafka架构、高性能、高可用以及mac本地安装kafka
零拷贝技术浅浅析【kafka实现百万级吞吐量基础】
零拷贝不是一种技术，而是软件、硬件、语言的结合，目的在于减少io操作时cpu的等待时间
Flink 版本数据湖(hudi)实时数仓---flinkcdc hudi kafak hive
1.架构图2.实现实例2.1 通过flink cdc 的两张表 合并 成一张视图， 同时写入到数据湖(hudi) 中 同时写入到kafka 中2.2 实现思路1.在flinksql 中创建flink cdc 表2.创建视图(用两张表关联后需要的列的结果显示为一张速度)3.创建输出表，关联Hudi表
flink cdc 整合 数据湖hudi 同步 hive
1. 版本说明组件版本hudi10.0flink13.5hive3.1.02. 实现效果 通过flink cdc 整合 hudi 到hiveflink cdc 讲解flink cdc 1.2实例flink cdc 2.0 实例
flink kakfa 数据读写到hudi
flink kafka hudi组件版本hudi10.0flink13.51.2.flink lib 需要的jar 包hudi-flink-bundle_2.12-0.10.0.jarflink-sql-connector-kafka_2.12-1.13.5.jarflink-shaded-hado
Flink自定义实现端到端的exactly-once语义（java版本）
Flink 中有两个 Exactly-Once 语义实现，一个是 Kafka，另一个是 StreamingFileSink。参考他们实现的逻辑，来自定义实现MySQLSink的端到端exactly-once语义。分析：Flink的checkpoint机制（通过Chandy-Lamport）：JobM
面试题：Kafka为什么吞吐量大、速度那么快
Kafka天生的分布式架构顺序写：Kafka使用了磁盘顺序写来提升的性能。Kafka的message是不断追加到本地磁盘文件末尾的，而不是随机的写入，减少了磁盘寻址的开销Kafka利用了操作系统自身的内存，Kafka的读写操作基本上是基于内存的，读写速度得到了极大的提升。而不是JVM空间内存，避免G
Flink消费kafka数据实时写入Clickhouse（java版本）
Flink消费kafka数据实时写入Clickhouse（java版本）
kafka学习笔记读取队列数据
kafka读取及存储消息队列
关于kafka数据丢失场景的一次激烈讨论.... |文末送书
大家好,我是彦祖~问题描述最近彦祖发现,有不少同学 对 acks 和 min.insync.replicas 的配置存在不少误解.刚好拿一个同学的问题,来好好说明一下根据上面提的几个问题, 整理一下几个知识点acks = all的概念是什么？min.insync.replicas 是怎么用的？什么情
聊聊 Kafka：如何避免消费组的 Rebalance
一、前言我们上一篇聊了 Rebalance 机制，相信你对消费组的重平衡有个整体的认识。这里再简单回顾一下，Rebalance 就是让一个 Consumer Group 下所有的 Consumer 实例就如何消费订阅主题的所有分区达成共识的过程。在 Rebalance 过程中，Consumer Gr
现代数据环境下，如何做数据集成？这11个靠谱实践收藏了
现代数据环境下，如何做数据集成？这11个靠谱实践收藏了
一文读懂Kafka Connect核心概念
概览Kafka Connect 是一种用于在 Apache Kafka 和其他系统之间可扩展且可靠地流式传输数据的工具。 它使快速定义将大量数据移入和移出 Kafka 的连接器变得简单。 Kafka Connect 可以摄取整个数据库或从所有应用程序服务器收集指标到 Kafka 主题中，使数据可用于
滴滴二面：Kafka是如何读写副本消息的？
无论是读取副本还是写入副本，都是通过底层的Partition对象完成的，而这些分区对象全部保存在上节课所学的allPartitions字段中。可以说，理解这些字段的用途，是后续我们探索副本管理器类功能的重要前提。现在，我们就来学习下副本读写功能。整个Kafka的同步机制，本质上就是副本读取+副本写入
