Kafka架构、高性能和高可用性分析
本文主要介绍Kafka架构、高性能、高可用以及mac本地安装kafka
零拷贝技术浅浅析【kafka实现百万级吞吐量基础】
零拷贝不是一种技术，而是软件、硬件、语言的结合，目的在于减少io操作时cpu的等待时间
Flink 版本数据湖(hudi)实时数仓---flinkcdc hudi kafak hive
1.架构图2.实现实例2.1 通过flink cdc 的两张表 合并 成一张视图， 同时写入到数据湖(hudi) 中 同时写入到kafka 中2.2 实现思路1.在flinksql 中创建flink cdc 表2.创建视图(用两张表关联后需要的列的结果显示为一张速度)3.创建输出表，关联Hudi表
flink cdc 整合 数据湖hudi 同步 hive
1. 版本说明组件版本hudi10.0flink13.5hive3.1.02. 实现效果 通过flink cdc 整合 hudi 到hiveflink cdc 讲解flink cdc 1.2实例flink cdc 2.0 实例
flink kakfa 数据读写到hudi
flink kafka hudi组件版本hudi10.0flink13.51.2.flink lib 需要的jar 包hudi-flink-bundle_2.12-0.10.0.jarflink-sql-connector-kafka_2.12-1.13.5.jarflink-shaded-hado
Flink自定义实现端到端的exactly-once语义（java版本）
Flink 中有两个 Exactly-Once 语义实现，一个是 Kafka，另一个是 StreamingFileSink。参考他们实现的逻辑，来自定义实现MySQLSink的端到端exactly-once语义。分析：Flink的checkpoint机制（通过Chandy-Lamport）：JobM
面试题：Kafka为什么吞吐量大、速度那么快
Kafka天生的分布式架构顺序写：Kafka使用了磁盘顺序写来提升的性能。Kafka的message是不断追加到本地磁盘文件末尾的，而不是随机的写入，减少了磁盘寻址的开销Kafka利用了操作系统自身的内存，Kafka的读写操作基本上是基于内存的，读写速度得到了极大的提升。而不是JVM空间内存，避免G
Flink消费kafka数据实时写入Clickhouse（java版本）
Flink消费kafka数据实时写入Clickhouse（java版本）
kafka学习笔记读取队列数据
kafka读取及存储消息队列
关于kafka数据丢失场景的一次激烈讨论.... |文末送书
大家好,我是彦祖~问题描述最近彦祖发现,有不少同学 对 acks 和 min.insync.replicas 的配置存在不少误解.刚好拿一个同学的问题,来好好说明一下根据上面提的几个问题, 整理一下几个知识点acks = all的概念是什么？min.insync.replicas 是怎么用的？什么情
聊聊 Kafka：如何避免消费组的 Rebalance
一、前言我们上一篇聊了 Rebalance 机制，相信你对消费组的重平衡有个整体的认识。这里再简单回顾一下，Rebalance 就是让一个 Consumer Group 下所有的 Consumer 实例就如何消费订阅主题的所有分区达成共识的过程。在 Rebalance 过程中，Consumer Gr
现代数据环境下，如何做数据集成？这11个靠谱实践收藏了
现代数据环境下，如何做数据集成？这11个靠谱实践收藏了
一文读懂Kafka Connect核心概念
概览Kafka Connect 是一种用于在 Apache Kafka 和其他系统之间可扩展且可靠地流式传输数据的工具。 它使快速定义将大量数据移入和移出 Kafka 的连接器变得简单。 Kafka Connect 可以摄取整个数据库或从所有应用程序服务器收集指标到 Kafka 主题中，使数据可用于
滴滴二面：Kafka是如何读写副本消息的？
无论是读取副本还是写入副本，都是通过底层的Partition对象完成的，而这些分区对象全部保存在上节课所学的allPartitions字段中。可以说，理解这些字段的用途，是后续我们探索副本管理器类功能的重要前提。现在，我们就来学习下副本读写功能。整个Kafka的同步机制，本质上就是副本读取+副本写入
编译kafka3.0.0和2.8.0源代码
编译kafka3.0.0和2.8.0源代码这个过程历时5天期间遇到了无数的坑点，特此记录版本和环境ide： idea2021系统：windows10kafka版本：最初我想在本地运行kafka3.0.0版本，但是最终因为很多的问题，我的本地kafka版本定格在了2.8.0。下文中也会阐述kafka3
网易三面：说说Kafka的Follower是如何拉取Leader消息的？
搞懂AbstractFetcherThread的processPartitionData、truncate、buildFetch等方法，就掌握了拉取线程的处理逻辑。串联起这三个方法的doWork方法就能完整理解Follower副本应用拉取线程（即ReplicaFetcherThread线程），从Le
美团二面：详细说说Kafka拉消息的过程？
AbstractFetcherThread：拉取消息的步骤副本机制是Kafka实现数据高可靠性的基础：同一个分区下的多个副本分散在不同的Broker机器上，它们保存相同的消息数据以实现高可靠性。那如何确保所有副本上的数据一致性呢？最常见方案当属Leader/Follower备份机制（Leader/F
大数据高级开发工程师——大数据相关工具之三 Maxwell
文章目录大数据相关工具Maxwell数据实时同步工具Maxwell 简介MySQL Binlog 介绍1. Binlog简介2. Binlog的日志格式Mysql 实时数据同步方案对比开启MySQL的BinlogMaxwell 安装部署Maxwell 实时采集案例大数据相关工具Maxwell数据实时
【hbz分享】Canal整合Kakfa从0搭建到监听多个mysql server
Canal整合Kakfa从0搭建到监听多个mysql server你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。新的改变我们对Markdown编辑器进行了一些功能拓展与语法
