kafka中topic的创建和查询
kafka topic
Kafka消息底层存储结构介绍
Kafka的底层消息存储架构
Kafka系列 - 06 Kafka 集群环境搭建（三台服务器）
hadoop-101 虚拟机的 IPADDR 的地址改为：192.168.38.23；hadoop-103 虚拟机的 hostname 的地址改为：hadoop103；kafka集群搭建，需要3台虚拟机环境，但是我目前只安装了一台虚拟机，因此还需要准备两台虚拟机环境，正常情况下应该再安装2台虚拟机，
【Kafka】Kafka在多Partition多实例情况下，消息的消费和生产情况验证
通过实验验证了Kafka在多Partition多实例情况下，消息的消费和生产情况：（1）一个partition最多被一个实例（同一消费组）消费。（2）一个实例可以同时消费多个partition。（3）当通过key将topic消息写入Kafka时，相同key的消息保证能写入同一个partition。
多图详解 kafka 生产者消息发送过程
整个生产者客户端是由主线程和 Sender 线程协调运行的, 主线程创建消息, 然后通过 拦截器、元信息更新、序列化、分区器、缓存消息等等流程。然后 Sender 线程在初始化的时候就已经运行了,并且是一个 while 循环。Sender 线程里面主要工作是：去消息累加器里面获取有哪些 Node 是
kafka进程不定期挂掉（配置文件日志位置问题，困扰一年之久）
2、linux会定时清理/tmp目录下的文件，我的kafka日志文件目录正是放在了/tmp/kafka-logs目录下，导致被定时给清理掉了，所以kafka在尝试读取或追加日志时就会出错。centos7下/tmp目录的清理由服务systemd负责，其相关配置文件在/usr/lib/tmpfiles.
聊聊 Kafka：Kafka 如何保证一致性
本文从高水位更新机制、副本同步机制以及 Leader Epoch 几个方面去剖析Kafka 是如何保证一致性的~
如何用Know Streaming来查询Kafka的消息
Kafka的消息查看功能算是一个呼声比较高的需求了。但是它目前还并不能像RocketMq那样比较友好的对消息做一些复杂查询操作。目前KnowStreaming的实现方式是使用Consumer客户端来拉取数据Know Streaming脱胎于互联网公司内部多年的Kafka运营实践经验，通过0侵入、插件
Kafka之Consumer使用与基本原理
前置内容Kafka生产者：juejin.cn/post/709417…Kafka Consumer基本概念：juejin.cn/post/709641…Java SDK 基本使用Consumer就是负责从Kafka集群中消费消息数据的应用程序，自 Kafka 0.9 版本提供了Java版本的Cons
Flink使用Log4j将日志发送到Kafka
Flink使用Log4j将日志发送到Kafka
springboot集成kafka，@KafkaListener重复消费问题
springboot集成kafka，@KafkaListener重复消费问题
flink程序在消费kafka数据时出现Error sending fetch request问题
在程序已经稳定运行多天、未对代码做任何修改、查看所消费数据源未出现数据增多的情况下，有一个flink程序最近出现了积压问题，很是疑惑，观察几天并查看了日志发现，每当出现加压时便会伴随该日志出现，因此便着手解决该问题。...
kafka为什么速度快总结
kafka被广泛运用在各个系统中，被用来充当消息的中间件与数据总线的功能。而且我们都知道，kafka是基于磁盘存储的，但是描述kafka的形容词，最常见的经常有诸如速度快，延时小，吞吐量大这些，吞吐量能达到几十w甚至上百万每秒。而这些形容词，却与磁盘来说是格格不入的。所以kafka为什么快就成了一个
Kafka架构篇 - 多副本机制
本文解析Kafka的多副本机制。
Flink最全面教程(自己总结的)
用了100+天总结出来的Flink学习笔记
kafka详解
kafka的传统定义：kafka是一个分布式的基于发布\订阅模式的消息队列，主要用于大数据实时处理领域kafka的最新概念：kafka是一个开源的分布式事件流平台，（80%的公司都在用），用于高性能数据管道、流分析、数据集成和关键任务应用（1）生产者：向kafka集群发送数据（2）broker：启动
sap hana实时同步方案调研
hana数据库实时同步目前接触到有两种方式，一种是通过kafka connector的方式，定时全量或增量的拉取数据发送到kafka，这算是一种伪实时的方式；还有一种hana本身支持cdc，但是像Debezium这种实时增量同步工具并没有提供对应的connectors，通过查阅hana官方文档，目前
关于kafka的配置acks和min.insync.replicas详解，通俗易懂 一看就会
acks描述：producer 发送数据服务端的响应级别acks = all/-1 : 表示kafka isr列表中所有的副本同步数据成功，才返回消息给客户端acks = 0 ：表示客户端只管发送数据，不管服务端接收数据的任何情况acks = 1 ：表示客户端发送数据后，需要在服务端 leader
面试题：Kafka如何实现延时队列
Kafka 如何实现延时队列
kafka介绍（一）
这个部分，需要简单的解答一下，其实MQ就是消息队列，那么本质上，就是一个 FIFO的队列数据结构。因此，早期的使用方法，都是启动一个线程发送消息，写入消息队列，作为消息缓存，然后再启动一个线程消费消息。早期的windows程序（桌面程序）的设计方法。后期，随着分布式微服务的快速发展，消息这个东西变成
