kafka学习（第三部分）
这部分是学习消费者侧相关的内容，主要是消费位移，以及kafka储存相关内容。
Kafka快速入门
简介kafka诞生于领英公司，于2011年初开源，并于2012年10月23日由apache孵化出站。kafka最初诞生是为了解决Linkedin数据管道问题。由java和scala编写的。是一种高吞吐量的分布式发布订阅消息系统，可以处理消费者在网站中的所有动作流数据。官网：http://kafka.
Flume采集Kafka并把数据sink到OSS
我这里是为了防止sink的文件过于零碎, 但因为使用的memory channel, 缓存时间过长容易丢数据。默认启动时-Xmx20m, 过于小了, 加大堆内存可以直接放开。下载JindoSDK(连接OSS依赖), 下载地址。2. 进阶配置, 根据自己情况按需配置。3. Flume JVM参数。修改
在Docker中安装kafka遇到问题记录
这样，Kafka就会告知客户端通过连接到宿主机的IP地址的9092端口来访问Kafka，从而使Windows宿主机能够访问到Kafka服务。要使Windows宿主机能够访问到容器内的IP地址，可以尝试使用Docker的端口映射功能，将容器的端口映射到宿主机上的一个端口。如果在Windows的宿主机上
k8s部署kafka，并使用zookeeper做注册中心
kafka在3.x版本后增加KRaft作为自己的注册中心，可以不依赖外部的zk
Springboot：kafka运行成功，报错InvalidTopicException
官方说法：The client has attempted to perform an operation on an invalid topic. For example the topic name is too long, contains invalid characters etc. Th
面试官问我：线程锁导致的kafka客户端超时，如何解决？
今天在开发中遇到有一个环境的kafka client发送数据有部分超时的问题。
kafka学习笔记（一）--脑裂
我知道你想裂，但你先别裂。
Apache Kafka JNDI注入注入漏洞(CVE-2023-25194)
Apache Kafka是一个开源分布式消息队列，Kafka clients是相对应的Java客户端。在版本3.3.2及以前，Apache Kafka clients中存在一处JNDI注入漏洞。如果攻击者在连接的时候可以控制属性的值为，则可以发起JNDI连接，进而导致JNDI注入漏洞，执行任意命令。
掌握实时数据流：使用Apache Flink消费Kafka数据
希望能够帮助大家更深入地理解Flink和Kafka在实时数据处理中的应用，以及如何高效地利用这些强大的工具。
docker 部署kafka
随笔记录。
kafka max.poll.records用法介绍
一、max.poll.records是什么 max.poll.records是Kafka consumer的一个配置参数，表示consumer一次从Kafka ...
kafka-consumer-groups.sh消费者组管理
拿到所有在线Broker列表 再给每个Broker发送。请求获取 消费者组数据。
一文详细解析kafka：消费者
就可以在原先的地方进行处理。
Mac 安装ZooKeeper+kafka基本使用
ZooKeeper 为分布式系统提供了一种配置管理的服务：集中管理配置，即将全局配置信息保存在 ZooKeeper 服务中，方便进行修改和管理，省去了手动拷贝配置的过程，同时还保证了可靠和一致性。
Kafka常见面试问题
Apache Kafka是一种分布式流处理平台，它使用分布式复制协议来实现高可用性和容错性。在Kafka中，每个主题（topic）都有一个或多个分区（partition），每个分区都有一组副本（replica），其中一个是主副本（leader），其余的是从副本（follower）。主副本负责处理来自
Kafka--从Zookeeper数据理解Kafka集群工作机制
Kafka其实天生就是为了集群而生，即使单个节点运行Kafka，他其实也是作为一个集群运行的。而Kafka为了保证在各种网络抽风，服务器不稳定等复杂情况下，保证集群的高性能，高可用，高可扩展三高，做了非常多的设计。而这一章节，其实是从可见的Zookeeper注册信息为入口，理解Kafka的核心集
Spring Boot 整合kafka：生产者ack机制和消费者AckMode消费模式、手动提交ACK
kafka生产者ack机制和消费者AckMode消费模式、手动提交ACK
元数据管理-Atlas的介绍和使用(集成Hive、Solr、Kafka、Kerberos)
概述介绍架构发展架构原理类型系统介绍类型hive_table类型介绍DataSet类型定义Asset类型定义Referenceable类型定义Process类型定义Entities(实体)Attributes(属性)安装安装环境准备安装Solr-7.7.3安装Atlas2.1.0Atlas配置Atl
KafkaConsuner 指定开始消费的位置
需要在执行了 poll() 方法之后才行。我本来想指定一个开始位置，但是还没有指定位置呢？在我们探讨的功能中，index和timeindex两个文件扮演着关键角色，它们与消费者开始消费的位置密切相关。这是我们今天要讲解的核心基础，没有这两个文件，我们无法进行后续的操作。就用了，FlinkKafkaC
