docker-compose安装带SASL认证的kafka
本篇文章会介绍使用使用`docker-compose`安装带SASL认证的Kafka消息队列。为啥会有这篇文章主要是网上一些文章太折磨人了，都是互抄的而且都是错的。我配合`SpringBoot`调试搞了我一天。为啥要搞SASL认证也主要是为了安全考虑。如果不加认证，`Kafka`应用就是裸露在外面的
Kafka消费者订阅指定主题(subscribe)或分区(assign)详解
Kafka订阅主题（subscribe）与分区（assign）方法详解
Kafka 单机部署搭建及其基本使用
最近在搞Flink 框架 其中数据源需要模拟kafka取数据 ，于是自己搭建了一套单机的kafka环境，以便用于测试。现整理如下的笔记，发上来和大家分享。后续还会有kafka的相关笔记，会与大家继续分享！当前文档所部署服务器 IP地址为192.168.118.218 hostname 为web一、
Kafka 认证一：PlainLoginModule 认证及 Java 连接测试
项目需求是：通过 Web 页面配置 Kafka 信息并存储，且支持安全认证模式。本文介绍 Kafka 帐号密码认证的完整实践流程，自己实践一遍，才能穿起各个概念。Kafka 的 Plain 简单文本认证方式比较简单，只需要 Kafka 服务端维护用户列表，客户端同样的安全认证配置即可。
zookeeper开启SASL,并且设置kafka如何连接
zookeeper开启sasl认证
Kafka参数
配置@KafkaListener注解@KafkaListener(id = "11111", groupId = "demo-group",topics = Constants.TOPIC) public void listen(String msgData) { LOGGER.info
kafka 如何避免重复消费
1、kafka是通过offset来标记消费的。默认情况下，消费完成后会自动提交offset，避免重复消费。Kafka消费端的自动提交逻辑有一个默认的5秒间隔，也就是说在5秒之后的下一次向Broker拉取消息的时候提交。所以在Consumer消费的过程中，应用程序被强制kill掉或者宕机，可能会导致O
聊聊在springboot项目中如何配置多个kafka消费者
不知道大家有没有遇到这样的场景，就是一个项目中要消费多个kafka消息，不同的消费者消费指定kafka消息。遇到这种场景，我们可以通过kafka的提供的api进行配置即可。但很多时候我们会使用spring-kafka来简化开发，可是spring-kafka原生的配置项并没提供多个kafka配置，因此
【实时数仓】CDC简介、实现DWD层业务数据的处理（主要任务、接收kafka数据、动态分流*****）
CDC是Change Data Capture(变更数据获取)的简称。核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入、更新以及删除等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。CDC主要分为基于查询和基于Binlog两种方式，主要了解一下这两种之
PHP Kafka 使用详解
PHP使用kafka进行消息订阅
【Kafka】Docker安装kafka、搭建kafka集群
docker安装kafka、搭建kafka集群进行测试
golang消息队列kafka
golang消息队列kafka
Kafka的认证
kafka认证
kafka 的使用原理及通过spring-kafka 自定义封装包的原理
1).点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除） 点对点模型通常是一个基于拉取或者轮询的消息传送模型，这种模型从队列中请求信息， 而不是将消息推送到客户端。这个模型的特点是发送到队列的消息被一个且只有一个接收者接收处理，即使有多个消息监听者也是如此。2).发布/订阅模式（一对多，数
kafka命令行：从指定时间开始消费
kafka命令行指定开始消费时间
Kafka组件的消费者流程解析，图文详解
消费者：消费组：⼀个拥有四个分区的主题，包含⼀个消费者的消费组此时，消费组中的消费者消费主题中的所有分区。并且没有重复的可能。如果在消费组中添加⼀个消费者2，则每个消费者分别从两个分区接收消息如果消费组有四个消费者，则每个消费者可以分配到⼀个分区如果向消费组中添加更多的消费者，超过主题分区数量，则有
大数据必知必会之Kafka
Kafka 起初是 由 LinkedIn 公司采用 Scala 语言开发的一个多分区、多副本且基于 ZooKeeper 协调的分布式消息系统，现已被捐献给 Apache 基金会。目前 Kafka 已经定位为一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用
@KafkaListener原理和动态监听kafka topic
首先分析了@KafkaListener的原理，并从其原理入手，通过读取配置，实例化KafkaMessageListenerContainer并调用其start()方法，实现动态kafka topic的监听
Kafka 集群安装
编辑config目录下的server.properties文件，在不同的节点只需要更改不同的host.name和broker.id。1. 将kafka安装包上传到服务器的/opt/apps目录下。5. 启动kafka（先启动zookeeper集群）二、安装zookeeper集群。到此kafka集群安
