Kafka 实战 - Kafka-Kraft模式
总之，Kafka-Kraft 模式为 Kafka 集群提供了一种更为简洁、高效的元数据管理方案，简化了架构、提升了性能，并增强了容错性。在实战中，应充分考虑其部署、配置、迁移、监控与运维的特点，结合业务需求制定合适的策略，确保 Kafka 集群在 KRaft 模式下的稳定、高效运行。KRaft 模式
不同策略下的Kafka主题创建
创建主题时，Topic的Partition自动划分时，默认根据节点及磁盘上已有的Partition数进行均衡划分，如果期望根据磁盘容量进行Partition划分，那么需要修改Kafka服务配置“log.partition.strategy”为“capacity”。Kafka创建Topic时，支持基于
Kafka 工具
以上列举了一些常用的Kafka工具，根据实际需求，用户可以选择合适工具进行Kafka集群的管理和监控、数据集成、流处理等工作。同时，Kafka生态中还有许多其他工具和插件，不断丰富着Kafka的功能和应用场景。Apache Kafka生态系统中提供了许多实用的工具，帮助用户更好地管理、监控、测试和集
【2024】kafka原生以及配合springboot的使用（Kafka-3）
本文主要是介绍通过使用原生代码方式和结合springboot分别如何更好的去使用理解kafka如果需要看理论或者安装kafka可以看我前面两篇内容🍅kafka使用和安装。
【Kafka系列 04】Kafka 性能调优，怎么做？
通常来说，调优是为了满足系统常见的非功能性需求。在众多的非功能性需求中，性能绝对是我们最关心的那一个。不同的系统对性能有不同的诉求，比如对于数据库用户而言，性能意味着请求的响应时间，用户总是希望查询或更新请求能够被更快地处理完并返回。对 Kafka 而言，性能一般是指和。吞吐量，即TPS，是指 Br
Kafka搭建(集群版)
Kafka集群版本搭建(一键启动)
kafka单机安装及性能测试
Apache Kafka是一个分布式流处理平台，最初由LinkedIn开发，并于2011年开源，随后成为Apache项目。Kafka的核心概念包括发布-订阅消息系统、持久化日志和流处理平台。它主要用于构建实时数据管道和流处理应用，广泛应用于日志聚合、数据传输、实时监控和分析等场景。Kafka具有高吞
搭建大型分布式服务（四十一）SpringBoot 整合多个kafka数据源-支持亿级消息生产者
本插件稳定运行上百个kafka项目，每天处理上亿级的数据的精简小插件，快速上手。< dependency > < groupId > io.github.vipjoey < artifactId > multi-kafka-starter < version > 最新版本号
Kubernetes Kafka 系列｜MirrorMaker 2 同步数据
MirrorMaker 2（简称MM2）是Apache Kafka的一个工具，主要用于跨Kafka集群的数据复制和同步。相比早期的MirrorMaker 1（简称MM1），MirrorMaker 2在设计和功能上有了显著的提升，能够更好地适应生产环境的需求。首先，MM2采用了并行复制的方式，能够实现
spring boot 之 整合 kafka
spring boot 整合 kafka
Kafka-3.3.4摒弃zookeeper集群部署操作文档
Kafka-3.3.4摒弃zookeeper集群部署操作文档
（一）Kafka 安全之使用 SASL 进行身份验证 —— JAAS 配置、SASL 配置
SASL 是用来认证 C/S 模式也就是服务器与客户端的一种认证机制，全称 Simple Authentication and Security Layer。这就是一种凭据认证方式。通俗的话来讲就是让服务器知道连接进来的客户端的身份是谁。比如凭借阅证到图书馆借书，而每个借阅证都有独立的 ID，通过
Linux下安装Kafka
zookeeper.connect：申明kafka所连接的zookeeper的地址，需配置为zookeeper的地址，由于本次使用的是kafka高版本中自带zookeeper，使用默认配置即可。添加开放端口：firewall-cmd --zone=public --add-port=80/tcp -
docker-compose部署 kafka 3.7 集群（3台服务器）并启用账号密码认证
docker-compose部署 kafka 3.7 集群（3台服务器）并启用账号密码认证
Flink入门，flink接入kafka数据源，消费数据并处理数据
构建时会提示找不到类，在idea中勾选如图选项，或者在pom文件中修改scope的值为compile。消费者可以收到消息，kafka安装完成，如果没有收到可以检查topic是否一致，ip是否正确。首先先下载kafka的linux版本，可以搜索阿里云的镜像进行下载，速度很快。将文件中的listener
celery使用 Zookeeper 或 kafka 作为broker，使用 mysql 作为 backend
使用Zookeeper / kafka 代替redis作为celery broker使用
【实战】Spring Cloud Stream 3.1+整合Kafka
之前我们已经整合过Spring Cloud Stream 3.0版本与Kafka、RabbitMQ中间件，简直不要太好，直接让我们不用再关心底层MQ如何集与消息收发。但是从Spring Cloud 2020版本开始，Spring Cloud Stream的版本升级至3.1.0以上版本，自此版本开始@
Apache Kafka 技术总结
Apache Kafka 技术总结
Linux 搭建 kafka 流程
上进行的操作，同样的操作要在三台虚拟机上都执行，只是有些细微的配置不同，其他配置信息完全相同。对于不同虚拟机上有差异的部分，我会一一指出。集群来启动，但是考虑到未来的项目需求，建议使用独立的。需要搭建几个节点 就是发送几份，启动服务即可。集群的地址，可以是多个，多个之间用逗号分割。的启动就不会影响我
kafka 消费者 API 使用总结
应用程序使用KafkaConsumer向Kafka订阅主题，并从订阅的主题中接收消息。不同于从其他消息系统读取数据，从Kafka读取数据涉及一些独特的概念和想法。如果不先理解这些概念，则难以理解如何使用消费者API。本文将先解释这些重要的概念，然后再举几个例子，演示如何使用消费者API实现不同的应用
