【运维】Kafka高可用： KRaft（不依赖zookeeper）集群搭建
>本文主要介绍了>- kafka raft集群架构：> 与旧架构的不同点，有哪些优势，哪些问题> 架构成员有哪些，怎么规划。> - 三节点集群安装、启动与测试
Kafka生产环境问题总结与性能优化实践
实现延时队列的思路是将消息按照不同的延迟时间发送到不同的队列（例如，topic_1s、topic_5s、topic_10s等），然后通过定时器轮询这些队列，检查消息是否到期，如果到期就将其发送到具体的业务处理主题中。这可能导致消息乱序的情况，例如，发送了1、2、3三条消息，第一条超时，后两条成功，然
第一章 Kafka 配置部署及SASL_PLAINTEXT安全认证
执行启动 Zookeeper 命令。执行启动 Kafka 命令。
Canal+Kafka+springboot（成功）
版本（Canal1.1.7）Kafka（kafka_2.12-3.5.1） mysql(8.0)
「Kafka」生产者篇
生产者发送消息流程、生产者分区、生产者如何提高吞吐量、生产者数据可靠性、生产者数据去重、生产者数据有序乱序等。
Flink SQL 任务消费Kafka写hudi的性能调优总结
以上修改后，我们还把checkpoint的间隔时长从10分钟调整为5分钟了，因为现在每分钟从Kafka中消费的数据更多了，如果继续是10分钟的checkpoint间隔时长，则每次做checkpoint时需要写入到HDFS的数据量也会更大，做checkpoint花费的时间也会更久，任务背压的时间也就更
RabbitMQ vs Kafka：正面交锋！
作为一名有着大量微服务系统处理经验的软件架构师，我经常遇到一个不断重复的问题：“我应该使用 RabbitMQ 还是 Kafka？出于某种原因，许多开发人员认为这些技术是可以互换的。虽然在某些情况下确实如此，但 RabbitMQ 还是 Kafka 之间存在根本上的差异。因此，不同的场景需要不同的，选择
【flink番外篇】13、Broadcast State 模式示例-简单模式匹配（1）
系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink 部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink 的基础部分，比如术语、架构、编程模型、编程指南、基本的datastream api用法、四大基石等内容。3、Flik Table API和S
kafka如何实现延迟队列来实现延迟消费
这种方式利用Kafka的时间戳和时间戳索引功能，在消费者端可以通过设置合适的等待时间来实现延迟消费的效果，避免了频繁轮询和重复发送消息。在Kafka中实现延迟队列来实现延迟消费的最有效率的方式是使用Kafka的时间戳和时间戳索引功能。
Kafka实战：消费指定时间范围内的Kafka Topic数据
首先，我们需要设置好Kafka的环境并创建一个Topic。这里假设你已经安装并配置好了Kafka，并创建了一个名为"my_topic"的Topic。这样，我们就完成了消费指定时间范围内的Kafka Topic数据的代码编写。在上述代码中，我们首先设置了Kafka集群的地址和消费者的配置。然后，我们创
【flink番外篇】9、Flink Table API 支持的操作示例（5）- 表的列操作
系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink 部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink 的基础部分，比如术语、架构、编程模型、编程指南、基本的datastream api用法、四大基石等内容。3、Flik Table API和S
【踩坑专栏】禁止kafka自带的日志
如果直接使用log4j.properties修改kafka的日志级别，会没有效果。有文章说是因为jar包冲突[2]。在测试kafka的时候，有很多kafka自带的debug和info日志，需要禁止掉。在resource文件夹下，新增一个logback.xml文件。
Kafka 分级存储在腾讯云的实践与演进
腾讯云消息队列 Kafka 内核负责人鲁仕林为大家带来了《Kafka 分级存储在腾讯云的实践与演进》的精彩分享，从 Kafka 架构遇到的问题与挑战、Kafka 弹性架构方案类比、Kafka 分级存储架构及原理以及腾讯云的落地与实践四个方面详细分享了 Kafka 分级存储在腾讯云的实践与演进。
kafka如何避免消息重复消费
应用程序层面可以保证消息的处理是幂等的，即使消息被重复处理也不会产生副作用。在处理消息时，使用数据库事务来确保消息的处理操作是原子性的，并且如果相同消息被处理多次，只会产生一次结果变更。在消费消息时，将消费记录存储在数据库或缓存中，并在消费前检查记录，如果已经消费过相同的消息，则不再进行处理。实现重
一线大厂面试真题-Kafka如何保证消息不丢失
如图)但是，Kafka为了提升性能，采用了异步批量刷盘的实现机制，也就是说按照一定的消息量和时间间隔来刷盘，而最终刷新到磁盘的。. acks=0，表示producer不需要等Broker的响应，就认为消息发送成功，这种。从高手的回答可以发现，任何的技术问题，是可以按照请求的顺序，或者调用关系来逐
Kafka与Pulsar差异深入探讨
在这篇文章中，我们将深入研究Apache Kafka和Apache Pulsar之间的关键区别。通过研究这两个消息系统的核心区别和独特功能，我们希望为您提供对其核心机制和实现的初步了解。我们希望这一分析不仅能帮助您在选择两者时做出明智的决定，而且能成为支持进一步探索和理解其功能的宝贵资源。
Kafka三种认证模式，Kafka 安全认证及权限控制详细配置与搭建
Kafka三种认证模式，Kafka 安全认证及权限控制详细配置与搭建。
Kafka-Topic&Partition
topic & partition，是Kafka两个核心的概念，也是Kafka的基本组织单元。主题作为消息的归类，可以再细分为一个或多个分区，分区也可以看作对消息的二次归类。分区的划分为kafka提供了可伸缩性、水平扩展性、容错性等优势。分区可以有一个至多个副本，每个副本对应一个日志文件，每个日志文
数据库信息速递 -- 别把kafka 当做你的第二个数据库 （翻译）
开头还是介绍一下群，如果感兴趣PolarDB ,MongoDB ,MySQL ,PostgreSQL ,Redis, Oceanbase, Sql Server等有问题，有需求都可以加群群内，可以解决你的问题。加群请联系 liuaustin3 ，（共1790人左右 1 + 2 + 3 + 4 +5）
消息队列kafka基础，基于go代码举例
消费者策略主要是定义对于多个消费者，分区如何分配的问题。以及解决发生reblance再平衡时，如何进行分区和消费者之间的分配。主要包括range范围分配，Round轮询策略(类似于生产者策略中的Round，Sticky粘性分配策略)
