Kafka消息丢失：原因、解决方案和零丢失的配置
Kafka消息丢失是一个常见的问题，但通过合理的配置和实施解决方案，可以降低消息丢失的风险。本文介绍了Kafka消息丢失的原因、解决方案以及实现零丢失的配置方法。通过正确配置生产者和消费者、增加副本因子、监控和警报系统，以及合理的容量规划，我们可以实现高可靠性的消息传递系统。
kafka消费报错卡死：内存溢出OutOfMemoryError: Java heap space
【代码】kafka消费报错卡死：内存溢出OutOfMemoryError: Java heap space。
干货 | 成本低误差小，携程基于 Kafka 的 Serverless 延迟队列的实践
作者简介Pin，关注 RPC、Service Mesh、Serverless 等云原生技术。一、背景随着上云项目的不断推进，大量的应用需要部署到 aws 上，其中有很多应用都依赖延迟队列的功能。而在aws上，我们选择以 Kafka 作为消息队列，但是 Kafka 本身不支持延迟队列，这就需要思考如何
ZooKeeper特性与节点数据类型详解
ZooKeeper特性与节点数据类型详解
Spark 图计算ONEID 进阶版
Oneid的生成
RabbitMQ --- 消息可靠性
消息从发送，到消费者接收，会经理多个过程：其中的每一步都可能导致消息丢失
死信是什么，如何运用RabbitMQ的死信机制？
我们在上次讨论RabbitMQ的消息可靠性时，已经提到了死信队列（详见系列文章《RabbitMQ 能保证消息可靠性吗》），死信概念是RabbitMQ的重要特性，官网也有该特性的介绍，那么这种设计有什么用，我们又该怎么使用死信呢？一起开始本次的学习吧。
Python 和 RabbitMQ 进行消息传递和处理
RabbitMQ 是一个开源的消息代理软件，它实现了高级消息队列协议（AMQP）标准。它的官方客户端提供了多种编程语言的接口，包括 Python、Java 和 Ruby 等。它支持消息的持久化、多种交换机类型、消息通知机制、灵活的路由和安全机制等。
Hadoop知识点
第二个阶段是由 ApplicationMaster 创建应用程序，为它申请资源，并监控它的整个运行过程，直到运行完成。（1）客户端通过Distributed FileSystem向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址。（3）DataNod
kafka千万级数据积压原因以及解决方案
首先我们在上面分析得出，是由于上游生产者producer发送数据过快，以及下游消费者consumer拉取数据过慢，实质上就是，生产者生产数据速度>>消费者消费数据速度。我们都知道，数据积压的直接原因，一定是系统中的某个部分出现了性能问题，来不及处理上游发送的数据，才会导致数据积压。那么我们就需要分析
Kafka数据倾斜到某一个分区解决方案
Kafka数据倾斜到某一个分区解决方案
RabbitMQ在CentOS下的安装
8. 配置端口，如果是阿里云，腾讯云，需要配置安全组，打开15762端口。如果是vmware虚拟机，需要配置防火窗。1.环境配置：CentOs 7.6以上版本，我的版本是7.9，不要对yum换源，否则可能会安装失败。11. 浏览器访问ip:15672， 用admin 密码123456即可登录。9.
kafka常用命令大全
kafka常用命令，自己记录自己用的，如果安装有kafka manager 或者kafka eagle可以不用熟悉一下命令：–提示 --zookeeper的命令可能需要在后面加入/kafka 因为一般企业都会建节点的时候建个父目录kafka常用命令相关概念Brokerkafka节点，多个brok
rabbitmq自动创建队列
在学习springAMQP时遇到了一个问题在使用下方代码时候，rabbitmq控制台不能自动创建queue只能自己手动添加队列后message才会存入队列中。解决方法加上注解，填上队列名就会在运行时自动创建队列了
Rabbitmq下载安装图文详解（Windows版_超详细）
Rabbitmq下载安装图文详解（Windows版_超详细）
分布式 - 消息队列Kafka：Kafka生产者发送消息的分区策略
只要你自己的实现类定义好了 partition 方法，同时设置partitioner.class 参数为你自己实现类的 Full Qualified Name，那么生产者程序就会按照你的代码逻辑对消息进行分区。@Override// 获取该 topic 可用的所有分区信息// 如果 keyBytes
kafka 关于设置消息存放周期
kafka retention 生命周期
分布式 - 消息队列Kafka：Kafka消费者分区再均衡(Rebalance)
我们试想以下场景：提交位移之后的 3 秒发生了 Rebalance ，在 Rebalance 之后，所有 Consumer 从上一次提交的位移处继续消费，但该位移已经是 3 秒前的位移数据了，故在 Rebalance 发生前 3 秒消费的所有数据都要重新再消费一次。在协作再均衡中，消费者群组首领会通
SpringCloud+Nacos集成Seata-1.7.0分布式事务
SpringCloud+Nacos集成Seata-1.7.0分布式事务
Spark
Spark知识点
