Kafka+RabbitMQ+ActiveMQ看看消息队列设计精要14
消息队列已经逐渐成为企业IT系统内部通信的核心手段。它具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能,成为异步RPC的主要手段之一。当今市面上有很多主流的消息中间件,如老牌的ActiveMQ、RabbitMQ,炙手可热的Kafka,阿里巴巴自主开发的Notify、MetaQ、Rocke
云消息队列 Kafka 版全面升级:经济、弹性、稳定,成本比自建最多降低 82%
本文整理于 2024 年云栖大会阿里云智能集团产品专家张凤婷带来的主题演讲《云消息队列 Kafka 版全面升级:经济、弹性、稳定》
Kafka 之消息广播消费
上一篇我们分享了 Kafka 批量消息相关的知识,本篇我们继续分享 Kafka 的广播消费。
关于kafka-几道面试题
kafka、面试题
Kafka+RabbitMQ+ActiveMQ看看消息队列设计精要2
消息队列已经逐渐成为企业IT系统内部通信的核心手段。它具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能,成为异步RPC的主要手段之一。当今市面上有很多主流的消息中间件,如老牌的ActiveMQ、RabbitMQ,炙手可热的Kafka,阿里巴巴自主开发的Notify、MetaQ、Rocke
【Kafka 实战】如何解决Kafka Topic数量过多带来的性能问题?
Kafka Topic 数量过多可能会导致性能问题,包括元数据管理开销增加、Broker 负载增大、网络带宽消耗增加等
flink+kafka 如何保证精准一次
在Flink与Kafka的集成中,要实现精确一次(exactly-once)处理语义,需要确保在发生故障时,无论是数据的重复还是丢失都不会发生。
Java通过calcite实时读取kafka中的数据
Calcite是一个动态数据库管理框架,具备数据库管理系统的功能。Calcite具备SQL解析、校验、优化、生成、连接查询等功能。Calcite能够为不同平台和数据源提供统一的查询引擎
【Kafka】Kafka源码解析之producer过程解读
【Kafka】Kafka源码解析之producer过程解读
Kafka-生产者源码分析
从前面的博客,我们已经了解了Kafka的设计思想、常用命令、参数配置、示例代码。下面我们从源码的角度来看下Kafka的生产者的内部细节。源码下载链接:https://downloads.apache.org/kafka/3.8.0/kafka-3.8.0-src.tgzproducer是一个将记录推
Kafka物理存储机制深度解析
Kafka的存储结构主要包括主题(Topic)、分区(Partition)、日志段(LogSegment)和索引文件(Index File)等关键组件。主题(Topic)Kafka中的主题是一个逻辑上的概念,用于表示一类数据的集合。每个主题都可以被划分为多个分区,以提高并发处理能力和数据容量。主题在
最全Kafka知识宝典之消费端深度剖析
一个新的消费者加入群组时,它读取的是原本由其他消费者读取的消息,当一个消费者被关闭或发生崩溃时,它就离开群组,原本由它读取的分区将由群组里的其他消费者来读取,在主题发生变化时,比如管理员添加了新的分区,会发生分区重分配。
利用 Vector 将 Kafka 中的日志数据高效写入 GreptimeDB
Kafka 是一个分布式消息队列,具有高吞吐量、高可靠性、高可扩展性等特点。而GreptimeDB 是一个开源的时序数据库,专门用于存储时间序列数据。本文将介绍如何利用 Vector 从 Kafka 读取日志数据并写入GreptimeDB。
kafka无法启动,提示连接zookeeper超时
由于/etc/resolv.conf配置了域名服务器的ip,导致kafka连不上zookeeper
kafka-python,一个超牛的Python库
`kafka-python` 是一个纯 Python 实现的 Kafka 客户端库,它允许开发者轻松地与 Apache Kafka 集群进行交互,发送和接收消息。
如何确定kafka与zookeeper版本的对应关系
真希望官方可以贴心的整理出所有版本和zookeeper的对应关系,从目前kafka发展的趋势来看,都已经移除zookeeper依赖了,这件事也是木戏,哈哈哈;从解压目录我们可以kafka的源码是基于gradle的,我们只需要去gradle的依赖中找找zookeeper依赖的版本即可;搜索zookee
Spring Cloud Stream 3.x+kafka 3.8整合
SpringCloud Alibaba五大组件之——RocketMQ,趁着此机会,继续学习了解一下Spring Cloud Stream,本文就以kafka为例。本文项目用到的所有Maven依赖和版本,都是和前面几篇文章一样。由于整合kafka 不需要用到Cloud Alibaba一系列的技术,所以
Kafka 的零拷贝原理
Kafka的零拷贝(Zero-Copy)原理是通过减少或消除数据在内核态和用户态之间的拷贝次数,从而提高数据传输的效率和性能。这一原理的实现主要依赖于操作系统提供的底层支持,特别是直接内存映射(Direct Memory Mapping)和sendfile系统调用等机制。
多条Kafka消息的key重复会怎样?
在org.apache.kafka.clients.producer.internals.DefaultPartitioner#partition方法中的注释【keyBytes serialized key to partition on (or null if no key)】可以看到,会通过ke
Idea 中kafka 生产者无法正常生产消息,SpringBoot编写简单的kafka实例
在idea中,kafka无法消费生产者的信息,无法正常退出。首先观察kafka9092端口和zookeeper的2181端口的是否对外开放。