常用MQ消息中间件Kafka、ZeroMQ和RabbitMQ对比及RabbitMQ详解
了解常用MQ消息中间件Kafka、ZeroMQ和RabbitMQ的基础知识,对三者特性进行对比,选取合适的MQ。着重讲解RabbitMQ详解。
Kafka 进阶指南
本指南介绍了 Kafka 的进阶主题,包括性能调优、扩展策略、数据复制、日志管理、流处理和安全性。这些高级特性和使用技巧可以帮助您更好地利用 Kafka 提高系统的性能、可扩展性和可靠性。希望这篇文章能够帮助您深入理解 Kafka,并在实际项目中应用这些知识。# Kafka 进阶指南## 引言在掌握
图解 Kafka 架构
Kafka 是一个可横向扩展,高可靠的实时消息中间件,常用于服务解耦、流量削峰。
(一)Kafka 安全之使用 SSL 的加密和身份验证
SSL(Secure Sockets Layer)是一种网络协议,提供了一种在客户端和服务器之间建立安全连接的方法。启用 SSL 后,Kafka 集群中的所有数据传输,包括生产者、消费者与 Broker 之间的消息交互都会被加密,确保敏感信息在网络传输过程中不被窃听或篡改。
kafka-消费者-指定offset消费(SpringBoot整合Kafka)
kafka-消费者-指定offset消费(SpringBoot整合Kafka)
Kafka之Broker原理
本文介绍Broker服务器,主要讲了Broker中日志的存储,从大到小依次为Partition、Segment,副本机制的具体存储形式,是怎么进行负载均衡和容灾保障的,在Segment中我们直到了Segment是由一个Log文件和两个索引文件组成的,索引文件主要起的是一个提升查询效率的作用。随后当k
Kafka生产消费实战-JAVA
Kafka生产消费实战
Java技术栈总结:kafka篇
如果集群发现超过10s没有续约的消费者,会将其踢出消费者,触发消费组的reblance机制,将该分区的交给消费组里的其他消费者进行消费。随着积压消息的增多,消费者的寻址性能会下降,最终导致整个kafka对外提供服务的性能很差,从而造成其他服务访问速度变慢,造成服务雪崩。总结:集群中有多个broker
【Kafka专栏 13】Kafka的消息确认机制:不是所有的“收到”都叫“确认”!
在深入了解消息确认机制之前,我们先简要回顾一下Kafka的基础架构。Kafka是一个分布式的流处理平台,它主要由三个核心组件构成:Producer(生产者)、Broker(代理)和Consumer(消费者)。生产者负责发送消息到Kafka集群,代理负责存储和管理这些消息,而消费者则从Kafka集群中
spring boot 集成kafka ,并且实现 发送信息,进行消费信息(亲测有效)
以后我们的controller 或者 service 就调用生产者,消费者写好之后就自动监听信息,并且进行处理信息了,也就是把我们的业务逻辑写到消费者里面就可以。有一个spring boot 项目,现在要集成kafka ,并且要实现 生产者,消费者信息;前提是我们要有一个kafka
kafka--发布-订阅消息系统
kafka是分布式的高并发的基于发布/订阅模式的消息队列软件系统。
【Kafka专栏 10】Kafka消息压缩机制:从带宽保存到存储成本降低
Kafka的消息压缩机制通过减少网络传输的数据量、降低磁盘存储空间的占用以及减少I/O操作的开销来提高系统的性能和可扩展性。通过选择合适的压缩算法、控制压缩级别、监控压缩效果以及注意消息顺序和一致性等策略,可以确保Kafka在保持高性能的同时实现有效的资源利用。然而,需要注意的是,压缩和解压缩过程也
maxwell同步mysql到kafka(一个服务器启动多个)
maxwell数据同步
《基于 Kafka + Flink + ES 实现危急值处理措施推荐和范围校准》
本篇文章分享一下博主所在公司的危急值处理措施推荐和范围校准的实现方案。主要是基于 Kafka + Flink + Elasticsearch 实现,由于涉及隐私问题,内容以方案介绍为主,有需要探讨的可以留言。好,让我们开始。上文介绍了博主所在公司的《基于 Kafka + Flink + ES 实现危
KafKa学习笔记
本文旨在为初学提供一个快速学习kafka的途径,全是精华,对初学者快速理解和搭建Kafka实战有一定的指导意义。
Kafka详解
Kafka、RabbitMQ、RocketMQ常见消息中间件的介绍和对比。
kafka enable.auto.commit和auto.offset.reset使用说明
【代码】kafka enable.auto.commit和auto.offset.reset使用说明。
springboot 实现kafka多源配置
实际开发中,不同的topic可能来自不同的集群,所以就需要配置不同的kafka数据源,基于springboot自动配置的思想,最终通过配置文件的配置,自动生成生产者及消费者的配置。
Kafka 3.x.x 入门到精通(02)——对标尚硅谷Kafka教程
Kafka是一个由Scala和Java语言开发的,经典高吞吐量的分布式消息发布和订阅系统,也是大数据技术领域中用作数据交换的核心组件之一。以高吞吐,低延迟,高伸缩,高可靠性,高并发,且社区活跃度高等特性,从而备受广大技术组织的喜爱。
如何系列 如何确保Kafka消息可靠性/防止消息丢失
当出现网络的瞬时抖动时,消息发送可能会失败,此时配置了retries > 0的Producer能够自动重试消息发送,避免消息丢失。如果一个Broker落后原先的Leader太多,那么它一旦成为新的Leader,必然会造成消息的丢失。其实这里想表述的是,最好将消息多保存几份,毕竟目前防止消息丢失的主要