Kafka如何实现延迟队列?
Kafka如何实现延迟队列?
Springboot整合kafka
1. 整合kafka1、引入依赖 <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kaf
Filebeat部署+Kafka接收消息
单机版filebeat搭建,Filebeat部署+Kafka接收消息
正确使用docker compose安装Kafka并运行示例
kafka spring boot
spring设置kafka超时时间没有生效的解决方法(解决rebalancing问题)
最近生产kafka遇到一个问题,总是隔几分钟就,导致没有消费者、消息堆积;平衡好后,正常消费消息几分钟后,就又开始,消息再次堆积,一直循环。此时组里的所有topic都会没有消费者。用户明显感觉到系统变慢,需要想办法解决这个问题。
如何删除kafka主题数据
kafka消息在过了保留周期之后会被自动清除。但总有一些情况,需要立刻删除消息。假设这样场景:已经开始给kafka主题生产消息的应用发现了缺陷,接着bug修复程序需要更新,这是kafka主题中已经了一些错误的消息。这样场景通常在开发环境,我们需要的就是快速批量删除这些消息。本文介绍了几种方式删除ka
ELK采集MySQL慢日志实现
使用ELK采集mysql慢日志进行统计分析
使用jmx exporter采集kafka指标及配置
Jmx exporter中包含了kafka各个组件的指标,如server metrics、producer metrics、consumer metrics等,但这些指标并不是prometheus格式的,因此需要通过重命名方式转变为prometheus格式,重命名规则配置在。并在prometheus
大数据面试重点之kafka(七)
大数据面试重点之kafka(七)
解决kafka消费积压问题
压测遇到的消费积压问题
Kafka消费者调优
kafka消费者性能调优
kafka的副本以及分区与副本的关系
一 副本的作用1.Kafka 副本作用:提高数据可靠性。2.Kafka 中副本分为:Leader 和 Follower。Kafka 生产者只会把数据发往 Leader, 然后 Follower 找 Leader 进行同步数据。读写由leader来完成,follower只备份,和leader同步数据,
Windows上启动Kafka,创建测试实例,关闭kafka
kafka入门,安装和启动测试,直观展现生产者消费者,后续会有springboot项目和kafka进行整合的项目实例
Kafka消息写入流程
Kafka源码分析 Producer写入消息流程与源码分析
Kafka 数据重复怎么办?(案例)
通常,消息消费时候都会设置一定重试次数来避免网络波动造成的影响,同时带来副作用是可能出现消息重复。整理下消息重复的几个场景:先来了解下消息的三种投递语义:了解了这三种语义,再来看如何解决消息重复,即如何实现精准一次,可分为三种方法:1) 幂等性 幂等性使用示例:在生产端添加对应配置即可 设置幂等,启
一文弄懂 ZooKeeper
1. 集群模式部署一般奇数节点,因为你5台机器可以挂2台,6台机器也是挂2台,不能超过一半的机器挂掉,所以5台和6台效果一致,那奇数节点可以减少机器开销,小集群部署,读多写少2. 主从架构: Leader 、 Follower 、 Observer (一般刚开始没必要用)3. 内存数据模型:Znod
【RocketMQ】RocketMQ快速入门
Metaq1.x是RocketMQ前身的第一个版本,本质上把Kafka做了一次java版本的重写(Kafka是scala语言开发)。Meta2.x,主要是对存储部分进行了优化,因为kafka的数据存储,它的partition是一个全量的复制,在阿里、在淘宝的这种海量交易。Kafka这种机制的横向拓展
单机Docker部署应用Kraft模式的Kafka集群
以ubuntu系统为基础,封装自己的镜像,使用单台主机模拟三台主机部署kraft模式的Kafka集群。
kafka动态创建消费者
使用注解的方式不能动态创建消费者,而且需要改变原代码,并重启项目,这往往只会增加后期维护成本。如题目所示,动态创建消费者,在现实的应用场景中显得越来越重要。
Zookeeper & Kafka 开启安全认证的配置
Zookeeper&Kafka 安全认证