ELK采集MySQL慢日志实现
使用ELK采集mysql慢日志进行统计分析
使用jmx exporter采集kafka指标及配置
Jmx exporter中包含了kafka各个组件的指标，如server metrics、producer metrics、consumer metrics等，但这些指标并不是prometheus格式的，因此需要通过重命名方式转变为prometheus格式，重命名规则配置在。并在prometheus
大数据面试重点之kafka(七)
大数据面试重点之kafka(七)
解决kafka消费积压问题
压测遇到的消费积压问题
Kafka消费者调优
kafka消费者性能调优
kafka的副本以及分区与副本的关系
一 副本的作用1.Kafka 副本作用：提高数据可靠性。2.Kafka 中副本分为：Leader 和 Follower。Kafka 生产者只会把数据发往 Leader， 然后 Follower 找 Leader 进行同步数据。读写由leader来完成，follower只备份，和leader同步数据，
Windows上启动Kafka，创建测试实例，关闭kafka
kafka入门，安装和启动测试，直观展现生产者消费者，后续会有springboot项目和kafka进行整合的项目实例
Kafka消息写入流程
Kafka源码分析 Producer写入消息流程与源码分析
Kafka 数据重复怎么办？（案例）
通常，消息消费时候都会设置一定重试次数来避免网络波动造成的影响，同时带来副作用是可能出现消息重复。整理下消息重复的几个场景：先来了解下消息的三种投递语义：了解了这三种语义，再来看如何解决消息重复，即如何实现精准一次，可分为三种方法：1） 幂等性 幂等性使用示例：在生产端添加对应配置即可 设置幂等，启
一文弄懂 ZooKeeper
1. 集群模式部署一般奇数节点，因为你5台机器可以挂2台，6台机器也是挂2台，不能超过一半的机器挂掉，所以5台和6台效果一致，那奇数节点可以减少机器开销，小集群部署，读多写少2. 主从架构： Leader 、 Follower 、 Observer （一般刚开始没必要用）3. 内存数据模型：Znod
【RocketMQ】RocketMQ快速入门
Metaq1.x是RocketMQ前身的第一个版本，本质上把Kafka做了一次java版本的重写（Kafka是scala语言开发）。Meta2.x，主要是对存储部分进行了优化，因为kafka的数据存储，它的partition是一个全量的复制，在阿里、在淘宝的这种海量交易。Kafka这种机制的横向拓展
单机Docker部署应用Kraft模式的Kafka集群
以ubuntu系统为基础，封装自己的镜像，使用单台主机模拟三台主机部署kraft模式的Kafka集群。
kafka动态创建消费者
使用注解的方式不能动态创建消费者，而且需要改变原代码，并重启项目，这往往只会增加后期维护成本。如题目所示，动态创建消费者，在现实的应用场景中显得越来越重要。
Zookeeper & Kafka 开启安全认证的配置
Zookeeper&Kafka 安全认证
大数据NiFi（二十二）：Kafka中数据实时导入到HDFS中
连接后，并设置“PutHDFS”处理器“failure”和“success”路由关系为自动终止。此案例使用到“ConsumerKafka_1_0”和“PutHDFS”处理器。“ConsumerKafka_1_0”处理器可以将消费Kafka中的数据。案例：向Kafka某个topic中写入数据，实时导入
【消息队列笔记】chp4-如何处理消费时的重复消息
在发送消息时，如果消息发送失败，发送方会对消息进行重发，这就会产生重复的消息。如果我们不对重复消息进行处理，可能会对系统造成一定的影响。如果消息队列本身能保证消息不会重复，那我们在消费端的实现逻辑就会变得很简单。
问题解决：记录一次Linux服务器根目录突然爆满
服务器目录突然爆满；Docker 的overlayer2目录暴增；消息队列消费者程序未正确消费程序；日志
Java整合Kafka实现生产及消费
Java整合Kafka。生产者参数配置、消费参数配置、生产自定义分区策略、生产到指定分区、设置offset根据时间戳获取 offset指定从头开始消费指定从某offset开始消费
Kafka动态认证SASL/SCRAM配置+整合springboot配置
Kafka动态认证SASL/SCRAM配置+整合springboot配置
ELK分布式日志收集快速入门-（一）-kafka单体篇
， 消息偏移量：” + consumerRecord.offset());安装遇到的问题（由于网站证书不安全导致）服务器端测试kafka发送消息和消费消息。安装教程自行百度-这个比较简单。zookeeper安装参考地址（修改zookeeper配合文件。查看已经创建的topic。下载k
