kafka的auto.offset.reset详解与测试
就是说如果这个topic有历史消息，现在新启动了一个消费者组，且auto.offset.reset=latest，此时已存在的历史消息无法消费到，那保持消费者组运行，如果此时topic有新消息进来了，这时新消息才会被消费到。而一旦有消费，则必然会提交offset。一运行发现已有的10条消息（最开始5
【漏洞真实影响分析】Apache Kafka Connect 模块JNDI注入（CVE-2023-25194）
Apache Kafka Connect 是Kafka中用于和其他数据系统传输数据的服务，其独立运行版本可以在Kafka发布包中通过bin/connect-standalone.sh启动，默认会在8083端口开启HTTP REST API服务，可对连接器（Connector）的配置进行操作
字节面试官: 让你设计一个MQ每秒要抗几十万并发，怎么做？
Kafka是高吞吐低延迟的高并发、高性能的消息中间件，在大数据领域有极为广泛的运用。配置良好的Kafka集群甚至可以做到每秒几十万、上百万的超高并发写入。
Kafka架构组成及相关内容
https://www.bilibili.com/video/BV1vr4y1677k【事务原理】：【发送代码】：·
kafka常用命令
kafka常用命令
Apache Kafka 漏洞 【CVE-2023-25194】说明及解决建议
Apache Kafka 漏洞 【CVE-2023-25194】说明 及 解决建议
Kafka消息可视化工具-Offset Explorer使用
Kafka消息可视化工具-Offset Explorer使用
【MQ我可以讲一个小时】
再聊聊消息队列高可用问题，对于RocketMQ来说可以使用Dledger主从架构来保证消息队列的高可用，这个在上面也有提到过。然后在说说rabbitmq，它提供了一种叫镜像集群模式，在镜像集群模式下，你创建的 queue，无论元数据还是 queue 里的消息都会存在于多个实例上，就是说，每个 Rab
kafka可视化客户端工具（Kafka Tool）的使用
本文来说下kafka可视化客户端工具（Kafka Tool）的使用文章目录概述概述
RocketMQ事务消息
RocketMQ 事务消息
【2021最新版】Kafka面试题总结（25道题含答案解析）
文章目录1、Kafka是什么？2、partition的数据文件（offffset，MessageSize，data）3、数据文件分段 segment（顺序读写、分段命令、二分查找）4、负载均衡（partition会均衡分布到不同broker上）5、批量发送6、压缩（GZIP或Snappy）7、消费者
Kafka配置用户名密码访问
1 软件版本kafka_2.12-2.4.0.tgz（带zookeeper）2 kafka服务端部署2.1 将安装包上传到服务器，并解压tar zxvf kafka_2.12-2.4.0.tgz -C /datamv kafka_2.12-2.4.0 kafka2.2 修改kafka配置文件 ser
[Spark、hadoop]Spark Streaming整合kafka实战
Kafka是由Apache软件基金会开发的一个开源流处理平台,它使用Scala和Java语言编写，是一个基于Zookeeper系统的分布式发布订阅消息系统，该项目的设计初衷是为实时数据提供一个统一、高通量、低等待的消息传递平台。①、Kafka的众多优点：其优点具体：(1)解耦。Kafka 具备消息系
kafka简介
Kafka 本质上是⼀个消息队列。与zeromq不同的是，Kafka是一个独立的框架而不是一个库。这里主要介绍其原理，至于具体的安装等操作不做介绍，只是提示一下，第一次运行时，先设置前台运行，看会不会报错。架构注意下图没有画上zookeeper，请自行脑补。kafka需要连接到zookeeper，来
【Kafka】Kafka的重复消费和消息丢失问题
在Kafka中，生产者（Producer）和消费者（Consumer）是通过发布订阅模式进行协作的，生产者将消息发送到Kafka集群，而消费者从Kafka集群中拉取消息进行消费，无论是生产者发送消息到Kafka集群还是消费者从Kafka集群中拉取消息进行消费，都是容易出现问题的，比较典型的就是消费端
[Spark、hadoop]spark Streaming的核心DStream
1.SparkStreaming提供了一个高级抽象的流，即DStream(离散流)。2.DStream的内部结构是由一系列连续的RDD组成，每个RDD都是一小段由时间分隔开来的数据集。
Springboot 配置使用 Kafka
不多BB讲原理，只教你怎么用，看了全网没有比我更详细的了，yml 配置，Config 工厂代码配置都有，batch-size、acks、offset、auto-commit、trusted-packages、poll-timeout、linger 应有尽有，批量消费、开启事务、定义批量消费数量、延时
【kafka专栏】生产者数据批量发送流程源码解析
kafka生产者数据发送流程源码解析
编码技巧——@KafkaListener的使用
最近在接手某个项目代码时，发现关于Kafka的consumer相关的代码写的很乱，consumer中写了大量的配置的代码，并且手动的拉取消息，并开启线程消费，不够优雅；理想的做法是单独维护kafka的consumer配置，在定义consumer的bean时，指定topic和group，仅实现消费逻辑
Springboot中使用kafka
首先说明，本人之前没用过zookeeper、kafka等，尚硅谷十几个小时的教程实在没有耐心看，现在我也不知道分区、副本之类的概念。用kafka只是听说他比RabbitMQ快，我也是昨天晚上刚使用，下文中若有讲错的地方或者我的理解与它的本质有偏差的地方请包涵。此文背景的环境是windows，linu
