Kafka面试】Kafka如何保证消费的顺序性？
一、业务场景二、解决方案消费者组的某个消费者可能负责消费一个topic的多个分区。每个分区都维护了偏移量（都是从0开始的），在消息存储时按照一定的策略来找到不同的分区进行存储，消费同样如此，并不能保证消息的顺序性。要想保证顺序性，可以只提供一个分区，或者相同的业务只在一个分区下进行存储和消费，因为同
Kafka入门到精通
Kafka是由Apache软件基金会开发的一个开源流平台，由Scala和Java编写。Kafka的Apache官网是这样介绍Kakfa的。Apache Kafka是一个分布式流平台。发布和订阅流数据流，类似于消息队列或者是企业消息传递系统以容错的持久化方式存储数据流处理数据流Publish and
Kafka-partition和消费者的关系
Kafka-partition和消费者的关系
Kafka如何实现精确一次语义
精确一次交付保证是关于消息传递最具争议性的话题之一，因此也是最复杂的任务之一。然而，几年前，Kafka团队宣布他们实现了这一目标，让我们深入研究一下他们的实现方式以及存在的限制。首先，值得定义一下这些交付语义是什么。通常有三种使用的语义：•至少一次：系统保证消息被接收，但不能保证只接收一次。•至多一
Flume多路复用模式把接收数据注入kafka 的同时，将数据备份到HDFS目录
Flume多路复用模式把接收数据注入kafka 的同时，将数据备份到HDFS目录
Kafka 中 SASL ACL SSL 到底分别代表什么意思
看各类帖子都没能指出这些到底是什么意思，他们是冲突的，还是互相作用的，还是隔离的？本文讲解 `kafka` 中 `SASL`、`ACL`、`SSL` 他们分别的作用以及含义。
[kafka] windows下安装kafka（含安装包）
[kafka] windows下安装kafka（含安装包）
kubesphere部署kafka单点
【代码】kubesphere部署kafka单点。
【Docker安装部署Kafka+Zookeeper详细教程】
【Docker安装部署Kafka+Zookeeper详细教程】拉取镜像、创建网络、zookeeper+kafka部署、参数说明。
kafka消费者api和分区分配和offset消费
消费者的消费方式为主动从broker拉取消息，由于消费者的消费速度不同，由broker决定消息发送速度难以适应所有消费者的能力拉取数据的问题在于，消费者可能会获得空数据。
Spring-Kafka如何实现批量消费消息并且不丢失数据
某个业务对象由多张表关联而成，要创建该对象需要想多张表插入数据，基于canal的监控就会有多次该对象的变更记录，而Kafka消费的时候也会多次处理同一个对象（虽然不同表，但是同一个对象的不同部分），原有的Kafka消费者是一次处理一条，这将造成重复对同一个对象的处理。其实只需要所有表插入完毕后，一次
Kafka数据丢失原因及解决方案
Producer端、Broker端、Consumer端丢失数据及解决方法
skywalking agent使用kafka数据传输
Skywalking agent高并发场景下信息上传
一文带你理解Kafka的Header
Kafka从 0.11.0.0 版本开始提供了一种在生产者和消费者之间传递元数据的机制，叫做 Kafka header。使用这个机制，你可以在消息中添加一些与数据内容无关的附加信息，如消息的来源、类型、版本、生产时间、过期时间、分区数、用户 ID 等等。Kafka header 是由一个或多个键值对
Kafka的常用命令
Kafka的常用命令
基于Filebeat+Kafka+ELK实现Nginx日志收集并采用Elastalert2实现钉钉告警
基于Filebeat+Kafka+ELK实现Nginx日志收集并采用Elastalert2实现钉钉告警
Kafka的零拷贝
在使用mmap时，操作系统会自动将文件的某些部分或者整个文件的内容映射到内存中，而这些映射的内存区域可以被当作普通的内存指针来访问，从而实现对文件内容的访问。零拷贝就是把这两次多余的拷贝省略掉，应用程序可以直接把磁盘中的数据从内核中直接传输给Socket,而不再需要经过应用程序所在的用户空间，所以零
python 实时获取kafka消费队列信息
python 使用kafka python使用kafka实时获取消息
kafka常用命令
LAG： LOG-END-OFFSET减去CURRENT-OFFSET的值，表示积压量。--to-latest： 设置到最新处，也就是主题分区HW的位置。--to-earliest： 设置到最早位移处，也就是0。--shift-by NUM： 基于当前位移向前回退多少。--to-offset NUM
kafka原理五之springboot 集成批量消费
由于Kafka的写性能非常高，因此项目经常会碰到Kafka消息队列拥堵的情况。遇到这种情况，我们可以通过并发消费、批量消费的方法进行解决。
