Flink消费Kafka实时写入Doris
通过FileBeat采集日志信息到Kafka，再通过Flink消费Kafka实时写入Doris。
如何安装部署kafka
安装和部署需要以下几个步骤，包括下载 Kafka、配置 ZooKeeper（或者使用 Kafka 自带的 Kafka Raft 模式替代 ZooKeeper），以及启动 Kafka 服务。以下是一个但基于 Linux 的典型安装流程，可以根据需要改装到其他操作系统。
Kafka消息堆积问题排查
背景业务架构图根据 微服务重构：Mysql+DTS+Kafka+ElasticSearch解决跨表检索难题所描述，我们使用了Es解决微服务重构中遇到的Mysql库拆分问题，业务架构图如下所示：Kakfa消息堆积导致的数据一致性问题在下午14:15左右，收到用户反馈，短暂时间内，出现了业务数据一致性问
一场 Kafka CRC 异常引发的血案
间歇性 Kafka CRC 异常
Kafka-参数详解
我们从producer、consumer、broker三方面对Kafka的参数分别做下整理。
IT技术分享--kafka消息大小设置
kafka消息大小默认为1M，当需要调整消息大小时，可通过以下方式配置，亲测有效。
springboot kafka多数据源，通过配置动态加载发送者和消费者
如果消费者或者发送者逻辑需要写在当前kafka网关应用，那么只能通过自定义扫描方式支持配置不同，所有配置的生成者和消费者必须代码实现逻辑，通过配置加载方式，自定义扫描注入bean即可。以消费者为例，生产者不涉及注解发送方式相对简单。});写了一个初始化的bean，用于通过配置加载bean。消费者是注
消息中间件常见面试题（RabbitMQ）
消息中间件常见面试题（RabbitMQ）
「Kafka」Kafka消息可靠性和重复消费问题（五）
在 Kafka 中，实现消息的和是保证数据一致性和系统稳定性的关键。Kafka 提供了多种机制来实现这两个目标。
Kafka--高吞吐量消息中间件
Kafka保证一个Partiton内的消息的有序性(分区间数据是无序的，如果对数据的顺序有要求，应将在创建主题时将分区数partitions设置为1)1.Kafka通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB级别以上的消息存储也能够保持长时间的稳定性能·创建topic名为wa
【Kafka源码走读】消息生产者与服务端的连接过程
kafka生产者连接服务端的源码走读过程
尚硅谷大数据技术-Kafka视频教程-笔记01【Kafka 入门】
尚硅谷大数据技术-Kafka视频教程-笔记01【Kafka 入门】
星辰计划04-深入理解kafka的消息存储和索引设计
深入理解kafka的消息存储和索引设计
Kafka-设计原理
HW：HW俗称高水位，HighWatermark的缩写，取一个partition对应的ISR中最小的LEO(log-end-offset)作为HW，consumer最多只能消费到HW所在的位置。Kafka的复制机制既不是完全的同步复制，也不是单纯的异步复制，很好的均衡了确保数据不丢失以及吞吐率。当p
kafka的成神秘籍（java）
Kafka 最初是由Linkedin 即领英公司基于Scala和 Java语言开发的分布式消息发布-订阅系统，现已捐献给Apache软件基金会。Kafka 最被广为人知的是作为一个 消息队列(mq)系统存在，而事实上kafka已然成为一个流行的分布式流处理平台。其具有高吞吐、低延迟
Kafka Broker处于高负载状态（例如消息处理量大或系统资源不足），无法及时响应消费者的请求
此错误主要是由于客户端在指定超时时间内无法从Broker获取分区的位置信息。建议检查网络连接、Kafka集群状态、分区Leader以及超时时间的配置。如果这些方法还不能解决问题，进一步查看Kafka的日志和监控数据，深入排查问题原因。
00_概览_kafka
kafka的简介记得比较乱
KDP场景教程 | 如何与 KDP 上的 Kafka 快速集成
KDP 提供的云原生 Kafka 是一个分布式的消息队列系统，具有高吞吐量、高可用性、高容错性等特点，适用于大规模数据处理场景。为支持用户快速搭建 Kafka 集群，KDP 提供了 Kafka 集群应用，用户可以通过 KDP-ux 一键安装 Kafka 集群，支持消息的生产和消费需求。为支持用户进行
kafka mirror maker之实现两个kafka集群之间的数据同步
Kafka MirrorMaker 是 Apache Kafka 提供的一个用于在不同 Kafka 集群之间复制数据的工具。它的主要用途是在多个数据中心、地理位置或集群之间实现数据同步和冗余，以提升数据的高可用性和容灾能力。以下是关于 Kafka MirrorMaker 的详细介绍。Kafka Mi
如何解决kafka消息积压问题
Kafka 消息积压问题的解决思路是多方面的，既要提高消费者的消费能力，也要优化Kafka集群的配置。同时，可以根据具体的业务需求，采取批量处理、限流、分流等方式来减少积压。在你设计的支持50万QPS的站内消息系统中，可能会涉及类似的积压问题，你是否已经有相关的解决方案了呢？
