Kafka系列 - overfit.cn

Kafka系列之：Kafka Connect深入探讨 - 错误处理和死信队列

Kafka Connect是Apache Kafka®的一部分，是一个构建Kafka和其他技术之间流水线的强大框架。它可以用于从多个位置（包括数据库、消息队列和平面文件）将数据流式传输到Kafka，也可以将数据从Kafka流式传输到目标，如文档存储、NoSQL数据库、对象存储等。在完美的世界中，不会

overfit同步小助手 2024-09-09 22:03:22 0 收藏

Kafka系列之：Kafka存储数据相关重要参数理解

在Apache Kafka中，数据底层文件主要包括以下几种类型：这几个文件是Apache Kafka在存储和管理消息时使用的，以下是对每个文件的解释：

overfit同步小助手 2024-07-23 12:03:39 0 收藏

Kafka系列之：记录一次Kafka Topic分区扩容，但是下游flink消费者没有自动消费新的分区的解决方法

overfit同步小助手 2023-10-06 22:04:03 0 收藏

Kafka系列之：Kraft模式

overfit同步小助手 2023-09-02 07:04:28 0 收藏

Kafka系列之：延时队列

overfit同步小助手 2023-08-21 14:04:07 0 收藏

Kafka系列之：安装Know Streaming详细步骤

overfit同步小助手 2023-08-17 00:04:07 0 收藏

Kafka系列之：连接器客户端配置覆盖策略

虽然最初的提案允许覆盖源连接器和接收器连接器，但它在允许连接器的不同配置方面仍然受到限制。在较高层面上，该提案旨在引入类似于 Core Kafka 中可用的 CreateTopicPolicy 的可配置策略，用于连接器客户端配置覆盖。更具体地说，我们将引入一个新的工作配置，该配置将允许管理员配置连接

overfit同步小助手 2023-07-24 23:04:47 0 收藏

Kafka系列之：自定义转换Transformation

如果可用的单一消息转换 (SMT) 均未提供必要的转换，可以创建自己的转换。首先要理解的一个重要概念是，通常，SMT 实现在抽象类中提供大部分逻辑。SMT 实现然后提供两个具体的子类，称为 Key 和 Value，它们指定是处理 Connect 记录的键还是值。使用转换时，用户指定 Key 或 Va

overfit同步小助手 2023-07-19 18:04:11 0 收藏

Kafka系列之：对源连接器的的Exactly-Once支持

尽管在这种情况下，用户不一定需要控制每个连接器的偏移主题的名称（例如，工作人员可以简单地在连接器覆盖的 Kafka 集群上创建一个具有相同名称的偏移主题），但公开此级别一旦意识到每个连接器偏移主题的必要性，控制的增加就不会增加此设计的复杂性。如果工作线程启动了事务性生产者，然后在完成对配置主题末尾的

overfit同步小助手 2023-07-01 08:04:21 0 收藏