0


如何用Know Streaming 快速对Kafka Topic 完成扩缩副本操作

文章目录

功能简介

扩缩副本功能是原生Kafka没有的功能,或者说是没有直接提供的功能。

但是对于扩缩副本这么一个操作功能, 是属与平时不会用, 想用的时候干着急。

比如一开始你的Topic副本数填的是1, 运行了一段时间之后发现, 1的副本可不行啊, 高可用性大大降低, 需要扩副本。

但是你想要扩副本的时候才发现, kafka并没有提供此类功能, 处境很尴尬

现在,用Know Streaming 这个将不再是问题!

操作流程

①. Topic - > 批量变更 -> 迁移副本

在这里插入图片描述

②. 填写想要扩缩副本的Topic(可多选)

在这里插入图片描述

操作亮点

一次扩缩多个Topic

设置的时候可以一次性选择多个Topic进行副本的扩缩,并且每个Topic可以设置不同的副本数

在这里插入图片描述

自定义副本目标节点

如果你想扩缩副本操作之后 副本应该分配在哪些节点中,则可以在下面这里设置。

注:目标节点的数量一定是要大于等于 已选择Topic最终副本的最大数量的哦

比如一个topic 扩至2 一个扩至3. 那么目标节点一定要大于等于3

在这里插入图片描述

可预览扩缩副本的计划并手动修改

你可能想了解一下,扩缩之后的分配情况是什么样子的,那么你可以点击 预览任务计划

在这里插入图片描述

可以看到你可以针对每个Topic的每个分区的分配情况手动调节(一般情况是不需要的,除非你知道你做的是什么)

这个功能不仅能让你知道最终的分配情况,还能让你手动指定Broker还有顺序。

这个有什么用呢?

假如你想指定某个副本为Leader,按照优先副本的选举策略,你是不是就可以把你想要成为Leader副本的那个调整到最前面。

限流扩缩

扩缩副本的时候,本质上就是 副本的复制和副本的删除流程。

为了防止整个过程对正常业务的影响,这里可以让你设置整个过程的限流阈值。

减少对集群的压力

实现原理

副本的扩缩,本质上就是执行了一次分区副本重分配。

关于分区副本重分配流程请看: 分区副本重分配流程

Know Streaming介绍

Know Streaming脱胎于互联网公司内部多年的Kafka运营实践经验,通过0侵入、插件化构建企业级Kafka服务,极大降低操作、存储和管理实时流数据门槛
不会对Apache Kafka做侵入性改造,就可纳管0.10.x-3.x集群版本,帮助您提升集群管理水平;我们屏蔽了流处理的复杂性,让普通运维人员都能成为流处理专家

Know Streaming Github

Know Streaming 官网

如何参与共建

如何快速优雅的用Know Streaming创建Topic

标签: java kafka 大数据

本文转载自: https://blog.csdn.net/u010634066/article/details/127633972
版权归原作者 石臻臻的杂货铺 所有, 如有侵权,请联系我们删除。

“如何用Know Streaming 快速对Kafka Topic 完成扩缩副本操作”的评论:

还没有评论