0


Know Streaming 介绍

0、产品简介

Know Streaming

是一套云原生的 Kafka 管控平台,脱胎于众多互联网内部多年的 Kafka 运营实践经验,专注于 Kafka 运维管控、监控告警、资源治理、多活容灾等核心场景,在用户体验、监控、运维管控上进行了平台化、可视化、智能化的建设,提供一系列特色的功能,极大地方便了用户和运维人员的日常使用,让普通运维人员都能成为 Kafka 专家。

1、功能架构

2、体验路径

下面是用户第一次使用我们产品的典型体验路径:

3、常用功能

3.1、用户管理

用户管理是提供给管理员进行人员管理和用户角色管理的功能模块,可以进行新增用户和分配角色。下面是一个典型的场景: eg:团队加入了新成员,需要给这位成员分配一个使用系统的账号,需要以下几个步骤

  • 步骤 1:点击“系统管理”>“用户管理”>“人员管理”>“新增用户”,输入“账号”、“实名”、“密码”,根据此账号所需要的权限,选择此账号所对应的角色。如果有满足权限的角色,则用户新增成功。如果没有满足权限的角色,则需要新增角色(步骤 2)
  • 步骤 2:点击“系统管理”>“用户管理”>“角色管理”>“新增角色”。输入角色名称和描述,给此角色分配权限,点击“确定”,角色新增成功
  • 步骤 3:根据此新增的角色,参考步骤 1,重新新增用户
  • 步骤 4:此用户账号新增成功,可以进行登录产品使用

3.2、接入集群

  • 步骤 1:点击“多集群管理”>“接入集群”
  • 步骤 2:填写相关集群信息
  • 集群名称:支持中英文、下划线、短划线(-),最长 128 字符。平台内不能重复- Bootstrap Servers:输入 Bootstrap Servers 地址。输入完成之后会进行连接测试,测试完成之后会给出测试结果连接成功 or 连接失败(以及失败的原因)。- Zookeeper:输入 zookeeper 地址,输入完成之后会进行连接测试,测试完成之后会给出测试结果连接成功 or 连接失败(以及失败的原因)- Metrics 选填:JMX Port,输入 JMX 端口号;MaxConn,输入服务端最大允许的连接数- Security:若有 JMX 账号密码,则输入账号密码- Version:选择所支持的 kafka 版本,如果没有匹配则可以选择相近版本- 集群配置选填:输入用户创建 kafka 客户端进行信息获取的相关配置- 集群描述:最多 200 字符

3.3、新增 Topic

  • 步骤 1:点击“多集群管理”>“集群卡片”>“Topic”>“Topics”>“新增 Topic”按钮>“创建 Topic“抽屉
  • 步骤 2:输入“Topic 名称(不能重复)”、“Topic 描述”、“分区数”、“副本数”、“数据保存时间”、“清理策略(删除或压缩)”
  • 步骤 3:展开“更多配置”可以打开高级配置选项,根据自己需要输入相应配置参数
  • 步骤 4:点击“确定”,创建 Topic 完成

3.4、Topic 扩分区

  • 步骤 1:点击“多集群管理”>“集群卡片”>“Topic”>“Topics”>“Topic 列表“>操作项”扩分区“>“扩分区”抽屉
  • 步骤 2:扩分区抽屉展示内容为“流量的趋势图”、“当前分区数及支持的最低消息写入速率”、“扩分区后支持的最低消息写入速率”
  • 步骤 3:输入所需的分区总数,自动计算出扩分区后支持的最低消息写入速率
  • 步骤 4:点击确定,扩分区完成

3.5、Topic 批量扩缩副本

  • 步骤 1:点击“多集群管理”>“集群卡片”>“Topic”>“Topics”>“批量操作下拉“>“批量扩缩副本“>“批量扩缩容”抽屉
  • 步骤 2:选择所需要进行扩缩容的 Topic,可多选,所选择的 Topic 出现在下方 Topic 列表中
  • 步骤 3:Topic 列表展示 Topic“近三天平均流量”、“近三天峰值流量及时间”、“Partition 数”、”当前副本数“、“新副本数”
  • 步骤 4:扩容时,选择目标节点,新增的副本会在选择的目标节点上;缩容时不需要选择目标节点,自动删除最后一个(或几个)副本
  • 步骤 5:输入迁移任务配置参数,包含限流值和任务执行时间
  • 步骤 6:输入任务描述
  • 步骤 7:点击“确定”,创建 Topic 扩缩副本任务
  • 步骤 8:去“Job”模块的 Job 列表查看创建的任务,如果已经执行则可以查看执行进度;如果未开始执行则可以编辑任务

3.6、Topic 批量迁移

  • 步骤 1:点击“多集群管理”>“集群卡片”>“Topic”>“Topics”>“批量操作下拉“>“批量迁移“>“批量迁移”抽屉
  • 步骤 2:选择所需要进行迁移的 Topic,可多选,所选择的 Topic 出现在下方 Topic 列表中
  • 步骤 3:选择所需要迁移的 partition 和迁移数据的时间范围
  • 步骤 4:选择目标节点(节点数必须不小于最大副本数)
  • 步骤 5:点击“预览任务计划”,打开“任务计划”二次抽屉,可对目标 Broker ID 进行编辑
  • 步骤 6:输入迁移任务配置参数,包含限流值和任务执行时间
  • 步骤 7:输入任务描述
  • 步骤 8:点击“确定”,创建 Topic 迁移任务
  • 步骤 9:去“Job”模块的 Job 列表查看创建的任务,如果已经执行则可以查看执行进度;如果未开始执行则可以编辑任务

3.7、设置 Cluster 健康检查规则

  • 步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Overview”>“集群健康状态旁边 icon”>“健康度设置抽屉”
  • 步骤 2:健康度设置抽屉展示出了检查项和其对应的权重,可以修改检查项的检查规则
  • 步骤 3:检查规则可配置,分别为- Cluster:集群 controller 数不等于 1(数字不可配置)不通过- Broker:RequestQueueSize 大于等于 10(默认为 10,可配置数字)不通过- Broker:NetworkProcessorAvgIdlePercent 的 Idle 小于等于 0.8%(默认为 0.8%,可配置数字)不通过- Topic:无 leader 的 Topic 数量,大于等于 1(默认为 1,数字可配置)不通过- Topic:Topic 在 10(默认为 10,数字可配置)个周期内 8(默认为 8,数字可配置)个周期内处于未同步的状态则不通过- ConsumerGroup:Group 在 10(默认为 10,数字可配置)个周期内进行 8(默认为 8,数字可配置)次 re-balance 不通过
  • 步骤 4:设置完成后,点击“确认”,健康检查规则设置成功

3.8、图表指标筛选

  • 步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Overview”>“指标筛选 icon”>“指标筛选抽屉”
  • 步骤 2:指标筛选抽屉展示信息为以下几类“Health”、“Cluster”、“Broker”、“Consumer”、“Security”、“Job”
  • 步骤 3:默认勾选比较重要的指标进行展示。根据需要选中/取消选中相应指标,点击”确认“,指标筛选成功,展示的图表随之变化

3.9、编辑 Broker 配置

  • 步骤 1:点击“多集群管理”>“集群卡片”>“Brokers”>“Broker ID”>“Configuration”TAB>“编辑”按钮
  • 步骤 2:输入配置项的新配置内容
  • 步骤 3:(选填)点击“应用于全部 Broker”,将此配置项的修改应用于全部的 Broker
  • 步骤 4:点击“确认”,Broker 配置修改成功

3.10、重置 consumer Offset

  • 步骤 1:点击“多集群管理”>“集群卡片”>“Consumer”>“Consumer Group”名称>“Consumer Group 详情”抽屉>“重置 Offset”按钮>“重置 Offset”抽屉
  • 步骤 2:选择重置 Offset 的类型,可“重置到指定时间”或“重置分区”
  • 步骤 3:重置到指定时间,可选择“最新 Offset”或“自定义时间”
  • 步骤 4:重置分区,可选择 partition 和其重置的 offset
  • 步骤 5:点击“确认”,重置 Offset 开始执行

3.11、新增 ACL

  • 步骤 1:点击“多集群管理”>“集群卡片”>“Security”>“Users”>“新增 ACL”
  • 步骤 2:输入 ACL 配置参数- ACL 用途:生产权限、消费权限、自定义权限- 生产权限时:可选择应用于所有 Kafka User 或者特定 Kafka User;可选择应用于所有 Topic 或者特定 Topic- 消费权限时:可选择应用于所有 Kafka User 或者特定 Kafka User;可选择应用于所有 Topic 或者特定 Topic;可选择应用于所有 Consumer Group 或者特定 Consumer Group
  • 步骤 3:点击“确定”,新增 ACL 成功

4、全部功能

4.1、登录/退出登录

  • 登录:输入账号密码,点击登录
  • 退出登录:鼠标悬停右上角“头像”或者“用户名”,出现小弹窗“登出”,点击“登出”,退出登录

4.2、系统管理

用户登录完成之后,点击页面右上角【系统管理】按钮,切换到系统管理的视角,可以进行配置管理、用户管理、审计日志查看。

5.4.2.1、配置管理

配置管理是提供给管理员一个快速配置配置文件的能力,所配置的配置文件将会在对应模块生效。

5.4.2.2、查看配置列表
  • 步骤 1:点击”系统管理“>“配置管理”
  • 步骤 2:列表展示配置所属模块、配置键、配置值、启用状态、更新时间、更新人。列表有操作项编辑、删除,可对配置模块、配置键、配置值、描述、启用状态进行配置,也可删除此条配置
5.4.2.3、新增配置
  • 步骤 1:点击“系统管理”>“配置管理”>“新增配置”
  • 步骤 2:模块:下拉选择所有可配置的模块;配置键:不限制输入内容,500 字以内;配置值:代码编辑器样式,不限内容不限长度;启用状态开关:可以启用/禁用此项配置
4.2.4、编辑配置

可对配置模块、配置键、配置值、描述、启用状态进行配置。

4.2.5、用户管理

用户管理是提供给管理员进行人员管理和用户角色管理的功能模块,可以进行新增用户和分配角色。

4.2.6、人员管理列表
  • 步骤 1:点击“系统管理”>“用户管理”>“人员管理”
  • 步骤 2:人员管理列表展示用户角色、用户实名、用户分配的角色、更新时间、编辑操作。
  • 步骤 3:列表支持”用户账号“、“用户实名”、“角色名”筛选。
4.2.7、新增用户
  • 步骤 1:点击“系统管理”>“用户管理”>“人员管理”>“新增用户”
  • 步骤 2:填写“用户账号”、“用户实名”、“用户密码”这些必填参数,可以对此账号分配已经存在的角色。
4.2.8、编辑用户
  • 步骤 1:点击“系统管理”>“用户管理”>“人员管理”>列表操作项“编辑”
  • 步骤 2:用户账号不可编辑;可以编辑“用户实名”,修改“用户密码”,重新分配“用户角色“
4.2.9、角色管理列表
  • 步骤 1:点击“系统管理”>“用户管理”>“角色管理”
  • 步骤 2:角色列表展示信息为“角色 ID”、“名称”、“描述”、“分配用户数”、“最后修改人”、“最后更新时间”、操作项“查看详情”、操作项”分配用户“
  • 步骤 3:列表有筛选框,可对“角色名称”进行筛选
  • 步骤 4:列表操作项,“查看详情”可查看到角色绑定的权限项,”分配用户“可对此项角色下绑定的用户进行增减
4.2.10、新增角色
  • 步骤 1:点击“系统管理”>“用户管理”>“角色管理”>“新增角色”
  • 步骤 2:输入“角色名称”(角色名称只能由中英文大小写、数字、下划线_组成,长度限制在 3 ~ 128 字符)、“角色描述“(不能为空)、“分配权限“(至少需要分配一项权限),点击确认,新增角色成功添加到角色列表
4.2.11、审计日志
  • 步骤 1:点击“系统管理”>“审计日志“
  • 步骤 2:审计日志包含所有对于系统的操作记录,操作记录列表展示信息为下- “模块”:操作对象所属的功能模块- “操作对象”:具体哪一个集群、任务 ID、topic、broker、角色等- “行为”:操作记录的行为,包含“新增”、“替换”、“读取”、“禁用”、“修改”、“删除”、“编辑”等- “操作内容”:具体操作的内容是什么- “操作时间”:操作发生的时间- “操作人”:此项操作所属的用户
  • 步骤 3:操作记录列表可以对“模块“、”操作对象“、“操作内容”、”操作时间“进行筛选

4.3、多集群管理

4.3.1、多集群列表
  • 步骤 1:点击顶部导航栏“多集群管理”
  • 步骤 2:多集群管理页面包含的信息为:”集群信息总览“、“集群列表”、“列表筛选项”、“接入集群”
  • 步骤 3:集群列表筛选项为- 集群信息总览:cluster 总数、live 数、down 数- 版本筛选:包含所有存在的集群版本- 健康分筛选:筛选项为 0、10、20、30、40、50、60、70、80、90、100- live、down 筛选:多选- 下拉框筛选排序,选项维度为“接入时间”、“健康分“、”Messages“、”MessageSize“、”BytesIn“、”BytesOut“、”Brokers“;可对这些维度进行“升序”、“降序”排序
  • 步骤 4:每个卡片代表一个集群,其所展示的集群概览信息包括“健康分及健康检查项通过数”、“broker 数量”、“ZK 数量”、“版本号”、“BytesIn 均衡状态”、“BytesOut 均衡状态”、“Disk 均衡状态”、”Messages“、“MessageSize”、“BytesIn”、“BytesOut”、“接入时间”
4.3.2、接入集群
  • 步骤 1:点击“多集群管理”>“接入集群”
  • 步骤 2:填写相关集群信息- 集群名称:平台内不能重复- Bootstrap Servers:输入 Bootstrap Servers 地址,输入完成之后会进行连接测试,测试完成之后会给出测试结果连接成功 or 连接失败(以及失败的原因)。- Zookeeper:输入 zookeeper 地址,输入完成之后会进行连接测试,测试完成之后会给出测试结果连接成功 or 连接失败(以及失败的原因)- Metrics 选填:JMX Port,输入 JMX 端口号;MaxConn,输入服务端最大允许的连接数- Security:若有 JMX 账号密码,则输入账号密码- Version:kafka 版本,如果没有匹配则可以选择相近版本- 集群配置选填:用户创建 kafka 客户端进行信息获取的相关配置
4.3.3、删除集群
  • 步骤 1:点击“多集群管理”>鼠标悬浮集群卡片>点击卡片右上角“删除 icon”>打开“删除弹窗”
  • 步骤 2:在删除弹窗中的“集群名称”输入框,输入所要删除集群的集群名称,点击“删除”,成功删除集群,解除平台的纳管关系(集群资源不会删除)

4.4、Cluster 管理

4.4.1、Cluster Overview
  • 步骤 1:点击“多集群管理”>“集群卡片”>进入单集群管理界面
  • 步骤 2:左侧导航栏- 一级导航:Cluster;二级导航:Overview、Load Rebalance- 一级导航:Broker;二级导航:Overview、Brokers、Controller- 一级导航:Topic;二级导航:Overview、Topics- 一级导航:Consumer- 一级导航:Testing;二级导航:Produce、Consume- 一级导航:Security;二级导航:ACLs、Users- 一级导航:Job
4.4.2、查看 Cluster 概览信息
  • 步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Overview”
  • 步骤 2:cluster 概览信息包括以下内容- 集群健康分,健康检查通过项- Cluster 信息:包含名称、版本、均衡状态- Broker 信息:Broker 总数、controller 信息、similar config 信息- Topic 信息:Topic 总数、No Leader、<Min ISR、URP- Consumer Group 信息:Consumer Group 总数、是否存在 Dead 情况- 指标图表- 历史变更记录:名称、时间、内容、类型
4.4.3、设置 Cluster 健康检查规则
  • 步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Overview”>“集群健康状态旁边 icon”>“健康度设置抽屉”
  • 步骤 2:健康度设置抽屉展示出了检查项和其对应的权重,可以修改检查项的检查规则
  • 步骤 3:检查规则可配置,分别为- Cluster:集群 controller 数不等于 1(数字不可配置)不通过- Broker:RequestQueueSize 大于等于 10(默认为 10,可配置数字)不通过- Broker:NetworkProcessorAvgIdlePercent 的 Idle 小于等于 0.8%(默认为 0.8%,可配置数字)不通过- Topic:无 leader 的 Topic 数量,大于等于 1(默认为 1,数字可配置)不通过- Topic:Topic 在 10(默认为 10,数字可配置)个周期内 8(默认为 8,数字可配置)个周期内处于未同步的状态- ConsumerGroup:Group 在 10(默认为 10,数字可配置)个周期内进行 8(默认为 8,数字可配置)次 re-balance 不通过
  • 步骤 4:设置完成后,点击“确认”,健康检查规则设置成功
4.4.4、查看 Cluster 健康检查详情
  • 步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Overview”>“集群健康状态旁边【查看详情】”>“健康检查详情抽屉”
  • 步骤 2:健康检查详情抽屉展示信息为:“检查模块”、“检查项”、“权重”、“得分”、“检查时间”、“检查结果是否通过”,若未通过会展示未通过的对象
4.4.5、编辑 Cluster 信息
  • 步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Overview”>“Cluster 名称旁边编辑 icon”>“编辑集群抽屉”
  • 步骤 2:可编辑的信息包括“集群名称”、“Bootstrap Servers”、“Zookeeper”、“JMX Port”、“Maxconn(最大连接数)”、“Security(认证措施)”、“Version(版本号)”、“集群配置”、“集群描述”
  • 步骤 3:点击“确定”,成功编辑集群信息
4.4.6、图表指标筛选
  • 步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Overview”>“指标筛选 icon”>“指标筛选抽屉”
  • 步骤 2:指标筛选抽屉展示信息为以下几类“Health”、“Cluster”、“Broker”、“Consumer”、“Security”、“Job”
  • 步骤 3:默认勾选比较重要的指标进行展示。根据需要选中/取消选中相应指标,点击”确认“,指标筛选成功,展示的图表随之变化
4.4.7、图表时间筛选
  • 步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Overview”>“时间选择下拉框”>“时间选择弹窗”
  • 步骤 2:选择时间“最近 15 分钟”、“最近 1 小时”、“最近 6 小时”、“最近 12 小时”、“最近 1 天”,也可以自定义时间段范围
4.4.8、查看集群历史变更记录
  • 步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Overview”>“历史变更记录”区域
  • 步骤 2:历史变更记录区域展示了历史的配置变更,每条记录可展开收起。包含“配置对象”、“变更时间”、“变更内容”、“配置类型”

4.5、Load Rebalance(企业版)

4.5.1、查看 Load Rebalance 概览信息
  • 步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Load Rebalance”
  • 步骤 2:Load Rebalance 概览信息包含“均衡状态卡片”、“Disk 信息卡片”、“BytesIn 信息卡片”、“BytesOut 信息卡片”、“Broker 均衡状态列表”
4.5.2、设置集群规格

提供对集群的每个节点的 Disk、BytesIn、BytesOut 的规格进行设置的功能

  • 步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Load Rebalance”>“State 卡片 icon“>”设置集群规格抽屉“
  • 步骤 2:穿梭框左侧展示集群中的待选节点,穿梭框右侧展示已经选中的节点,选择自己所需设置规格的节点
  • 步骤 3:设置“单机核数”、“单机磁盘”、“单机网络”,点击确定,完成设置
4.5.3、均衡状态列表筛选
  • 步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Load Rebalance”>“筛选列表”按钮>筛选弹窗
  • 步骤 2:可选择“Disk”、“BytesIn”、“BytesOut”三种维度,其各自对应“已均衡”、“未均衡”两种状态,可以组合进行筛选
  • 步骤 3:点击“确认”,执行筛选操作
4.5.4、立即均衡
  • 步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Load Rebalance”>“立即均衡”按钮>“立即均衡抽屉”
  • 步骤 2:配置均衡策略- 指标计算周期:默认近 10mins,可选择- 均衡维度:默认 Disk、BytesIn、BytesOut,可选择- 均衡区间:在表格内自定义配置均衡区间范围(单位:%,大于 0,小于 100)- Topic 黑名单:选择 topic 黑名单。通过穿梭框(支持模糊选择)选出目标 topic(本次均衡,略过已选的 topic)
  • 步骤 3:配置运行参数- 吞吐量优先:并行度 0(无限制), 策略是优先执行大小最大副本- 稳定性优先: 并行度 1 ,策略是优先执行大小最小副本- 自定义:可以自由设置并行度和优先执行的副本策略- 限流值:流量最大值,0-99999 自定义
  • 步骤 4:点击“预览计划”按钮,打开执行计划弹窗。可以看到计划概览信息、计划明细信息
  • 步骤 5:点击“预览计划弹窗”的“执行文件”,可以下载 json 格式的执行文件
  • 步骤 6:点击“预览计划弹窗”的“立即均衡”按钮,开始执行均衡任务
4.5.5、周期均衡
  • 步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Load Rebalance”>“周期均衡”按钮>“周期均衡抽屉”
  • 步骤 2:配置均衡策略- 指标计算周期:默认近 10mins,可选择- 均衡维度:默认 Disk、BytesIn、BytesOut,可选择- 均衡区间:在表格内自定义配置均衡区间范围(单位:%,大于 0,小于 100)- Topic 黑名单:选择 topic 黑名单。通过穿梭框(支持模糊选择)选出目标 topic(本次均衡,略过已选的 topic)
  • 步骤 3:配置运行参数- 任务并行度:每个节点同时迁移的副本数量- 任务周期:时间选择器,自定义选择运行周期- 稳定性优先: 并行度 1 ,策略是优先执行大小最小副本- 自定义:可以自由设置并行度和优先执行的副本策略- 限流值:流量最大值,0-99999 自定义
  • 步骤 4:点击“预览计划”按钮,打开执行计划弹窗。可以看到计划概览信息、计划明细信息
  • 步骤 5:点击“预览计划弹窗”的“执行文件”,可以下载 json 格式的执行文件
  • 步骤 6:点击“预览计划弹窗”的“立即均衡”按钮,开始执行均衡任务

4.6、Broker

4.6.1、查看 Broker 概览信息
  • 步骤 1:点击“多集群管理”>“集群卡片”>“Broker”>“Overview”
  • 步骤 2:Broker 概览信息包括以下内容- 集群健康分,健康检查通过项- Broker 信息:包含名称、版本、均衡状态- Broker 信息:Broker 总数、controller 信息、similar config 信息- Topic 信息:Topic 总数、No Leader、<Min ISR、URP- Consumer Group 信息:Consumer Group 总数、是否存在 Dead 情况- 指标图表- 历史变更记录:名称、时间、内容、类型
4.6.2、编辑 Broker 配置
  • 步骤 1:点击“多集群管理”>“集群卡片”>“Brokers”>“Broker ID”>“Configuration”TAB>“编辑”按钮
  • 步骤 2:输入配置项的新配置内容
  • 步骤 3:(选填)点击“应用于全部 Broker”,将此配置项的修改应用于全部的 Broker
  • 步骤 4:点击“确认”,Broker 配置修改成功
4.6.3、查看 Broker DataLogs
  • 步骤 1:点击“多集群管理”>“集群卡片”>“Brokers”>“Broker ID”>“Data Logs”TAB>“编辑”按钮
  • 步骤 2:Broker DataLogs 列表展示的信息为“Folder”、“topic”、“Partition”、“Offset Lag”、“Size”
  • 步骤 3:输入框输入”Topic Name“可以筛选结果
4.6.4、查看 Controller 列表
  • 步骤 1:点击“多集群管理”>“集群卡片”>“Broker”>“Controller”
  • 步骤 2:Controller 列表展示的信息为“Change Time”、“Broker ID”、“Broker Host”
  • 步骤 3:输入框输入“Broker Host“可以筛选结果
  • 步骤 4:点击 Broker ID 可以打开 Broker 详情,进行修改配置或者查看 DataLogs

4.7、Topic

4.7.1、查看 Topic 概览信息
  • 步骤 1:点击“多集群管理”>“集群卡片”>“Topic”>“Overview”
  • 步骤 2:Topic 概览信息包括以下内容- 集群健康分,健康检查通过项- Topics:Topic 总数- Partitions:Partition 总数- PartitionNoLeader:没有 leader 的 partition 个数- < Min ISR:同步副本数小于 Min ISR- =Min ISR:同步副本数等于 Min ISR- Topic 指标图表
4.7.2、查看 Topic 健康检查详情
  • 步骤 1:点击“多集群管理”>“集群卡片”>“Topic”>“Overview”>“集群健康状态旁边【查看详情】”>“健康检查详情抽屉”
  • 步骤 2:健康检查详情抽屉展示信息为:“检查项”、“权重”、“得分”、“检查时间”、“检查结果是否通过”,若未通过会展示未通过的对象
4.7.3、查看 Topic 列表
  • 步骤 1:点击“多集群管理”>“集群卡片”>“Topic”>“Topics”
  • 步骤 2:Topic 列表展示内容为“TopicName”、“Partitions”、“Replications”、“健康分”、“BytesIn”、“BytesOut”、“MessageSize”、“保存时间”、“描述”、操作项”扩分区“、操作项”删除“
  • 步骤 3:筛选框输入“TopicName”可以对列表进行筛选;点击“展示系统 Topic”开关,可以筛选系统 topic
4.7.4、新增 Topic
  • 步骤 1:点击“多集群管理”>“集群卡片”>“Topic”>“Topics”>“新增 Topic”按钮>“创建 Topic“抽屉
  • 步骤 2:输入“Topic 名称(不能重复)”、“Topic 描述”、“分区数”、“副本数”、“数据保存时间”、“清理策略(删除或压缩)”
  • 步骤 3:展开“更多配置”可以打开高级配置选项,根据自己需要输入相应配置参数
  • 步骤 4:点击“确定”,创建 Topic 完成
4.7.5、Topic 扩分区
  • 步骤 1:点击“多集群管理”>“集群卡片”>“Topic”>“Topics”>“Topic 列表“>操作项”扩分区“>“扩分区”抽屉
  • 步骤 2:扩分区抽屉展示内容为“流量的趋势图”、“当前分区数及支持的最低消息写入速率”、“扩分区后支持的最低消息写入速率”
  • 步骤 3:输入所需的分区总数,自动计算出扩分区后支持的最低消息写入速率
  • 步骤 4:点击确定,扩分区完成
4.7.6、删除 Topic
  • 步骤 1:点击“多集群管理”>“集群卡片”>“Topic”>“Topics”>“Topic 列表“>操作项”删除“>“删除 Topic”弹窗
  • 步骤 2:输入“TopicName”进行二次确认
  • 步骤 3:点击“删除”,删除 Topic 完成
4.7.7、Topic 批量扩缩副本
  • 步骤 1:点击“多集群管理”>“集群卡片”>“Topic”>“Topics”>“批量操作下拉“>“批量扩缩副本“>“批量扩缩容”抽屉
  • 步骤 2:选择所需要进行扩缩容的 Topic,可多选,所选择的 Topic 出现在下方 Topic 列表中
  • 步骤 3:Topic 列表展示 Topic“近三天平均流量”、“近三天峰值流量及时间”、“Partition 数”、”当前副本数“、“新副本数”
  • 步骤 4:扩容时,选择目标节点,新增的副本会在选择的目标节点上;缩容时不需要选择目标节点,自动删除最后一个(或几个)副本
  • 步骤 5:输入迁移任务配置参数,包含限流值和任务执行时间
  • 步骤 6:输入任务描述
  • 步骤 7:点击“确定”,执行 Topic 扩缩容任务
4.7.8、Topic 批量迁移
  • 步骤 1:点击“多集群管理”>“集群卡片”>“Topic”>“Topics”>“批量操作下拉“>“批量迁移“>“批量迁移”抽屉
  • 步骤 2:选择所需要进行迁移的 Topic,可多选,所选择的 Topic 出现在下方 Topic 列表中
  • 步骤 3:选择所需要迁移的 partition 和迁移数据的时间范围
  • 步骤 4:选择目标节点(节点数必须不小于最大副本数)
  • 步骤 5:点击“预览任务计划”,打开“任务计划”二次抽屉,可对每个 partition 的目标 Broker ID 进行编辑,目标 broker 应该等于副本数
  • 步骤 6:输入迁移任务配置参数,包含限流值和任务执行时间
  • 步骤 7:输入任务描述
  • 步骤 8:点击“确定”,执行 Topic 迁移任务

4.8、Consumer

4.8.1、Consumer Overview
  • 步骤 1:点击“多集群管理”>“集群卡片”>“Consumer”
  • 步骤 2:Consumer 概览信息包括以下内容- 集群健康分,健康检查通过项- Groups:Consumer Group 总数- GroupsActives:活跃的 Group 总数- GroupsEmptys:Empty 的 Group 总数- GroupRebalance:进行 Rebalance 的 Group 总数- GroupDeads:Dead 的 Group 总数- Consumer Group 列表
  • 步骤 3:输入“Consumer Group”、“Topic Name‘,可对列表进行筛选
  • 步骤 4:点击列表“Consumer Group”名称,可以查看 Comsuer Group 详情
4.8.2、查看 Consumer 列表
  • 步骤 1:点击“多集群管理”>“集群卡片”>“Consumer”>“Consumer Group”名称>“Consumer Group 详情”抽屉
  • 步骤 2:Consumer Group 详情有列表视图和图表视图
  • 步骤 3:列表视图展示信息为 Consumer 列表,包含”Topic Partition“、”Member ID“、”Current Offset“、“Log End Offset”、”Lag“、”Host“、”Client ID“
4.8.3、重置 Offset
  • 步骤 1:点击“多集群管理”>“集群卡片”>“Consumer”>“Consumer Group”名称>“Consumer Group 详情”抽屉>“重置 Offset”按钮>“重置 Offset”抽屉
  • 步骤 2:选择重置 Offset 的类型,可“重置到指定时间”或“重置分区”
  • 步骤 3:重置到指定时间,可选择“最新 Offset”或“自定义时间”
  • 步骤 4:重置分区,可选择 partition 和其重置的 offset
  • 步骤 5:点击“确认”,重置 Offset 开始执行

4.9、Testing(企业版)

4.9.1、生产测试
  • 步骤 1:点击“多集群管理”>“集群卡片”>“Testing”>“Produce”
  • 步骤 2:生产配置- Data:选择数据写入的 topic,输入写入数据的 key(暂只支持 string 格式),输入写入数据的 value(暂只支持 string 格式)。其中 key 和 value 可以随机生成- Flow:输入单次发送的消息数量,默认为 1,可以手动修改。选择手动生产模式,代表每次点击按钮【Run】执行生产;选择周期生产模式,需要填写运行总时间和运行时间间隔。- Header:输入 Header 的 key,value- Options:选择 Froce Partition,代表消息仅发送到这些选择的 Partition。选择数据压缩格式。选择 Acks 参数,none 意思是消息发送了就认为发送成功;leader 意思是 leader 接收到消息(不管 follower 有没有同步成功)认为消息发送成功;all 意思是所有的 follower 消息同步成功认为是消息发送成功
  • 步骤 3:点击按钮【Run】,生产测试开始,可以从右侧看到生产测试的信息
4.9.2、消费测试
  • 步骤 1:点击“多集群管理”>“集群卡片”>“Testing”>“Consume”
  • 步骤 2:消费配置- Topic:选择数据从哪个 topic 进行消费- Start From:选择数据从什么地方开始消费,可以根据时间选择或者根据 Offset 进行选择- Until:选择消费截止到什么地方,可以根据时间或者 offset 或者消息数等进行选择- Filter:选择过滤器的规则。包含/不包含某【key,value】;等于/大于/小于多少条消息
  • 步骤 3:点击按钮【Run】,消费测试开始,可以在右边看到消费的明细信息

4.10、Security

注意:只有在开启集群认证的情况下才能够使用 Security 功能

4.10.1、查看 ACL 概览信息
  • 步骤 1:点击“多集群管理”>“集群卡片”>“Security”>“ACLs”
  • 步骤 2:ACL 概览信息包括以下内容- Enable:是否可用- ACLs:ACL 总数- Users:User 总数- Topics:Topic 总数- Consumer Groups:Consumer Group 总数- ACL 列表
4.10.2、新增 ACl
  • 步骤 1:点击“多集群管理”>“集群卡片”>“Security”>“Users”>“新增 ACL”
  • 步骤 2:输入 ACL 配置参数- ACL 用途:生产权限、消费权限、自定义权限- 生产权限时:可选择应用于所有 Kafka User 或者特定 Kafka User;可选择应用于所有 Topic 或者特定 Topic- 消费权限时:可选择应用于所有 Kafka User 或者特定 Kafka User;可选择应用于所有 Topic 或者特定 Topic;可选择应用于所有 Consumer Group 或者特定 Consumer Group
  • 步骤 3:点击“确定”,新增 ACL 成功
4.10.3、查看 User 信息
  • 步骤 1:点击“多集群管理”>“集群卡片”>“Security”>“ACLs”
  • 步骤 2:User 列表展示内容包括“Kafka User 名称”、“认证方式”、“passwprd”、操作项”修改密码“、”操作项“删除”
  • 步骤 3:筛选框输入“Kafka User”可筛选出列表中相关 Kafka User
4.10.4、新增 Kafka User
  • 步骤 1:点击“多集群管理”>“集群卡片”>“Security”>“Users”>“新增 Kafka User”
  • 步骤 2:输入 Kafka User 名称、认证方式、密码
  • 步骤 3:点击“确定”,新增 Kafka User 成功

4.11、Job

4.11.1、查看 Job 概览信息
  • 步骤 1:点击“多集群管理”>“集群卡片”>“Job“
  • 步骤 2:Job 概览信息包括以下内容- Jobs:Job 总数- Doing:正在运行的 Job 总数- Prepare:准备运行的 Job 总数- Success:运行成功的 Job 总数- Fail:运行失败的 Job 总数- Job 列表
4.11.2、Job 查看进度

Doing 状态下的任务可以查看进度

  • 步骤 1:点击“多集群管理”>“集群卡片”>“Job”>“Job”列表>操作项“查看进度”>“查看进度”抽屉
  • 步骤 2:- 均衡任务:任务基本信息、均衡计划、任务执行明细信息- 扩缩副本:任务基本信息、任务执行明细信息、节点流量情况- Topic 迁移:任务基本信息、任务执行明细信息、节点流量情况
4.11.3、Job 编辑任务

Prepare 状态下的任务可以进行编辑

  • 点击“多集群管理”>“集群卡片”>“Job”>“Job”列表>操作项“编辑”
  • 对任务执行的参数进行重新配置- 集群均衡:可以对指标计算周期、均衡维度、topic 黑名单、运行配置等参数重新设置- Topic 迁移:可以对 topic 需要迁移的 partition、迁移数据的时间范围、目标 broker 节点、限流值、执行时间、描述等参数重新配置- topic 扩缩副本:可以对最终副本数、限流值、任务执行时间、描述等参数重新配置
  • 点击“确定”,编辑任务成功
标签: kafka

本文转载自: https://blog.csdn.net/taogumo/article/details/140888749
版权归原作者 数智侠 所有, 如有侵权,请联系我们删除。

“Know Streaming 介绍”的评论:

还没有评论