Kafka-Manager安装及操作

文章目录

一、kafka-manager介绍

CMAK (Cluster Manager for Apache Kafka, previously known as Kafka Manager)

CMAK (previously known as Kafka Manager) is a tool for managing Apache Kafka clusters. See below for details about the name change.

CMAK supports the following:

• Manage multiple clusters
• Easy inspection of cluster state (topics, consumers, offsets, brokers, replica distribution, partition distribution)
• Run preferred replica election
• Generate partition assignments with option to select brokers to use
• Run reassignment of partition (based on generated assignments)
• Create a topic with optional topic configs (0.8.1.1 has different configs than 0.8.2+)
• Delete topic (only supported on 0.8.2+ and remember set delete.topic.enable=true in broker config)
• Topic list now indicates topics marked for deletion (only supported on 0.8.2+)
• Batch generate partition assignments for multiple topics with option to select brokers to use
• Batch run reassignment of partition for multiple topics
• Add partitions to existing topic
• Update config for existing topic
• Optionally enable JMX polling for broker level and topic level metrics.
• Optionally filter out consumers that do not have ids/ owners/ & offsets/ directories in zookeeper.

二、kafka-manager安装

kafka-manager 3.0.0.2 以下版本官方只提供源码，需要自己对源码进行编译或者下载网络中已经编译好的zip安装包。

kafka-manager 3.0.0.2 及以上版本官方提供相应编译好的zip安装包，但要求环境为JDK11及以上。

本文将以kafka-manager-2.0.0.2讲解安装和使用，相关编译因为比较费时费力，还几乎很难编译成功，所以本文省略编译过程。

kafka-manager-2.0.0.2.zip下载地址为：https://pan.baidu.com/s/1cOhT1onM3B1rwQHeg5qPEQ?pwd=0yso

1. 安装计划

​ 选择任意一台服务器安装即可，目前暂无集群安装模式。

1. 安装准备- JDK 1.8+- Kafka 2.4+- Zookeeper 3.6+- unzip解压缩工具，没有执行：[root@node01 home]# yum -y install unzip
2. 解压kafka-manager-2.0.0.2.zip

​ [root@node01 ~]# unzip /home/kafka-manager-2.0.0.2.zip -d /usr/local/

​ [root@node01 ~]# cd /usr/local/kafka-manager-2.0.0.2/

1. 配置cmak

​ [root@node01 kafka-manager-2.0.0.2]# vim ./conf/application.conf

​ #注释kafka-manager.zkhosts==${?ZK_HOSTS}，修改kafka-manager.zkhosts属性值如下

​ kafka-manager.zkhosts=“node01:2181,node02:2181,node03:2181”

1. 使用root用户启动kafka-manager服务

​ #前台启动，默认的http.port端口为9000

​ [root@node01 kafka-manager-2.0.0.2]# bin/kafka-manager -Dhttp.port=9002

​ #后台启动

​ [root@node01 kafka-manager-2.0.0.2]# nohup bin/kafka-manager -Dconfig.file=conf/application.conf -Dhttp.port=9002 > /dev/null 2>&1 &

1. 查看kafka-manager服务

​ [root@node01 kafka-manager-2.0.0.2]# jps

​ 67221 Kafka

​ 66452 QuorumPeerMain

​ 77916 Jps

​ 77487 ProdServerStart # 该服务为kafka-manager服务

1. 前端访问kafka-manager

​ 输入地址：http://192.168.10.101:9002

到此为止，kafka-manager服务已经安装完成。

三、Kafka-Manager操作

1. 准备工作- 修改所有节点Kafka安装目录下的bin目录下的kafka-server-start.sh文件，修改如下：[root@node01 kafka_2.12-2.4.1]# vim ./bin/kafka-server-start.sh#在该文件的最后1行前面(确保kafka启动前导入如下变量即可)添加如下配置：export JMX_PORT=9999- 重新启动kakfa集群启动命令忽略。
2. 添加cluster

​ 选择Add Cluster：

​ 添加集群相关信息：

中间其它参数可以根据自己的需要修改，我这里全是默认，省略该部分截图。最后截图如下：

保存即可：

查看集群视图：

到此为止，Add Cluster添加成功，也可以添加更多的Kafka集群。

1. 列出集群查看kafka-manager所管理的kafka集群列表，如下图所示：

可以通过点击1,2组合或3直接查看已有配置好的kafka集群，如下图所示：

通过上图可知，可以对已有集群配置进行进入、修改和下线操作。

1. 查看Brokers列表

同时也可以通过集群的概览页面点击进入。

1. 主题查看

• Brokers Spead%（broker 覆盖率）该topic的所有分区和副本所占有broker的比重。
• Brokers Skew% （broker 倾斜率）该 topic 占有的 broker 中，拥有超过该 topic 平均分区数的 broker 所占的比重。
• Brokers Leader Skew% （broker leader 分区倾斜率） 该 topic 占有的 broker 中，拥有超过该 topic 平均 Leader 分区数的 broker 所占的比重。
• Under Replicated%（副本失效率） 该 topic 下的 partition，其中副本处于失效或者失败的比率。失败或者失效是指副本不处于 ISR 队列中。

1. 主题详情查看

• Preferred Replicas（优先副本） 该topic分区的副本中，采用副本列表中的第一个副本作为 Leader 所占的比重。
• Operations(操作)
  操作说明Delete Topic删除 topicReassign Partitions平衡集群负载，即重分配分区Add Partitions增加分区Update Config更新topic的配置Manual Partition Assignments手动为每个分区下的副本分配 brokerGenerate Partition Assignments自动为每个分区下的副本分配 broker

1. 消费者查看

到此为止，kafka-manager的操作基本完毕。