kafka监控工具Kafka-eagle安装

1. Kafka-Eagle简介

在开发工作中，当业务前提不复杂时，可以使用Kafka命令来进行一些集群的管理工作。但如果业务变得复杂，例如：我们需要增加group、topic分区，此时，我们再使用命令行就感觉很不方便，此时，如果使用一个可视化的工具帮助我们完成日常的管理工作，将会大大提高对于Kafka集群管理的效率，而且我们使用工具来监控消费者在Kafka中消费情况。

早期，要监控Kafka集群我们可以使用Kafka Monitor以及Kafka Manager，但随着我们对监控的功能要求、性能要求的提高，这些工具已经无法满足。 Kafka Eagle是一款结合了目前大数据Kafka监控工具的特点，重新研发的一块开源免费的Kafka集群优秀的监控工具。它可以非常方便的监控生产环境中的offset、lag变化、partition分布、owner等。

kafka-eagle官网地址
kafka-eagle1.4.6和kafkatools（开箱即用工具）两种工具下载

2. 安装Kafka-Eagle

2.1 开启Kafka JMX端口

JMX(Java Management Extensions)是一个为应用程序植入管理功能的框架。JMX是一套标准的代理和服务，实际上，用户可以在任何Java应用程序中使用这些代理和服务实现管理。很多的一些软件都提供了JMX接口，来实现一些管理、监控功能。
在启动Kafka的脚本前，添加：

cd ${KAFKA_HOME}//进入kafka的目录
export JMX_PORT=9988
nohup bin/kafka-server-start.sh config/server.properties &

2.2 安装Kafka -Eagle

1. 安装JDK，并配置好JAVA_HOME。
2. 将kafka_eagle上传，并解压到软件安装目录

#如我的kafka-eagle软件包存放在software目录，解压到server目录
cd /export/software/
tar -xvzf kafka-eagle-bin-1.4.6.tar.gz -C ../server/
cd /export/server/kafka-eagle-bin-1.4.6/ 
tar -xvzf kafka-eagle-web-1.4.6-bin.tar.gz
cd /export/server/kafka-eagle-bin-1.4.6/kafka-eagle-web-1.4.6

1. 配置 kafka_eagle 环境变量。

下面是环境变量写入profile文件里面，写你自己的软件安装目录。

vim /etc/profile
export KE_HOME=/export/servers/kafka-eagle-bin-1.4.6/kafka-eagle-web-1.4.6
export PATH=$PATH:$KE_HOME/bin

加载环境变量

source /etc/profile

1. 配置 kafka_eagle。

使用vim打开conf目录下的system-config.properties
vim conf/system-config.properties

#修改第4行，配置kafka集群别名
kafka.eagle.zk.cluster.alias=cluster1
#修改第5行，配置ZK集群地址
cluster1.zk.list=node1:2181,node2:2181,node3:2181
#注释第6行#cluster2.zk.list=xdn10:2181,xdn11:2181,xdn12:2181#修改第32行，打开图标统计
kafka.eagle.metrics.charts=true
kafka.eagle.metrics.retain=30
 
#注释第69行，取消sqlite数据库连接配置#kafka.eagle.driver=org.sqlite.JDBC#kafka.eagle.url=jdbc:sqlite:/hadoop/kafka-eagle/db/ke.db#kafka.eagle.username=root#kafka.eagle.password=www.kafka-eagle.org#修改第77行，开启mysql
kafka.eagle.driver=com.mysql.jdbc.Driver
kafka.eagle.url=jdbc:mysql://node1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
kafka.eagle.username=root
kafka.eagle.password=root

5.配置JAVA_HOME

修改kafka-eagle软件bin目录下的ke.sh
cd /export/server/kafka-eagle-bin-1.4.6/kafka-eagle-web-1.4.6/bin
vim ke.sh

#在第24行添加JAVA_HOME环境配置,写你自己的路径
export JAVA_HOME=/export/servers/jdk1.8.0_241

6.修改Kafka eagle可执行权限

对修改后的ke.sh文件加执行权限

cd /export/server/kafka-eagle-bin-1.4.6/kafka-eagle-web-1.4.6/bin
chmod +x ke.sh

以上安装完毕！

3.启动kafka-eagle

先要启动kafka，并开启jmx端口（如果没开看2.1）
在kafka-eagle的bin目录下启动ke.sh脚本

./ke.sh start

访问Kafka eagle，默认用户为admin，密码为：123456
地址：http://node1:8048/ke（node1是安装服务器地址）
WEB UI图