【Kafka】Kafka-Eagle 和 Kafka-UI 的安装使用

前言

Kafka Eagle 提供了完善的管理页面，可以监控 Kafka 集群的整体运行情况，很方便的去管理和可视化 Kafka 集群的一些信息，例如 Broker 详情、性能指标趋势、Topic 集合、消费者信息等，在生产环境中经常使用。

一、MySQL 环境准备

Kafka-Eagle 的安装依赖于 MySQL，MySQL 主要用来存储可视化展示的数据。如果集群中之前安装过 MySQL，可以跨过该操作。

二、**Kafka ****环境准备 **

1. 关闭 Kafka 集群

kf.sh stop 

2. 修改/opt/installs/kafka3/bin/kafka-server-start.sh

① 编辑此命令

vi bin/kafka-server-start.sh 

② 修改以下内容

修改前：

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then 
 export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G" 
fi

修改后：

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
 export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"
 export JMX_PORT="9999"
 #export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi

3. 在启动 Kafka 前要分发至其他服务器

xsync.sh kafka-server-start.sh

三、Kafka-Eagle 安装

1. 下载

官方下载地址：

本文使用的是 kafka-eagle-bin-2.0.8.tar.gz 版本

2. 上传安装包到 /opt/modules 并解压

cd /opt/modules
tar -zxvf kafka-eagle-bin-2.0.8.tar.gz

3. 解压安装包 efak-web-2.0.8-bin.tar.gz 到 /opt/installs

cd kafka-eagle-bin-2.0.8
tar -zxvf efak-web-2.0.8-bin.tar.gz -C /opt/installs/ 

4. 在 /opt/installs 目录下重命名文件夹为 efak

mv efak-web-2.0.8/ efak 

5. 修改配置文件 /opt/installs/efak/conf/system-config.properties

# 编辑配置文件
vi system-config.properties

# 修改如下
# offset 保存在 kafka 
cluster1.efak.offset.storage=kafka

efak.zk.cluster.alias=cluster1,cluster2
cluster1.zk.list=bigdata01:2181,bigdata02:2181,bigdata03:2181/kafka
cluster2.zk.list=bigdata01:2181,bigdata02:2181,bigdata03:2181/kafka

# 修改数据库连接
# &serverTimezone=GMT 时区一定要写，否则报405错误！
# 127.0.0.1 = localhost   是hosts文件中定义的
efak.driver=com.mysql.cj.jdbc.Driver
efak.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull&serverTimezone=GMT
efak.username=root
efak.password=123456

6. 配置环境变量

# 编辑文件
vi /etc/profile
# 文末添加以下内容
# kafkaEFAK
export KE_HOME=/opt/installs/efak
export PATH=$PATH:$KE_HOME/bin
# 刷新环境变量
source /etc/profile

7. 启动数据库

# 启动数据库
systemctl start mysqld
# 查看数据库状态
systemctl status mysqld

8. 在 MySQL 中新建一个数据库 ke

9. 启动集群

① 要先启动 Zookeeper，再启动 Kafka。

zk.sh start
kf.sh start

② 启动或关停 efak

# 启动efak
ke.sh start
# 关停efak
ke.sh stop

10. 登录页面查看监控数据

访问地址：http://192.168.50.128:8048

假如访问不成功，查看 efak 中的 log 日志，里面的错误信息说明的特别详细，绝对可以解决问题。

eagle 可以通过这个图形化界面管理 Topic，查看 Kafka 集群的消息发送和消费情况，还可以操作Zookeeper。

要想看到大屏数据，此处的 JMX 必须是上线状态

四、Kafka-UI 安装

1. 上传安装包到 /opt/modules

cd /opt/modules

2. 解压安装包到 /opt/installs

tar -zxvf kafka-ui-lite-1.2.11-bin.tar.gz -C /opt/installs/

3. 在 /opt/installs 目录下重命名文件夹为 kafka-ui

mv kafka-ui-lite-1.2.11/ kafka-ui

4. 启动或关停 UI 界面

# 启动UI界面
kafkaUI.sh start
# 关停UI界面
kafkaUI.sh stop

5. 进入 UI 界面

访问地址：http://bigdata01:8889/

① 添加集群环境

② 设置权限

③ 创建 topic

④ 生产者发送数据

⑤ 消费者接收数据