kafka开启JMX，EFAK要监控kafka服务器？

目录

先看看效果

首页

EFAK的 kafka os下的Memory 没有保留2位小数，但是有时候刷新又保留了2位小数，这里有点小bug

EFAK TV Monitor

kafka为啥开启JMX

监控kafka用到了EFAK，EFAK提供监控kafka的服务器信息，但是需要kfaka开启JMX，今天试了一下，其实也简单。

软件的版本号

• kafka 版本：kafka_2.11-0.10.0.0
• EFAK 版本：efak-web-3.0.1
• zookeeper 版本：zookeeper-3.4.9

部署的服务器

我在3台机器上，部署了3台zookeeper，3台kafka，1台EFAK

当然EFAK也可以集群部署，我只是部署了一台

EFAK的配置文件(参考)

首先要说明EFAK的JMX我们不需修改，默认就是打开的，我这里把EFAK的配置文件放出来，就是给大家参考一下，因为这篇文章主要说的kafka开启JMX。

EFAK目录下config/system-config.properties配置

我这里使用mysql作为我的存储数据库，数据库的名称为ke
其实大部分都不用改，主要改zk 和 mysql

####################################### multi zookeeper & kafka cluster list# Settings prefixed with 'kafka.eagle.' will be deprecated, use 'efak.' instead######################################
efak.zk.cluster.alias=cluster1
cluster1.zk.list=node01:2181,node02:2181,node03:2181
#cluster2.zk.list=xdn10:2181,xdn11:2181,xdn12:2181####################################### zookeeper enable acl######################################
cluster1.zk.acl.enable=false
cluster1.zk.acl.schema=digest
cluster1.zk.acl.username=test
cluster1.zk.acl.password=test123

####################################### broker size online list######################################
cluster1.efak.broker.size=20

####################################### zk client thread limit######################################
kafka.zk.limit.size=16

####################################### EFAK webui port######################################
efak.webui.port=8048

####################################### EFAK enable distributed######################################
efak.distributed.enable=false
efak.cluster.mode.status=master
efak.worknode.master.host=localhost
efak.worknode.port=8085

####################################### kafka jmx acl and ssl authenticate######################################
cluster1.efak.jmx.acl=false
cluster1.efak.jmx.user=keadmin
cluster1.efak.jmx.password=keadmin123
cluster1.efak.jmx.ssl=false
cluster1.efak.jmx.truststore.location=/data/ssl/certificates/kafka.truststore
cluster1.efak.jmx.truststore.password=ke123456

####################################### kafka offset storage######################################
cluster1.efak.offset.storage=kafka
cluster2.efak.offset.storage=zk

####################################### kafka jmx uri######################################
cluster1.efak.jmx.uri=service:jmx:rmi:///jndi/rmi://%s/jmxrmi

####################################### kafka metrics, 15 days by default######################################
efak.metrics.charts=true
efak.metrics.retain=15

####################################### kafka sql topic records max######################################
efak.sql.topic.records.max=5000
efak.sql.topic.preview.records.max=10

####################################### delete kafka topic token######################################
efak.topic.token=keadmin

####################################### kafka sasl authenticate######################################
cluster1.efak.sasl.enable=false
cluster1.efak.sasl.protocol=SASL_PLAINTEXT
cluster1.efak.sasl.mechanism=SCRAM-SHA-256
cluster1.efak.sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="kafka" password="kafka-eagle";
cluster1.efak.sasl.client.id=
cluster1.efak.blacklist.topics=
cluster1.efak.sasl.cgroup.enable=false
cluster1.efak.sasl.cgroup.topics=
cluster2.efak.sasl.enable=false
cluster2.efak.sasl.protocol=SASL_PLAINTEXT
cluster2.efak.sasl.mechanism=PLAIN
cluster2.efak.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="kafka" password="kafka-eagle";
cluster2.efak.sasl.client.id=
cluster2.efak.blacklist.topics=
cluster2.efak.sasl.cgroup.enable=false
cluster2.efak.sasl.cgroup.topics=

####################################### kafka ssl authenticate######################################
cluster3.efak.ssl.enable=false
cluster3.efak.ssl.protocol=SSL
cluster3.efak.ssl.truststore.location=
cluster3.efak.ssl.truststore.password=
cluster3.efak.ssl.keystore.location=
cluster3.efak.ssl.keystore.password=
cluster3.efak.ssl.key.password=
cluster3.efak.ssl.endpoint.identification.algorithm=https
cluster3.efak.blacklist.topics=
cluster3.efak.ssl.cgroup.enable=false
cluster3.efak.ssl.cgroup.topics=

####################################### kafka sqlite jdbc driver address#######################################efak.driver=org.sqlite.JDBC#efak.url=jdbc:sqlite:/hadoop/kafka-eagle/db/ke.db#efak.username=root#efak.password=www.kafka-eagle.org####################################### kafka mysql jdbc driver address######################################
efak.driver=com.mysql.cj.jdbc.Driver
efak.url=jdbc:mysql://node03:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
efak.username=root
efak.password=123456

（重点）修改kafka的配置，开启JMX

修改kafka的bin/kafka-run-class.sh配置

我们调用kafka-server-start.sh或者kafka-server-stop.sh后，也是会调用kafka-run-class.sh中的内容。

主要修改【kafka-run-class.sh】2块内容，JMX settings 和 JMX port to use
我在3台机器中部署了三台kafka，所以三台kafka的kafka-run-class.sh都要修改。

至于这两个端口号，官方推荐的就是9999和9998，所以就不要乱改了，除非你的机器上已经用了这2个端口号，可以改成其他的，不管改还是不改端口，EFAK那边也不需要改配置。

JMX_PORT=9999
JMX_RMI_PORT=9998

# JMX settingsif[-z "$KAFKA_JMX_OPTS"]; then
  KAFKA_JMX_OPTS="-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.local.only=false  -Dcom.sun.management.jmxremote.authenticate=false  -Dcom.sun.management.jmxremote.ssl=false "
fi

# JMX port to use#if [  $JMX_PORT ]; then# KAFKA_JMX_OPTS="$KAFKA_JMX_OPTS -Dcom.sun.management.jmxremote.port=$JMX_PORT "#fi
JMX_PORT=9999
JMX_RMI_PORT=9998
ISKAFKASERVER="false"if[["$*" =~ "kafka.Kafka"]]; then
        ISKAFKASERVER="true"
fi
if[$JMX_PORT] && ["true" == "$ISKAFKASERVER"]; then
        KAFKA_JMX_OPTS="$KAFKA_JMX_OPTS -Dcom.sun.management.jmxremote.port=$JMX_PORT -Dcom.sun.management.jmxremote.rmi.port=$JMX_RMI_PORT "echoset KAFKA_JMX_PORT:$KAFKA_JMX_OPTS
fi

把JMX port to user下面的原内容注释掉

#if [  $JMX_PORT ]; then# KAFKA_JMX_OPTS="$KAFKA_JMX_OPTS -Dcom.sun.management.jmxremote.port=$JMX_PORT "#fi