kafka 3.5.0集群环境部署（使用自带的zookeeper）

环境和安装包准备：

• 管理界面包：kafka-manager-1.3.3.7.zip (链接)

• kafka二进制包：kafka_2.13-3.5.0.tgz (链接)

• java包：jdk-8u291-linux-x64.tar.gz (链接)
  节点IPbroker id10.10.10.10010.10.10.11110.10.10.122

  安装java:

• 解压：tar -zxf jdk-8u291-linux-x64.tar.gz

• 编辑/etc/profile配置文件，文件末尾添加如下配置：

export JAVA_HOME=/usr/java/jdk1.8.0_333 #java解压目录
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH
export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin
export PATH=$PATH:${JAVA_PATH}

• 让配置生效source /etc/profile
• 查看是否安装成功：java -version

安装kafka:

• 解压kafka_2.13-3.5.0.tgz包，编辑config/zookeeper.properties配置文件：

# the directory where the snapshot is stored.
dataDir=/usr/local/kafka/zookeeper/data

#修改为自定义的zookeeper日志目录
dataLogDir=/usr/local/kafka/zookeeper/log

# the port at which the clients will connect
clientPort=2181

#注释掉
#maxClientCnxns=0

#设置连接参数，添加如下配置
#为zk的基本时间单元，毫秒
tickTime=2000
#Leader-Follower初始通信时限 tickTime*10
initLimit=10
#Leader-Follower同步通信时限 tickTime*5
syncLimit=5

#设置broker Id的服务地址
server.0=10.10.10.10:2888:3888
server.1=10.10.10.11:2888:3888
server.2=10.10.10.12:2888:3888

• 创建好对于目录和文件：

 mkdir /usr/local/kafka/zookeeper/data -p
 mkdir /usr/local/kafka/zookeeper/log -p
 echo "0" > /usr/local/kafka/zookeeper/data/myid # zk集群id

• 编辑kafka配置文件config/zookeeper.properties，只需修改如下几项配置：

broker.id=0 # 需要修改为集群唯一
listeners=PLAINTEXT://10.10.10.10:2888:9092 # 填节点地址
zookeeper.connect=10.10.10.10:2181,10.10.10.11:2181,10.10.10.12:2181 # 集群节点IP地址

启动服务：

• 启动zookeeper：bin/zookeeper-server-start.sh -daemon config/zookeeper.properties; echo $?
• 启动kafka：JMX_PORT=9988 bin/kafka-server-start.sh -daemon config/server.properties; echo $?

注意：先把集群所有节点的zookeeper启动起来，再启动kafka

功能验证：

• 创建3副本主题：

bin/kafka-topics.sh --create --topic perf-test --replication-factor 3 --partitions 3 --bootstrap-server 10.10.10.10:9092

• 生产消息：

bin/kafka-producer-perf-test.sh --topic perf-test --num-records 1000 --record-size 64 --throughput -1 --producer-props bootstrap.servers=10.10.10.10:9092

• 消费消息：

bin/kafka-consumer-perf-test.sh --topic perf-test --bootstrap-server 10.10.10.10:9092 --fetch-size 64 --messages 100000

配置可视化界面

• 解压包：kafka-manager-1.3.3.7.zip
• 修改conf/application.conf配置：

kafka-manager.zkhosts="10.10.10.10:2181,10.10.10.11:2181,10.10.10.12:2181"
#kafka-manager.zkhosts=${?ZK_HOSTS} # 注释掉这行

• 启动服务：

nohup bin/kafka-manager -Dconfig.file=conf/application.conf -Dhttp.port=9001 & #不加-Dhttp.port，默认9000端口

• 登录页面，添加集群：