2023_Spark_实验二十四：Kafka集群环境搭建

Kafka集群环境搭建

一、环境说明

二、安装步骤

一、环境说明

目前的Kafka版本还是需要借助zookeeper来存储cluster、brokers、consumer等相关元信息，在当前版本即

在本案例中，我们采用了外部的zookeeper，即搭建了三节点的集群zookeeper环境，以其作为Kafka2_12_3.1.0版本的元数据存储库。

zookeeper环境配置如下：

节点 安装路径 dataDir路径

hd1 /opt/module/apache-zookeeper-3.5.7-bin /opt/module/apache-zookeeper-3.5.7-bin/zkData
hd2 /opt/module/apache-zookeeper-3.5.7-bin /opt/module/apache-zookeeper-3.5.7-bin/zkData
hd3 /opt/module/apache-zookeeper-3.5.7-bin /opt/module/apache-zookeeper-3.5.7-bin/zkData

kafka环境配置如下：

节点 安装路径 Log路径

hd1 /opt/module/kafka_2.12-3.0.0 /opt/module/kafka_2.12-3.0.0/logs
hd2 /opt/module/kafka_2.12-3.0.0 /opt/module/kafka_2.12-3.0.0/logs
hd3 /opt/module/kafka_2.12-3.0.0 /opt/module/kafka_2.12-3.0.0/logs

二、安装步骤

上传Kafka安装包，解压安装

修改server.properties文件,只需要修改如下几项即可：

broker.id=0

log.dirs=/opt/data/kafka212_300/datas

zookeeper.connect=hd1:2181,hd2:2181,hd3:2181/kafka

group.initial.rebalance.delay.ms=0

其他配置默认即可

分发整个Kafka安装目录到其他节点

scp -r /opt/module/kafka_2.12-3.0.0 root@hd2:/opt/module

scp -r /opt/module/kafka_2.12-3.0.0 root@hd3:/opt/module

到其他两个节点分别修改server.properties中的broker.id为：1和2，

注意：broker.id 不得重复

启动Kafka集群

先启动zookeeper集群（自行启动）

/opt/module/apache-zookeeper-3.5.7-bin/bin/zkServer.sh start

依次在hd1、hd2，hd3上启动Kafka集群,执行如下命令：

/opt/module/kafka_2.12-3.0.0/bin/kafka-server-start.sh -daemon /opt/module/kafka_2.12-3.0.0/config/ &

整合集群上启动命令写成脚本

zk.sh zookeeper.sh启动脚本

#!/bin/bash

case $1 in
"start"){
    for i in hd1 hd2 hd3
    do
        echo ---------- zookeeper $i 启动 ------------
        ssh $i "/opt/module/apache-zookeeper-3.5.7-bin/bin/zkServer.sh start"
    done
};;
"stop"){
    for i in hd1 hd2 hd3
    do
        echo ---------- zookeeper $i 停止 ------------    
        ssh $i "/opt/module/apache-zookeeper-3.5.7-bin/bin/zkServer.sh stop"
    done
};;
"status"){
    for i in hd1 hd2 hd3
    do
        echo ---------- zookeeper $i 状态 ------------    
        ssh $i "/opt/module/apache-zookeeper-3.5.7-bin/bin/zkServer.sh status"
    done
};;
*)
    echo "Input Args Error..."
    echo "$0 [start|stop|status]..."
;;
esac

kf.sh kafka.sh启动脚本

#!/bin/bash

kafka_start() {
    for i in hd1 hd2 hd3
    do
            echo " --------启动 $i Kafka-------"
            ssh $i "/opt/module/kafka_2.12-3.0.0/bin/kafka-server-start.sh -daemon /opt/module/kafka_2.12-3.0.0/config/server.properties"
    done
}

kafka_stop() {
    for i in hd1 hd2 hd3
    do
            echo " --------关闭 $i Kafka-------"
            ssh $i "/opt/module/kafka_2.12-3.0.0/bin/kafka-server-stop.sh "
    done
}

case $1 in
"start")
    kafka_start
;;
"stop")
    kafka_stop
;;
"restart")
    kafka_stop
    kafka_start
;;
*)
    echo "Input Args Error..."
    echo "$0 [start|stop|restart]..."
;;
esac

注意：

验证: 三节点上执: jps命令即可看到进程名称为：Kafka

zookeeper启动

kafka启动