kafkak集群的安装部署

一、前期准备

主机名用户安装路径HadoopMasterhadoop /home/hadoop/software/kafka_2.11-2.3.1/HadoopSlave01hadoop /home/hadoop/software/kafka_2.11-2.3.1/HadoopSlave02hadoop /home/hadoop/software/kafka_2.11-2.3.1/

1. 三台主机都需要安装好jdk

如果没有安装好jdk，可以参考这篇文章：

https://blog.csdn.net/m0_61232019/article/details/126587725?spm=1001.2014.3001.5502

2. 三台主机都要配置好zookeeper

如果没有安装好zookeeper，可以参考这篇文章：

https://blog.csdn.net/m0_61232019/article/details/127506509?spm=1001.2014.3001.5502

3. 准备好kafka压缩包

kafka2.11下载链接：http://链接：https://pan.baidu.com/s/1FJp6eZ4PWhQ9CTeU0YqfOA?pwd=g0c2

二、kafka集群的安装

1. 上传压缩包

将kafka_2.11-2.3.1.tgz上传到HadoopMaster主机的/home/hadoop/software/下

2. 解压

cd /home/hadoop/software/
tar -zxvf kafka_2.11-2.3.1.tgz  
#默认将kafka_2.11-2.3.1.tgz解压到/home/hadoop/software/目录下

3. 创建消息目录

cd /home/hadoop/software/kafka_2.11-2.3.1/
mkdir kafka-logs

4. 修改

server.properties

文件

cd /home/hadoop/software/kafka_2.11-2.3.1/config
vi server.properties
# 修改如下参数
broker.id=0 
listeners=PLAINTEXT://HadoopMaster:9092
log.dirs=/home/hadoop/software/kafka_2.11-2.3.1/kafka-logs
zookeeper.connect=HadoopMaster:2181,HadoopSlave01:2181,HadoopSlave02:2181

找对对应的信息进行修改即可
注意不是直接将这些信息复制到server.properties里，server.properties文件里边已经有对应的信息，我们进行修改即可
其中listeners=PLAINTEXT://HadoopMaster:9092这里需要自行取消注释

注：

broker.id：集群内全局唯一标识符，每一个节点上需要设置不同的值（值可以随机但是不能相同）

listeners：这个是与本级相关的，需要每个节点设置为自己的主机名或者ip

log.dirs：存放kafka消息，也就是之前创建的kafka-logs目录

zookeeper.connect： 配置zookeeper集群的地址（主机名:2081,主机名：2181,主机名:2181—中间用逗号隔开，2181是默认的）

5. 分发 kafka安装目录

scp -r /home/hadoop/software/kafka_2.11-2.3.1/   HadoopSlave01:~/software/
scp -r /home/hadoop/software/kafka_2.11-2.3.1/   HadoopSlave02:~/software/

6. 修改HadoopSlave01,HadoopSlave02下的kafka配置文件server.properties

分别HadoopSlave01,HadoopSlave02中的server.properties配置文件中的 broker.id 和listeners 参数

#HadoopSave01修改如下

broker.id=1
listeners=PLAINTEXT://HadoopSave01:9092

#HadoopSave02修改如下
broker.id=2
listeners=PLAINTEXT://HadoopSave01:9092

#其中broker.id的1 和 2 是任意的，只要不重复就可以

7. 配置环境变量

export KAFKA_HOME=/home/hadoop/software/kafka_2.11-2.3.1
export PATH=$PATH:$KAFKA_HOME/bin

注：三台都要分别配置环境变量

   /home/hadoop/software/kafka_2.11-2.3.1对应换成自己的安装路径

7. 启动kafka集群

1. 启动kafka集群之前要先启动zookeeper集群（三台都需要启动）

2. 启动kafka集群：（三台主机都要分别执行）

kafka-server-start.sh  -daemon /home/hadoop/software/kafka_2.11-2.3.1/config/server.properties 

注：这里的 /home/hadoop/software/kafka_2.11-2.3.1/config/server.properties 要换成自己的安装路径

3.启动之后jps，出现kafka进行就算完成啦

[hadoop@HadoopMaster ~]$ jps
88711 QuorumPeerMain
44043 Kafka
49388 Jps

加油，每天坚持学习，每天积累一点点，每天进步一点点。