Kafka搭建部署

解压文件

tar -zxvf kafka_2.12-2.4.1.tgz -C /opt

mv kafka_2.12-2.4.1 kafka

启动zookeeper

** 提前安装好在每个节点启动**

zkServer.sh start

配置kafka环境变量

vim /etc/profile

export KAFKA_HOME=/opt/kafka
export PATH=$PATH:$KAFKA_HOME/bin

source /etc/profile

查看Kafka的版本内容

kafka-server-start.sh --version

分发Kafka文件到slave1、slave2

** 分发kafka**

scp -r /opt/kafka slave1:/opt

scp -r /opt/kafka slave2:/opt

修改server.properties文件

 **   修改kafka/config/server.properties**

每个节点下的id都是唯一的id为0、1、2三台分别设置

//master
broker.id=0
listeners=PLAINTEXT://master:9092

//slave1
broker.id=1
listeners=PLAINTEXT://slave1:9092

//slave2
broker.id=2
listeners=PLAINTEXT://slave2:9092

在Master、slave1和slave2节点上分别启动Kafka

kafka-server-start.sh -daemon /opt/kafka/config/server.properties

在Master节点上执行如下命令来创建Topic

kafka-topics.sh --create --zookeeper master:2181 --replication-factor 2 --partitions 2 --topic installtopic