Kafka集群部署与测试

目录

Kafka集群部署与测试

一、安装Kafka

①、Alt+P 拷贝安装包

cd /opt/module

tar -zxvf /opt/software/kafka_2.11-2.0.0.tgz -C /opt/module/

②、修改配置文件

vi /opt/module/kafka_2.11-2.0.0/config/server.properties

增加环境变量

vi /etc/profile

export KAFKA_HOME=/opt/module/kafka_2.11-2.0.0

export PATH=$PATH:$KAFKA_HOME/bin

Step1、分发文件

**** chown -R hadoop:hadoop /opt/****

su hadoop

scp -r kafka_2.11-2.0.0/ slave1:/opt/module/

scp -r kafka_2.11-2.0.0/ slave2:/opt/module/****

Step2、再slave1和slave2节点上修改：

1．环境变量

Slave1****里更改

vi /etc/prof

export KAFKA_HOME=/opt/module/kafka_2.11-2.0.0

export PATH=$PATH:$KAFKA_HOME/bin

Slave2****里修改

vi /etc/prof

export KAFKA_HOME=/opt/module/kafka_2.11-2.0.0

export PATH=$PATH:$KAFKA_HOME/bin

2． 修改 broker.id 和host.name

Slave1****里更改

vi /opt/module/kafka_2.11-2.0.0/config/server.properties

Slave2****里更改

vi /opt/module/kafka_2.11-2.0.0/config/server.properties

二、启动kafka服务

• 、在三个节点上依次启动Zookeeper

ZkServer.sh start

Step 2 启动kafka（三个节点都要启动）

****/opt/module/kafka_2.11-2.0.0/bin/kafka-server-start.sh /opt/module/kafka_2.11-2.0.0/config/server.properties ****

注意：kafka启动后本终端不能管理，关闭会导致Kafka停止

Step 3 再开一个命令终端，查看kafka进程

su Hadoop

jps