Kafka单节点部署

Kafka单节点部署

Zookeeper安装

1.将zookeeper安装包放在 /opt/module 目录下

​ 使用xftp连接，协议选择 SFTP

将zk安装包上传至 /opt/module 目录下

2.解压

# 解压zookeeper安装包cd /opt/module
tar -zxvf apache-zookeeper-3.5.6-bin.tar.gz
mv apache-zookeeper-3.5.6-bin zookeeper

3.修改配置文件

cd ./zookeeper/conf
# 添加zookeeper配置文件cp zoo_sample.cfg zoo.cfg
# 创建数据存放目录mkdir /opt/module/zookeeper/conf/data
vim zoo.cfg
# 添加如下内容
server.1=mdw:2188:2888
# 修改dataDirdataDir=/opt/module/zookeeper/conf/data
# 配置文件保存退出后，进入data目录cd ./data
# 生成myid文件，指定myid服务号echo"1"> myid

4.启动zookeeper

cd../../bin
./zkServer.sh start

输出日志

查看是否启动成功

ps -ef | grep zookeeper

Kafka安装

1.将kafka安装包放在 /opt/module 目录下

2.解压

# 解压kafka安装包cd /opt/module/
tar -zxvf kafka_2.12-2.4.1.tgz
mv kafka_2.12-2.4.1 kafka

3.创建存放kafka消息的目录

cd kafka
mkdir kafka-logs

4.修改配置文件

vim /opt/module/kafka/config/server.properties
# 修改如下参数
broker.id=0listeners=PLAINTEXT://122.112.157.138:9092
log.dirs=/opt/module/kafka/kafka-logs
zookeeper.connect=122.112.157.138:2181

参数说明:

broker.id ： 全局唯一标识，每个节点上需要设置不同的值
listeners：这个IP地址也是与本机相关的，每个节点上设置为自己的IP地址
log.dirs ：存放kafka消息的
zookeeper.connect ： 配置的是zookeeper地址

5.启动kafka

cd /opt/module/kafka && bin/kafka-server-start.sh -daemon config/server.properties

查看是否启动成功

ps -ef | grep kafka

测试

创建topic

bin/kafka-topics.sh --bootstrap-server localhost:9092 --create --topic heima --partitions 2 --replication-factor 1

注： 红色区域报错，是因为kafka不能重复创建同一topic

查看创建的主题

 ./bin/kafka-topics.sh --list --zookeeper localhost:2181