本文使用kafka单节点安装及配置,并使用kafka自带的zookeeper。一般kafka需要起三个kafka构成集群,可以连单独的zookeeper,本文不涉及。
一、kafka下载解压
安装包下载地址:https://archive.apache.org/dist/kafka/2.5.0/kafka_2.12-2.5.0.tgz
将安装包上传到/opt/module文件夹下,解压文件
tar -zxvf kafka_2.12-2.5.0.tgz
将解压后的文件改名为kafka,方便后面识别
二、修改zookeeper配置
kafka集成了zookeeper,可以直接使用,不需而外安装zookeeper。
修改kafka/bin/config下的zookeeper.properties文件
vim kafka/config/zookeeper.properties
dataDir=/opt/module/kafka
# the port at which the clients will connect
clientPort=2181
# disable the per-ip limit on the number of connections since this is a non-production config
maxClientCnxns=100
# Disable the adminserver by default to avoid port conflicts.
# Set the port to something non-conflicting if choosing to enable this
admin.enableServer=false
# admin.serverPort=8080
修改解压后的路径和端口
三、修改kafka配置文件server.properties
vim kafka/config/server.properties
broker.id=0
listeners=PLAINTEXT://192.168.11.111:9092
advertised.listeners=PLAINTEXT://192.168.11.111:9092
log.dirs=/opt/module/kafka/kafka-logs
zookeeper.connect=192.168.11.111:2181
host.name=192.168.11.111
四、启动zookeeper
进入kafaka/bin目录下
./zookeeper-server-start.sh ../config/zookeeper.properties
五、启动kafka
进入kafka/bin目录下
./kafka-server-start.sh ../config/server.properties
六、查看kafka是否启动
lsof -i:9092
出现下面截图则kafka已启动
七、kafka命令使用
(1)创建topic
./bin/kafka-topics.sh --create --zookeeper 192.168.11.111:2181, --replication-factor 1 --partitions 2 --topic studentstopic
(2)查看topic
./bin/kafka-topics.sh --zookeeper 192.168.11.111:2181 --list
(3)写入消息
./bin/kafka-console-producer.sh --broker-list 192.168.11.111:9092 --topic studentstopic
(4)消费消息
./bin/kafka-console-consumer.sh --bootstrap-server 192.168.11.111:9092 --from-beginning --topic studentstopic
八、开启虚拟机防火墙
linux需要开启防火墙,否则可能出现外部连不上虚拟机的kafka的情况。(比如在java使用kakfa)
- 查看防火墙状态
systemctl status firewalld
如果显示的是aclive绿色字,则防火墙开启;
显示的是dead,则关闭
- 关闭防火墙
systemctl stop firewalld
版权归原作者 要懂得舍弃 所有, 如有侵权,请联系我们删除。