0


linux虚拟机搭建kafka(单节点、使用kafka自带zookeeper)

本文使用kafka单节点安装及配置,并使用kafka自带的zookeeper。一般kafka需要起三个kafka构成集群,可以连单独的zookeeper,本文不涉及。

一、kafka下载解压

  1. 安装包下载地址:https://archive.apache.org/dist/kafka/2.5.0/kafka_2.12-2.5.0.tgz

  2. 将安装包上传到/opt/module文件夹下,解压文件

tar -zxvf kafka_2.12-2.5.0.tgz

将解压后的文件改名为kafka,方便后面识别

二、修改zookeeper配置

kafka集成了zookeeper,可以直接使用,不需而外安装zookeeper。

修改kafka/bin/config下的zookeeper.properties文件

vim kafka/config/zookeeper.properties
dataDir=/opt/module/kafka
# the port at which the clients will connect
clientPort=2181
# disable the per-ip limit on the number of connections since this is a non-production config
maxClientCnxns=100
# Disable the adminserver by default to avoid port conflicts.
# Set the port to something non-conflicting if choosing to enable this
admin.enableServer=false
# admin.serverPort=8080

修改解压后的路径和端口

三、修改kafka配置文件server.properties

vim kafka/config/server.properties
broker.id=0
listeners=PLAINTEXT://192.168.11.111:9092
advertised.listeners=PLAINTEXT://192.168.11.111:9092
log.dirs=/opt/module/kafka/kafka-logs
zookeeper.connect=192.168.11.111:2181
host.name=192.168.11.111

四、启动zookeeper

进入kafaka/bin目录下

./zookeeper-server-start.sh ../config/zookeeper.properties

五、启动kafka

进入kafka/bin目录下

./kafka-server-start.sh ../config/server.properties

六、查看kafka是否启动

lsof -i:9092

出现下面截图则kafka已启动

七、kafka命令使用

(1)创建topic

./bin/kafka-topics.sh --create --zookeeper 192.168.11.111:2181, --replication-factor 1 --partitions 2   --topic  studentstopic

(2)查看topic

./bin/kafka-topics.sh --zookeeper  192.168.11.111:2181  --list

(3)写入消息

./bin/kafka-console-producer.sh --broker-list 192.168.11.111:9092 --topic studentstopic

(4)消费消息

./bin/kafka-console-consumer.sh --bootstrap-server 192.168.11.111:9092  --from-beginning --topic studentstopic

八、开启虚拟机防火墙

linux需要开启防火墙,否则可能出现外部连不上虚拟机的kafka的情况。(比如在java使用kakfa)

  1. 查看防火墙状态
systemctl status firewalld

如果显示的是aclive绿色字,则防火墙开启;

显示的是dead,则关闭

  1. 关闭防火墙
systemctl stop firewalld

本文转载自: https://blog.csdn.net/weixin_38891150/article/details/128539121
版权归原作者 要懂得舍弃 所有, 如有侵权,请联系我们删除。

“linux虚拟机搭建kafka(单节点、使用kafka自带zookeeper)”的评论:

还没有评论