「Kafka」Kafka单机和集群安装(二)
一、单机启动
1. 下载安装Kafka
阿里云下载地址:Kafka阿里云镜像站,官方下载地址:Kafka官网下载地址,下载
kafka_2.13-3.7.0.tgz
,下载后解压到你选择的目录
- 这里的3.7.0,是Kafka软件的版本。截至到日期,Kafka最新版本为3.7.0。
- 2.13是对应的Scala开发语言版本。Scala2.13和Java8是兼容的,所以可以直接使用。
- tgz是一种linux系统中常见的压缩文件格式,类似与windows系统的zip和rar格式。所以Windows环境中可以直接使用压缩工具进行解压缩。
- 为了方便将目录改为Kafka
- 目录结构如下所示
2. 启动ZooKeeper
当前版本Kafka软件内部依然依赖ZooKeeper进行多节点协调调度,所以启动Kafka软件之前,需要先启动ZooKeeper软件。不过因为Kafka软件本身内置了ZooKeeper软件,所以无需额外安装ZooKeeper软件,直接调用脚本命令启动即可。具体操作步骤如下:
- 进入Kafka解压缩文件夹的config目录,修改zookeeper.properties配置文件
# the directory where the snapshot is stored.
# 修改dataDir配置,用于设置ZooKeeper数据存储位置,该路径如果不存在会自动创建。
dataDir=E:/Kafka/data/zk
- 进入\bin\windows目录下启动zookeeper
# 启动命令
zookeeper-server-start.bat ../../config/zookeeper.properties
- 为了方便也可以在kafka目录下创建启动脚本
zk.bat
,下次启动直接点击zk.bat
即可
# 调用启动命令,且同时指定配置文件。
call bin/windows/zookeeper-server-start.bat config/zookeeper.properties
2. 启动Kafka
- 进入Kafka解压缩文件夹的config目录,修改server.properties配置文件
# If not set, it uses the value for "listeners".
# 客户端访问Kafka服务器时,默认连接的服务为本机的端口9092,如果想要改变,可以修改如下配置
# 此处我们不做任何改变,默认即可
#advertised.listeners=PLAINTEXT://your.host.name:9092
# A comma separated list of directories under which to store log files
# 配置Kafka数据的存放位置,如果文件目录不存在,会自动生成。
log.dirs=E:/Kafka/data/kafka
- 为了操作方便,也可以在kafka解压缩后的目录中,创建脚本文件
kfk.cmd
call bin/windows/kafka-server-start.bat config/server.properties
二 、集群启动
1. 安装zookeeper
- 在磁盘根目录创建文件夹cluster,
文件夹名称不要太长
- 将全新的文件包放入到cluster目录下,并命名为zookeeper
- 修改config/zookeeper.properties文件
# 日志目录
dataDir=E:/Kafka/cluster/zookeeper/data
# ZooKeeper默认端口为2181
clientPort=2181
2. 安装kakfa
- 将zookeeper目录复制一份到cluster目录下,并且命名为Kafka-node1
- 修改config/server.properties配置文件
# kafka节点数字标识,集群内具有唯一性
broker.id=1
# 监听器 9091为本地端口,如果冲突,请重新指定
listeners=PLAINTEXT://:9091
# 数据文件路径,如果不存在,会自动创建
log.dirs=E:/Kafka/cluster/Kafka-node1/data
# ZooKeeper软件连接地址,2181为默认的ZK端口号 /kafka 为ZK的管理节点
zookeeper.connect=localhost:2181/kafka
- 将kafka-node1文件夹复制两份,改名为kafka-node2,kafka-node3
- 分别修改kafka-node2,kafka-node3文件夹中的配置文件server.properties 将文件内容中的broker.id=1分别改为broker.id=2,broker.id=3 将文件内容中的9091分别改为9092,9093(如果端口冲突,请重新设置) 将文件内容中的kafka-node1分别改为kafka-node2,kafka-node3
3. 封装启动脚本
因为Kafka启动前,必须先启动ZooKeeper,并且Kafka集群中有多个节点需要启动,所以启动过程比较繁琐,这里我们将
启动的指令进行封装
- 在zookeeper文件夹下创建zk.bat批处理文件
- 在zk.bat文件中添加内容
# 添加启动命令
call bin/windows/zookeeper-server-start.bat config/zookeeper.properties
- 在kafka-node1,kafka-node2,kafka-node3文件夹下分别创建kfk.bat批处理文件
- 在kfk.bat文件中添加内容
# 添加启动命令
call bin/windows/kafka-server-start.bat config/server.properties
- 在cluster文件夹下
创建cluster.cmd批处理文件
,用于启动kafka集群 - 在cluster.cmd文件中添加内容
cd zookeeper
start zk.bat
ping127.0.0.1 -n10>nul
cd../kafka-node1
start kfk.bat
cd../kafka-node2
start kfk.bat
cd../kafka-node3
start kfk.bat
- 在cluster文件夹下创建cluster-clear.cmd批处理文件,用于清理和重置kafka数据
- 在
cluster-clear.cmd
文件中添加内容
cd zookeeper
rd /s /q data
cd../kafka-node1
rd /s /q data
cd../kafka-node2
rd /s /q data
cd../kafka-node3
rd /s /q data
- 双击执行
cluster.cmd
文件,启动Kafka集群
集群启动命令后,会打开多个黑窗口,每一个窗口都是一个
kafka服务
,请不要关闭,一旦关闭,对应的kafka服务就停止了。
如果启动过程报错,主要是因为zookeeper和kafka的同步问题,请先执行cluster-clear.cmd文件,再执行cluster.cmd文件即可。
版权归原作者 技术路上的探险家 所有, 如有侵权,请联系我们删除。