0


「Kafka」Kafka单机和集群安装(二)

「Kafka」Kafka单机和集群安装(二)

一、单机启动

1. 下载安装Kafka

阿里云下载地址:Kafka阿里云镜像站,官方下载地址:Kafka官网下载地址,下载

kafka_2.13-3.7.0.tgz

,下载后解压到你选择的目录

  • 这里的3.7.0,是Kafka软件的版本。截至到日期,Kafka最新版本为3.7.0。
  • 2.13是对应的Scala开发语言版本。Scala2.13和Java8是兼容的,所以可以直接使用。
  • tgz是一种linux系统中常见的压缩文件格式,类似与windows系统的zip和rar格式。所以Windows环境中可以直接使用压缩工具进行解压缩。在这里插入图片描述
  • 为了方便将目录改为Kafka
  • 目录结构如下所示在这里插入图片描述

在这里插入图片描述

2. 启动ZooKeeper

当前版本Kafka软件内部依然依赖ZooKeeper进行多节点协调调度,所以启动Kafka软件之前,需要先启动ZooKeeper软件。不过因为Kafka软件本身内置了ZooKeeper软件,所以无需额外安装ZooKeeper软件,直接调用脚本命令启动即可。具体操作步骤如下:

  • 进入Kafka解压缩文件夹的config目录,修改zookeeper.properties配置文件
# the directory where the snapshot is stored.
# 修改dataDir配置,用于设置ZooKeeper数据存储位置,该路径如果不存在会自动创建。
dataDir=E:/Kafka/data/zk
  • 进入\bin\windows目录下启动zookeeper
# 启动命令
zookeeper-server-start.bat ../../config/zookeeper.properties

在这里插入图片描述

  • 为了方便也可以在kafka目录下创建启动脚本zk.bat,下次启动直接点击zk.bat即可
# 调用启动命令,且同时指定配置文件。
call bin/windows/zookeeper-server-start.bat config/zookeeper.properties

2. 启动Kafka

  • 进入Kafka解压缩文件夹的config目录,修改server.properties配置文件
# If not set, it uses the value for "listeners".
# 客户端访问Kafka服务器时,默认连接的服务为本机的端口9092,如果想要改变,可以修改如下配置
# 此处我们不做任何改变,默认即可
#advertised.listeners=PLAINTEXT://your.host.name:9092

# A comma separated list of directories under which to store log files
# 配置Kafka数据的存放位置,如果文件目录不存在,会自动生成。
log.dirs=E:/Kafka/data/kafka
  1. 为了操作方便,也可以在kafka解压缩后的目录中,创建脚本文件kfk.cmd
call bin/windows/kafka-server-start.bat config/server.properties

二 、集群启动

1. 安装zookeeper

  1. 在磁盘根目录创建文件夹cluster,文件夹名称不要太长
  2. 将全新的文件包放入到cluster目录下,并命名为zookeeper
  3. 修改config/zookeeper.properties文件
# 日志目录
dataDir=E:/Kafka/cluster/zookeeper/data
# ZooKeeper默认端口为2181
clientPort=2181

2. 安装kakfa

  1. 将zookeeper目录复制一份到cluster目录下,并且命名为Kafka-node1
  2. 修改config/server.properties配置文件
# kafka节点数字标识,集群内具有唯一性
broker.id=1
# 监听器 9091为本地端口,如果冲突,请重新指定
listeners=PLAINTEXT://:9091
# 数据文件路径,如果不存在,会自动创建
log.dirs=E:/Kafka/cluster/Kafka-node1/data
# ZooKeeper软件连接地址,2181为默认的ZK端口号 /kafka 为ZK的管理节点
zookeeper.connect=localhost:2181/kafka
  1. 将kafka-node1文件夹复制两份,改名为kafka-node2,kafka-node3
  2. 分别修改kafka-node2,kafka-node3文件夹中的配置文件server.properties 将文件内容中的broker.id=1分别改为broker.id=2,broker.id=3 将文件内容中的9091分别改为9092,9093(如果端口冲突,请重新设置) 将文件内容中的kafka-node1分别改为kafka-node2,kafka-node3

3. 封装启动脚本

因为Kafka启动前,必须先启动ZooKeeper,并且Kafka集群中有多个节点需要启动,所以启动过程比较繁琐,这里我们将

启动的指令进行封装

在这里插入图片描述

  1. 在zookeeper文件夹下创建zk.bat批处理文件
  2. 在zk.bat文件中添加内容
# 添加启动命令
call bin/windows/zookeeper-server-start.bat config/zookeeper.properties
  1. 在kafka-node1,kafka-node2,kafka-node3文件夹下分别创建kfk.bat批处理文件在这里插入图片描述
  2. 在kfk.bat文件中添加内容
# 添加启动命令
call bin/windows/kafka-server-start.bat config/server.properties
  1. 在cluster文件夹下创建cluster.cmd批处理文件,用于启动kafka集群在这里插入图片描述
  2. 在cluster.cmd文件中添加内容
cd zookeeper
start zk.bat
ping127.0.0.1 -n10>nul
cd../kafka-node1
start kfk.bat
cd../kafka-node2
start kfk.bat
cd../kafka-node3
start kfk.bat
  1. 在cluster文件夹下创建cluster-clear.cmd批处理文件,用于清理和重置kafka数据在这里插入图片描述
  2. cluster-clear.cmd文件中添加内容
cd zookeeper
rd /s /q data
cd../kafka-node1
rd /s /q data
cd../kafka-node2
rd /s /q data
cd../kafka-node3
rd /s /q data
  1. 双击执行cluster.cmd文件,启动Kafka集群

集群启动命令后,会打开多个黑窗口,每一个窗口都是一个

kafka服务

,请不要关闭,一旦关闭,对应的kafka服务就停止了。

如果启动过程报错,主要是因为zookeeper和kafka的同步问题,请先执行cluster-clear.cmd文件,再执行cluster.cmd文件即可。

在这里插入图片描述

标签: kafka 分布式 java-ee

本文转载自: https://blog.csdn.net/qq_42392981/article/details/138176228
版权归原作者 技术路上的探险家 所有, 如有侵权,请联系我们删除。

“「Kafka」Kafka单机和集群安装(二)”的评论:

还没有评论