一、安装zookeeper
在使用Kafka之前,通常需要先安装和配置ZooKeeper。ZooKeeper是Kafka的依赖项之一,它用于协调和管理Kafka集群的状态。
ZooKeeper是一个开源的分布式协调服务,它提供了可靠的数据存储和协调机制,用于协调分布式系统中的各个节点。Kafka使用ZooKeeper来存储和管理集群的元数据、配置信息和状态。
1.下载
官网地址: https://zookeeper.apache.org/releases.html
在 "Download" 部分找到最新版本的 ZooKeeper,选择适合的版本,并下载对应的二进制文件(
.tar.gz
格式)。
2. 解压配置
- 创建数据目录:
- 创建配置的数据目录,创建一个空文件夹,例如
C:/zookeeper/data
。 - 创建配置的日志目录,创建一个空文件夹,例如
C:/zookeeper/log
。
- 配置ZooKeeper:
- 在解压后的 ZooKeeper 目录中,找到
conf
文件夹。 - 复制
zoo_sample.cfg
文件并将其重命名为zoo.cfg
。 - 打开
zoo.cfg
文件并编辑以下配置: -dataDir
:指定 ZooKeeper 数据目录的路径,例如dataDir=C:/zookeeper/data
。、- dataLogDir:指定日志路径:dataLogDir=C:/zookeeper/log
-clientPort
:指定 ZooKeeper 服务监听的端口号,默认为 2181。- 其他可选配置,如需要。 - tickTime 客户端与服务器或者服务器与服务器之间维持心跳,也就是每个tickTime时间就会发送一次心跳。通过心跳不仅能够用来监听机器的工作状态,还可以通过心跳来控制Flower跟Leader的通信时间- initLimit 集群中的follower服务器(F)与leader服务器(L)之间初始连接时能容忍的最多心跳数- syncLimit 集群中flower服务器(F)跟leader(L)服务器之间的请求和答应最多能容忍的心跳数- dataDir 用来存放myid信息跟一些版本,日志,跟服务器唯一的ID信息等。- dataLogDir 存放事务日志的文件夹- clientPort 客户端连接的接口,客户端连接zookeeper服务器的端口,zookeeper会监听这个端口,接收客户端的请求访问!这个端口默认是2181。- maxClientCnxns 允许连接的客户端数目,0为不限制,通过IP来区分不同的客户端 - - 配置环境变量(可选):将 ZooKeeper 的安装路径添加到系统的环境变量中,方便在任意位置执行 ZooKeeper 相关命令。
3. 启动
- 启动 ZooKeeper:
- 打开命令行终端,进入 ZooKeeper 的安装目录。
- 运行以下命令启动 ZooKeeper 服务器:
.\bin\zkServer.cmd
- 验证安装:
- 打开另一个命令行终端,进入 ZooKeeper 的安装目录。
- 运行以下命令连接到 ZooKeeper 服务器:
.\bin\zkCli.cmd
也可直接运行可执行文件:
二、安装kafka
1.下载 Kafka 安装包:
- 访问 Apache Kafka 的官方网站:https://kafka.apache.org/downloads
- 在 "Download" 部分找到最新版本的 Kafka,选择一个稳定的版本,并下载对应的二进制文件(
.tgz
格式)。
2. 配置kafka
- 在解压后的 Kafka 目录中,找到
config
文件夹。 - 编辑
server.properties
文件,根据你的需求进行以下配置: -listeners
:指定 Kafka 监听的端口号和地址,默认为PLAINTEXT://localhost:9092
。-log.dirs
:指定 Kafka 日志文件存储的路径,默认为/tmp/kafka-logs
。- zookeeper.connect:指定zookeeper端口号,默认localhost:2181- 其他可选配置,如需要。
3.启动kafka
1、先启动zookeeper,参考上文
2,启动Kafka 服务器:
- 打开命令行终端,进入 Kafka 的安装目录。
- 运行以下命令启动 Kafka 服务器:
.\bin\windows\kafka-server-start.bat .\config\server.properties
3,验证安装:
- 打开另一个命令行终端,进入 Kafka 的安装目录。
- 运行以下命令创建一个测试主题(topic):
.\bin\windows\kafka-topics.bat --create --topic test-topic --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1
- 如果成功创建主题,就表示 Kafka 安装成功。
版权归原作者 熊出没 所有, 如有侵权,请联系我们删除。