Docker搭建Kafka集群

Docker搭建Kafka集群

Kafka

的运行依赖

Zookeeper

，本文介绍如何在

docker

顺利搭建一个三个

broker

构成的

kafka

集群。将通过以下步骤详细展开：

1. 拉取镜像 bitnami/kafka and bitnami/zookeeper
2. 创建network使集群在同一子网下 knet
3. 创建三个节点的配置文件以供挂载
4. 创建hosts文件以供挂载
5. 运行镜像
6. 测试是否搭建成功

环境说明

linux+centos+jdk8

拉取镜像

zookeeper

docker pull bitnami/zookeeper

kafka

docker pull bitnami/kafka

创建

network

使集群在同一子网下:

knet

docker network create knet

在运行容器时指定

docker run --net knet ...

可以将容器置于子网中，ip地址是根据进入子网的顺序递增的。
可通过

docker network ls

查看子网列表。
可通过

docker network inspect 子网名称

查看具体子网下游哪些容器。

创建配置文件

配置文件说明：

kafka

的配置文件

server.properties

在容器中的位置为：

/bitnami/kafka/config

在运行容器时挂载到这个文件夹即可替换配置文件。
约定：创建三个节点的配置文件分别存放在

/home/docker/kafka/config/node1/server.properties

、

/home/docker/kafka/config/node2/server.properties

、

/home/docker/kafka/config/node3/server.properties

三个配置文件内容如下：
节点1的

server.properties

:

# broker id
broker.id = 1
# 监听地址
listeners = PLAINTEXT://node1:9091
advertised.listeners = PLAINTEXT://node1:9091
# 发送响应的线程数
num.network.threads = 2
# io线程数
num.io.threads = 4
# 发送缓存大小
socket.send.buffer.bytes = 10240
# 接收缓存大小
socket.receive.buffer.bytes = 10240
# 最大请求
socket.request.max.bytes = 1048576
# 日志地址
# log.dirs = /tmp/kafka-logs
# 分区数
num.partitions = 1
# zookeeper的地址
zookeeper.connect =172.18.0.2:2181
# 允许容器监听
ALLOW_PLAINTEXT_LISTENER=yes

节点2的

server.properties

:

# broker id
broker.id = 2
# 监听地址
listeners = PLAINTEXT://node2:9092
advertised.listeners = PLAINTEXT://node2:9092
# 发送响应的线程数
num.network.threads = 2
# io线程数
num.io.threads = 4
# 发送缓存大小
socket.send.buffer.bytes = 10240
# 接收缓存大小
socket.receive.buffer.bytes = 10240
# 最大请求
socket.request.max.bytes = 1048576
# 日志地址
# log.dirs = /tmp/kafka-logs
# 分区数
num.partitions = 1
# zookeeper的地址
zookeeper.connect =172.18.0.2:2181
# 允许容器监听
ALLOW_PLAINTEXT_LISTENER=yes

节点3的

server.properties

:

# broker id
broker.id = 3
# 监听地址
listeners = PLAINTEXT://node3:9093
advertised.listeners = PLAINTEXT://node2:9093
# 发送响应的线程数
num.network.threads = 2
# io线程数
num.io.threads = 4
# 发送缓存大小
socket.send.buffer.bytes = 10240
# 接收缓存大小
socket.receive.buffer.bytes = 10240
# 最大请求
socket.request.max.bytes = 1048576
# 日志地址
# log.dirs = /tmp/kafka-logs
# 分区数
num.partitions = 1
# zookeeper的地址
zookeeper.connect =172.18.0.2:2181
# 允许容器监听
ALLOW_PLAINTEXT_LISTENER=yes

注意:

zookeeper

的地址需要你查看你自己的子网ip并且替换，具体操作为：运行

zookeeper

后执行

docker network inspect knet

查看。

创建hosts

约定：将要替换掉容器内的

hosts

文件,以实现将三个容器的

hostname

修改为

node1

、

node2

、

node3

.

hosts

文件存放在

/home/docker/kafka/etc/hosts

三个容器使用同一个

hosts

文件，因为都需要知道

node1

、

node2

、

node3

的具体ip地址。

hosts文件内容如下

127.0.0.1        localhost
172.18.0.3      node1
172.18.0.4      node2
172.18.0.5      node3

注意: 请严格按照

zookeeper

、

node1

、

node2

、

node3

的顺序启动容器,因为只有这样根据子网分配ip的规律上面的

hosts

文件各个节点的ip才对，如果子网ip不一样请修改。

运行镜像

按照约定，我们依次启动

zookeeper

、

node1

、

node2

、

node3

以保证ip的正确性。

启动

zookeeper

docker run -itd --name zookeeper-server -p 12181:2181 \
 --net knet -e ALLOW_ANONYMOUS_LOGIN=yes bitnami/zookeeper:latest

启动

kafka-node1

docker run -itd --name kafka-node1 --net knet -p 19091:9091 \
-v /home/docker/kafka/config/node1:/bitnami/kafka/config \
-v /home/docker/kafka/etc/hosts:/etc/hosts \
-e ALLOW_PLAINTEXT_LISTENER=yes bitnami/kafka

启动

kafka-node2

docker run -itd --name kafka-node2 --net knet -p 19092:9092 \
-v /home/docker/kafka/config/node2:/bitnami/kafka/config \
-v /home/docker/kafka/etc/hosts:/etc/hosts \
-e ALLOW_PLAINTEXT_LISTENER=yes bitnami/kafka

启动

kafka-node3

docker run -itd --name kafka-node3 --net knet -p 19093:9093 \
-v /home/docker/kafka/config/node3:/bitnami/kafka/config \
-v /home/docker/kafka/etc/hosts:/etc/hosts \
-e ALLOW_PLAINTEXT_LISTENER=yes bitnami/kafka

测试是否搭建成功

首先看看

zookeeper

和三台

kafka

是否启动成功,启动成功则进入容器1创建topic发布消息,进入容器2接收该topic的消息。

首先

docker ps -a

查看所有容器,这些都是UP说明都起来了。

也可以检查一下ip是否正确：

docker network inspect knet

[{"Name":"knet","Id":"8dce5a7c2286dc412779f2eccc6da2ab48e84fd742df3466fe4f18fdc9b90556","Created":"2023-02-26T11:54:40.806440621+08:00","Scope":"local","Driver":"bridge","EnableIPv6":false,"IPAM":{"Driver":"default","Options":{},"Config":[{"Subnet":"172.18.0.0/16","Gateway":"172.18.0.1"}]},"Internal":false,"Attachable":false,"Ingress":false,"ConfigFrom":{"Network":""},"ConfigOnly":false,"Containers":{"2ba87b9bc25502cbb5074b2a987bbc112d36e0761347431c4a83194d9908bec9":{"Name":"kafka-node3","EndpointID":"79ec91577aec61a472b6af469c66064570ebd81b88e740e2c1744a7ce546018d","MacAddress":"02:42:ac:12:00:05","IPv4Address":"172.18.0.5/16","IPv6Address":""},"549863c6f62ab2fb6e4f673af3836b40f67413687f038d2a0254fa4f80a0b27c":{"Name":"kafka-node2","EndpointID":"50d800e401e697953c0c1c6d1962422f433f6e004315f8ce70e9696973be04af","MacAddress":"02:42:ac:12:00:04","IPv4Address":"172.18.0.4/16","IPv6Address":""},"5fc974b8eb4441202e02d75bd4718cfc3dc3be2979bafbb4b89819ce8f6b16a0":{"Name":"kafka-node1","EndpointID":"0ff4794752eae5f337a12fca3de76eb00b080bf6999f7d353be4b0531662938e","MacAddress":"02:42:ac:12:00:03","IPv4Address":"172.18.0.3/16","IPv6Address":""},"b887ba0e289bd42ed0c081177e63383e169584b41747cf66ef10142427d15321":{"Name":"zookeeper-server","EndpointID":"506951e5f2c26a516d105d979596e59e8ccd59e05ae5441ec3c15f8a2ec1492e","MacAddress":"02:42:ac:12:00:02","IPv4Address":"172.18.0.2/16","IPv6Address":""}},"Options":{},"Labels":{}}]

进入

node1

创建

topic

:

dockerexec -it kafka-node1 /bin/bash

进入容器后进入

bin

目录创建

topic

并且往里面发布消息

# 进入bin目录cd /opt/bitnami/kafka/bin/
# 创建topic
./kafka-topics.sh --create --topic demo1 --bootstrap-server node1:9091

如果搭建的没有问题将会出现以下结果表示

demo1

主题创建成功：

Created topic demo1.

向

topic

中发送消息:

./kafka-console-producer.sh --topic demo1 --bootstrap-server node1:9091

打开另一个窗口进入

node2

接收这条消息：

dockerexec -it kafka-node2 /bin/bash
cd /opt/bitnami/kafka/bin
kafka-console-consumer.sh --topic demo1 --from-beginning --bootstrap-server node2:9092

至此，集群搭建完毕，如果遇到各种连接问题，那就是ip配置的问题，就是在监听的配置上有问题。