0
0

docker中快速安装Kafka(单节点)

docker中快速安装Kafka_单节点

官网：https://hub.docker.com/r/bitnami/kafka

1. 拉镜像

# 拉取zookeeper镜像docker pull zookeeper:3.8.1
# 拉取Kafka镜像docker pull bitnami/kafka:3.4.0

2. 创建网络环境

# docker网络命令帮助： docker network
# 创建名称为zk-kafak的网络，使用bridge网络模式docker network create zk-kafka --driver bridge

3. 运行zookeeper容器实例

docker run -d --name zk-server  --network zk-kafka -e ALLOW_ANONYMOUS_LOGIN=yes --restart always zookeeper:3.8.1 
#此镜像分别包括（zookeeper 客户端端口、追随者端口、选举端口、管理服务器端口），因此标准容器链接将使其自动可用于链接的容器。由于 Zookeeper “快速失败”，因此最好始终重新启动它。EXPOSE 2181 2888 3888 8080

4. 运行kafka容器实例

docker run -d --name kafka-server \
    --network zk-kafka \
    -e ALLOW_PLAINTEXT_LISTENER=yes \
    -e KAFKA_CFG_ZOOKEEPER_CONNECT=zk-server:2181 \
    -p 9092:9092 \
    -p 9093:9093 \
    --restart always \
    bitnami/kafka:3.4.0

5. 启动kafka客户端容器实例

docker run -it --rm \
    --network zk-kafka \
    -e KAFKA_CFG_ZOOKEEPER_CONNECT=zk-server:2181 \
    bitnami/kafka:3.4.0 kafka-topics.sh --list  --bootstrap-server kafka-server:9092

6. 配置说明

可以使用以下环境变量通过Bitnami Apache Kafka Docker映像轻松设置配置：

  • ALLOW_PLAINTEXT_LISTENER：允许使用明文侦听器。默认值：否。
  • KAFKA_INTER_BROKER_USER：Apache Kafka 代理间通信用户。默认值：用户。
  • KAFKA_INTER_BROKER_PASSWORD：Apache Kafka 代理间通信密码。默认值：比特纳米。
  • KAFKA_CERTIFICATE_PASSWORD：证书的密码。无默认值。
  • KAFKA_HEAP_OPTS：Apache Kafka 的 Java 堆大小。默认值：**-Xmx1024m -Xms1024m**。
  • KAFKA_ZOOKEEPER_PROTOCOL：动物园管理员连接的身份验证协议。允许的协议：明文、SASL、SSL 和SASL_SSL。默认值：纯文本。
  • KAFKA_ZOOKEEPER_USER：用于 SASL 身份验证的 Apache Kafka Zookeeper 用户。无默认值。
  • KAFKA_ZOOKEEPER_PASSWORD：用于 SASL 身份验证的 Apache Kafka Zookeeper 用户密码。无默认值。
  • KAFKA_ZOOKEEPER_TLS_KEYSTORE_PASSWORD：Apache Kafka Zookeeper 密钥库文件密码和密钥密码。无默认值。
  • KAFKA_ZOOKEEPER_TLS_TRUSTSTORE_PASSWORD：Apache Kafka Zookeeper 信任库文件密码。无默认值。
  • KAFKA_ZOOKEEPER_TLS_VERIFY_HOSTNAME：验证 TLS 证书上的动物园管理员主机名。默认值：真。
  • KAFKA_ZOOKEEPER_TLS_TYPE：选择要使用的 TLS 证书格式。允许的值：、 。默认值：JKS。JKS``PEM
  • KAFKA_CFG_SASL_ENABLED_MECHANISMS：对客户端、代理间或动物园管理员通信使用 SASL 时允许的机制。允许的值：、 或这些值的逗号分隔组合。默认值：普通，加扰-SHA-256，加扰-SHA-512PLAIN``SCRAM-SHA-256``SCRAM-SHA-512
  • KAFKA_CFG_SASL_MECHANISM_INTER_BROKER_PROTOCOL：用于代理间通信的 SASL 机制。无默认值。
  • KAFKA_TLS_CLIENT_AUTH：配置 kafka 代理以请求客户端身份验证。允许的值：、、。默认值：必需。required``requested``none
  • KAFKA_TLS_TYPE：选择要使用的 TLS 证书格式。允许的值：、 。默认值：JKS。JKS``PEM
  • KAFKA_CLIENT_USERS：使用 SASL 进行客户端通信时将在 Zookeeper 中创建的用户。以逗号分隔。默认值：用户
  • KAFKA_CLIENT_PASSWORDS：指定用户的密码。以逗号分隔。默认值：比特纳米KAFKA_CLIENT_USERS
  • KAFKA_CFG_MAX_PARTITION_FETCH_BYTES：服务器将返回的每个分区的最大数据量。默认值：1048576
  • KAFKA_CFG_MAX_REQUEST_SIZE：请求的最大大小（以字节为单位）。默认值：1048576
  • KAFKA_ENABLE_KRAFT：是否启用卡夫卡筏（KRaft）模式。默认值：否
  • KAFKA_KRAFT_CLUSTER_ID：使用 Kafka Raft （KRaft） 时的 Kafka 集群 ID。无默认值。

此外，任何以 开头的环境变量都将映射到其相应的 Apache Kafka 键。例如，用于设置或配置。

KAFKA_CFG_``KAFKA_CFG_BACKGROUND_THREADS``background.threads``KAFKA_CFG_AUTO_CREATE_TOPICS_ENABLE``auto.create.topics.enable

7. docker中topic常用命令操作

常用命令参数及描述如下
参数描述–bootstrap-server<String: sever toconnect to>连接的 Kafka Broker 主机名称和端口号–topic <String:topic >操作的 topic 名称–create<>创建主题–delete删除主题–alter修改主题–list查看所有主题–describe查看主题详细描述–partitions<Integer: # of partitions>设置分区数–replication-factor <Integer: # replication factor>设置分区副本–config <String: name=value>更新系统默认的配置

1. 创建topic

# 创建名称为demo的topic,副本1 分区1docker run -it --rm --network zk-kafka -e KAFKA_CFG_ZOOKEEPER_CONNECT=zk-server:2181 bitnami/kafka:3.4.0 kafka-topics.sh --bootstrap-server kafka-server:9092 --create --partitions 1 --replication-factor 1 --topic demo

# topic-CRUD命令如上表

2. 查看所有topic信息

# 查看所有topic信息# docker run -it --rm --network zk-kafka -e KAFKA_CFG_ZOOKEEPER_CONNECT=zk-server:2181 bitnami/kafka:3.4.0 kafka-topics.sh --bootstrap-server kafka-server:9092 --list# 执行命令
root@yuan-server:~# docker run -it --rm --network zk-kafka -e KAFKA_CFG_ZOOKEEPER_CONNECT=zk-server:2181 bitnami/kafka:3.4.0 kafka-topics.sh --bootstrap-server kafka-server:9092 --list
kafka 12:02:50.11 
kafka 12:02:50.11 Welcome to the Bitnami kafka container
kafka 12:02:50.12 Subscribe to project updates by watching https://github.com/bitnami/containers
kafka 12:02:50.12 Submit issues and feature requests at https://github.com/bitnami/containers/issues
kafka 12:02:50.12 
# 结果
__consumer_offsets
firstMsg
root@yuan-server:~# # 查看具体topic信息,如下查看#docker run -it --rm --network zk-kafka -e KAFKA_CFG_ZOOKEEPER_CONNECT=zk-server:2181 bitnami/kafka:3.4.0 kafka-topics.sh --bootstrap-server kafka-server:9092 --topic firstMsg --describe# 执行命令
root@yuan-server:~# docker run -it --rm --network zk-kafka -e KAFKA_CFG_ZOOKEEPER_CONNECT=zk-server:2181 bitnami/kafka:3.4.0 kafka-topics.sh --bootstrap-server kafka-server:9092 --topic firstMsg --describe
kafka 12:05:20.42 
kafka 12:05:20.42 Welcome to the Bitnami kafka container
kafka 12:05:20.42 Subscribe to project updates by watching https://github.com/bitnami/containers
kafka 12:05:20.43 Submit issues and feature requests at https://github.com/bitnami/containers/issues
kafka 12:05:20.43 
# 结果
Topic: firstMsg TopicId: D9Ui-dWjRtapZEXdq4WnOg PartitionCount: 1       ReplicationFactor: 1    Configs: 
        Topic: firstMsg Partition: 0    Leader: 1001    Replicas: 1001  Isr: 1001
root@yuan-server:~#

8. docker中生产者生产消息常用命令操作

常用命令参数及描述如下
参数描述–bootstrap-server<String: sever toconnect to>连接的 Kafka Broker 主机名称和端口号–topic <String:topic >操作的 topic 名称

# bin/kafka-console-producer.sh --bootstrap-server kafka-server:9092 --topic demodocker run -it --rm --network zk-kafka -e KAFKA_CFG_ZOOKEEPER_CONNECT=zk-server:2181 bitnami/kafka:3.4.0 kafka-console-producer.sh --bootstrap-server kafka-server:9092 --topic demo

9. docker中消费者消费消息常用命令操作

常用命令参数及描述如下
参数描述–bootstrap-server<String: sever toconnect to>连接的 Kafka Broker 主机名称和端口号–topic <String:topic >后面紧跟操作的 topic 名称–from-beginning从头开始消费，历史数据全部消费出来–group <String: consumer group id>指定消费者组名称

# 1.消费最新消息,打开后监听并消费生产者最新生产的消息# bin/kafka-console-consumer.sh --bootstrap-server kafka-server:9092 --topic demodocker run -it --rm --network zk-kafka -e KAFKA_CFG_ZOOKEEPER_CONNECT=zk-server:2181 bitnami/kafka:3.4.0 kafka-console-consumer.sh --bootstrap-server kafka-server:9092 --topic demo

# 2.设置--from-beginning参数：表示从头开始消费消息，表示所有历史消息都能看到docker run -it --rm --network zk-kafka -e KAFKA_CFG_ZOOKEEPER_CONNECT=zk-server:2181 bitnami/kafka:3.4.0 kafka-console-consumer.sh --bootstrap-server kafka-server:9092 --topic demo --from-beginning

10. 进入kafka容器内部

dockerexec -it kafka-server /bin/bash

# bin目录位置： /opt/bitnami/kafka/bin
I have no name!@a8ab5ce1ba0b:/opt/bitnami/kafka/bin$ pwd
/opt/bitnami/kafka/bin
# 进入到/opt/bitnami/kafka/bin目录下，并查看所有可执行文件
I have no name!@a8ab5ce1ba0b:/opt/bitnami/kafka/bin$ cd /opt/bitnami/kafka/bin &&ls -l
total 164
-rwxrwxr-x 1 root root  1423 Feb 1514:24 connect-distributed.sh
-rwxrwxr-x 1 root root  1396 Feb 1514:24 connect-mirror-maker.sh
-rwxrwxr-x 1 root root  1420 Feb 1514:24 connect-standalone.sh
-rwxrwxr-x 1 root root   861 Feb 1514:24 kafka-acls.sh
-rwxrwxr-x 1 root root   873 Feb 1514:24 kafka-broker-api-versions.sh
-rwxrwxr-x 1 root root   860 Feb 1514:24 kafka-cluster.sh
-rwxrwxr-x 1 root root   864 Feb 1514:24 kafka-configs.sh
-rwxrwxr-x 1 root root   945 Feb 1514:24 kafka-console-consumer.sh
-rwxrwxr-x 1 root root   944 Feb 1514:24 kafka-console-producer.sh
-rwxrwxr-x 1 root root   871 Feb 1514:24 kafka-consumer-groups.sh
-rwxrwxr-x 1 root root  1370 Mar  2 00:59 kafka-server-start.sh
-rwxrwxr-x 1 root root  1361 Feb 1514:24 kafka-server-stop.sh
-rwxrwxr-x 1 root root   860 Feb 1514:24 kafka-storage.sh
-rwxrwxr-x 1 root root   945 Feb 1514:24 kafka-streams-application-reset.sh
-rwxrwxr-x 1 root root   863 Feb 1514:24 kafka-topics.sh
......
I have no name!@a8ab5ce1ba0b:/opt/bitnami/kafka/bin$
标签： kafka docker zookeeper
本文转载自: https://blog.csdn.net/yuanjinshenglife/article/details/129472354
版权归原作者 小袁搬码 所有， 如有侵权，请联系我们删除。
登录后发布评论

“docker中快速安装Kafka(单节点)”的评论:

还没有评论
关于作者
...
overfit同步小助手
文章同步
相关阅读

【网络】网络抓包与协议分析

Windows系统如何本地部署Ollama并运行千文qwen大模型详细教程

【devops】x-ui 实现一键安装 x-ray 打造高速国际冲浪 | xray管理平台

【devops】ttyd 一个web版本的shell工具 | web版本shell工具 | web shell

this.$router.push方法 携带参数跳转路由

docker无法搜索和拉取镜像

visual studio之安装详解

文章导航