0
0

通过 docker-compose 部署 Kafka

部署 docker：linux下安装docker

部署 docker-compose：linux下安装docker compose

创建docker镜像网络环境：

  1. # 创建，注意不能使用hadoop_network，要不然启动hs2服务的时候会有问题！！！
  2. docker network create hadoop-network
  4. # 查看
  5. docker network ls

Kafka 编排部署

下载 Kafka

（#需要java环境支持）

  1. wget https://downloads.apache.org/kafka/3.4.0/kafka_2.12-3.4.0.tgz --no-check-certificate
配置
  • config/kafka-node1/server.properties``````# 常见配置挂载目录mkdir config/{kafka-node1,kafka-node2,kafka-node3} -p# 配置cat >config/kafka-node1/server.properties<<EOF#broker的全局唯一编号，不能重复broker.id=1#删除topic功能使能delete.topic.enable=true#处理网络请求的线程数量num.network.threads=3#用来处理磁盘IO的现成数量num.io.threads=8#发送套接字的缓冲区大小socket.send.buffer.bytes=102400#接收套接字的缓冲区大小socket.receive.buffer.bytes=102400#请求套接字的缓冲区大小socket.request.max.bytes=104857600#kafka数据的存储位置log.dirs=/opt/apache/kafka/logs#指定Topic的分区数量，这里设置为3。默认只有一个分区，设置多分区可以支持并发读写和负载均衡num.partitions=3#副本，默认只有一个副本，不会进行数据备份和冗余replication.factor=3#用来恢复和清理data下数据的线程数量num.recovery.threads.per.data.dir=1#segment文件保留的最长时间，超时将被删除log.retention.hours=168#配置连接Zookeeper集群地址zookeeper.connect=zookeeper-node1:2181,zookeeper-node2:2181,zookeeper-node3:2181#zookeeper连接超时时间zookeeper.connection.timeout.ms=60000EOF
  • config/kafka-node2/server.properties``````cat >config/kafka-node2/server.properties<<EOF#broker的全局唯一编号，不能重复broker.id=2#删除topic功能使能delete.topic.enable=true#处理网络请求的线程数量num.network.threads=3#用来处理磁盘IO的现成数量num.io.threads=8#发送套接字的缓冲区大小socket.send.buffer.bytes=102400#接收套接字的缓冲区大小socket.receive.buffer.bytes=102400#请求套接字的缓冲区大小socket.request.max.bytes=104857600#kafka数据的存储位置log.dirs=/opt/apache/kafka/logs#指定Topic的分区数量，这里设置为3。默认只有一个分区，设置多分区可以支持并发读写和负载均衡num.partitions=3#副本，默认只有一个副本，不会进行数据备份和冗余replication.factor=3#用来恢复和清理data下数据的线程数量num.recovery.threads.per.data.dir=1#segment文件保留的最长时间，超时将被删除log.retention.hours=168#配置连接Zookeeper集群地址zookeeper.connect=zookeeper-node1:2181,zookeeper-node2:2181,zookeeper-node3:2181#zookeeper连接超时时间zookeeper.connection.timeout.ms=60000EOF
  • config/kafka-node3/server.properties``````cat >config/kafka-node3/server.properties<<EOF#broker的全局唯一编号，不能重复broker.id=3#删除topic功能使能delete.topic.enable=true#处理网络请求的线程数量num.network.threads=3#用来处理磁盘IO的现成数量num.io.threads=8#发送套接字的缓冲区大小socket.send.buffer.bytes=102400#接收套接字的缓冲区大小socket.receive.buffer.bytes=102400#请求套接字的缓冲区大小socket.request.max.bytes=104857600#kafka数据的存储位置log.dirs=/opt/apache/kafka/logs#指定Topic的分区数量，这里设置为3。默认只有一个分区，设置多分区可以支持并发读写和负载均衡num.partitions=3#副本，默认只有一个副本，不会进行数据备份和冗余replication.factor=3#用来恢复和清理data下数据的线程数量num.recovery.threads.per.data.dir=1#segment文件保留的最长时间，超时将被删除log.retention.hours=168#配置连接Zookeeper集群地址zookeeper.connect=zookeeper-node1:2181,zookeeper-node2:2181,zookeeper-node3:2181#zookeeper连接超时时间zookeeper.connection.timeout.ms=60000EOF
启动脚本 bootstrap.sh
  1. #!/usr/bin/env sh
  3. ${KAFKA_HOME}/bin/kafka-server-start.sh ${KAFKA_HOME}/config/server.properties
构建镜像 Dockerfile
  1. FROM registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/centos:7.7.1908
  3. RUN rm -f /etc/localtime && ln -sv /usr/share/zoneinfo/Asia/Shanghai /etc/localtime && echo "Asia/Shanghai" > /etc/timezone
  5. RUN export LANG=zh_CN.UTF-8
  7. # 创建用户和用户组，跟yaml编排里的user: 10000:10000
  8. RUN groupadd --system --gid=10000 hadoop && useradd --system --home-dir /home/hadoop --uid=10000 --gid=hadoop hadoop -m
  10. # 安装sudo
  11. RUN yum -y install sudo ; chmod 640 /etc/sudoers
  13. # 给hadoop添加sudo权限
  14. RUN echo "hadoop ALL=(ALL) NOPASSWD: ALL" >> /etc/sudoers
  16. RUN yum -y install install net-tools telnet wget nc less
  18. RUN mkdir /opt/apache/
  20. # 添加配置 JDK
  21. ADD jdk-8u212-linux-x64.tar.gz /opt/apache/
  22. ENV JAVA_HOME /opt/apache/jdk1.8.0_212
  23. ENV PATH $JAVA_HOME/bin:$PATH
  25. # 添加配置 kafka server
  26. ENV KAFKA_VERSION 2.12-3.4.0
  27. ADD kafka_${KAFKA_VERSION}.tgz /opt/apache/
  28. ENV KAFKA_HOME /opt/apache/kafka
  29. RUN ln -s /opt/apache/kafka_${KAFKA_VERSION}-bin $KAFKA_HOME
  31. # 创建数据存储目录
  32. RUN mkdir -p ${KAFKA_HOME}/data/logs
  34. # copy bootstrap.sh
  35. COPY bootstrap.sh /opt/apache/
  36. RUN chmod +x /opt/apache/bootstrap.sh
  38. RUN chown -R hadoop:hadoop /opt/apache
  40. WORKDIR $KAFKA_HOME
开始构建镜像
  1. # 需要查看构建镜像详细过程则需要加上 --progress=plain 选项
  2. docker build -t registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/kafka:2.12-3.4.0 . --no-cache --progress=plain
编排 docker-compose.yaml
  1. version: '3'
  2. services:
  3.   kafka-node1:
  4.     image: registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/kafka:2.12-3.4.0
  5.     user: "hadoop:hadoop"
  6.     container_name: kafka-node1
  7.     hostname: kafka-node1
  8.     restart: always
  9.     privileged: true
  10.     env_file:
  11.       - .env
  12.     volumes:
  13.       - ./config/kafka-node1/server.properties:${KAFKA_HOME}/config/server.properties
  14.     ports:
  15.       - "${KAFKA_NODE1_SERVER_PORT}:9092"
  16.     expose:
  17.       - 2888
  18.       - 3888
  19.     command: ["sh","-c","/opt/apache/bootstrap.sh"]
  20.     networks:
  21.       - hadoop-network
  22.     healthcheck:
  23.       test: ["CMD-SHELL", "netstat -tnlp|grep :9092 || exit 1"]
  24.       interval: 10s
  25.       timeout: 10s
  26.       retries: 5
  27.   kafka-node2:
  28.     image: registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/kafka:2.12-3.4.0
  29.     user: "hadoop:hadoop"
  30.     container_name: kafka-node2
  31.     hostname: kafka-node2
  32.     restart: always
  33.     privileged: true
  34.     env_file:
  35.       - .env
  36.     volumes:
  37.       - ./config/kafka-node2/server.properties:${KAFKA_HOME}/config/server.properties
  38.     ports:
  39.       - "${KAFKA_NODE2_SERVER_PORT}:9092"
  40.     expose:
  41.       - 2888
  42.       - 3888
  43.     command: ["sh","-c","/opt/apache/bootstrap.sh"]
  44.     networks:
  45.       - hadoop-network
  46.     healthcheck:
  47.       test: ["CMD-SHELL", "netstat -tnlp|grep :9092 || exit 1"]
  48.       interval: 10s
  49.       timeout: 10s
  50.       retries: 5
  51.   kafka-node3:
  52.     image: registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/kafka:2.12-3.4.0
  53.     user: "hadoop:hadoop"
  54.     container_name: kafka-node3
  55.     hostname: kafka-node3
  56.     restart: always
  57.     privileged: true
  58.     env_file:
  59.       - .env
  60.     volumes:
  61.       - ./config/kafka-node3/server.properties:${KAFKA_HOME}/config/server.properties
  62.     ports:
  63.       - "${KAFKA_NODE3_SERVER_PORT}:9092"
  64.     expose:
  65.       - 2888
  66.       - 3888
  67.     command: ["sh","-c","/opt/apache/bootstrap.sh"]
  68.     networks:
  69.       - hadoop-network
  70.     healthcheck:
  71.       test: ["CMD-SHELL", "netstat -tnlp|grep :9092 || exit 1"]
  72.       interval: 10s
  73.       timeout: 10s
  74.       retries: 5
  76. # 连接外部网络
  77. networks:
  78.   hadoop-network:
  79.     external: true
  1. **.ENV** 环境变量文件内容如下： 
  1. # 对外暴露的端口
  2. cat << EOF > .env
  3. KAFKA_HOME=/opt/apache/kafka
  4. KAFKA_NODE1_SERVER_PORT=39092
  5. KAFKA_NODE2_SERVER_PORT=39093
  6. KAFKA_NODE3_SERVER_PORT=39094
  7. EOF
开始部署
  1. docker-compose -f docker-compose.yaml up -d
  3. # 查看
  4. docker-compose -f docker-compose.yaml ps

简单测试验证

  1. # 登录zookeeper，在zookeeper查看brokers
  2. ${ZOOKEEPER_HOME}/bin/zkCli.sh ls /brokers/ids
  4. ${ZOOKEEPER_HOME}/bin/zkCli.sh get /brokers/ids/1
  5. ${ZOOKEEPER_HOME}/bin/zkCli.sh get /brokers/ids/2
  6. ${ZOOKEEPER_HOME}/bin/zkCli.sh get /brokers/ids/3

常用的 Kafka 客户端命令

添加topic

  1. # 随便登录
  2. docker exec -it kafka-node1 bash
  4. # 创建topic，1副本，1分区，设置数据过期时间72小时（-1表示不过期），单位ms，72*3600*1000=259200000
  5. ${KAFKA_HOME}/bin/kafka-topics.sh --create --topic test002 --bootstrap-server kafka-node1:9092,kafka-node2:9092,kafka-node3:9092  --partitions 1 --replication-factor 1 --config retention.ms=259200000

查看topic

  1. # 查看topic列表
  2. ${KAFKA_HOME}/bin/kafka-topics.sh --bootstrap-server kafka-node1:9092,kafka-node2:9092,kafka-node3:9092 --list
  4. # 查看topic列表详情
  5. ${KAFKA_HOME}/bin/kafka-topics.sh --bootstrap-server kafka-node1:9092,kafka-node2:9092,kafka-node3:9092 --describe
  7. # 指定topic
  8. ${KAFKA_HOME}/bin/kafka-topics.sh --bootstrap-server kafka-node1:9092,kafka-node2:9092,kafka-node3:9092 --describe --topic test002
  10. # 查看消费者组
  11. ${KAFKA_HOME}/bin/kafka-consumer-groups.sh --bootstrap-server kafka-node1:9092,kafka-node2:9092,kafka-node3:9092 --list
  12. kafka-consumer-groups.sh --bootstrap-server kafka-node1:9092,kafka-node2:9092,kafka-node3:9092 --describe  --group test002

修改topic

  1. # 修改分区，扩分区，不能减少分区
  2. ${KAFKA_HOME}/bin/kafka-topics.sh --alter --bootstrap-server kafka-node1:9092,kafka-node2:9092,kafka-node3:9092 --topic test002 --partitions 2
  4. # 修改过期时间，下面两行都可以
  5. ${KAFKA_HOME}/bin/kafka-configs.sh --bootstrap-server kafka-node1:9092,kafka-node2:9092,kafka-node3:9092 --alter --topic test002 --add-config retention.ms=86400000
  7. ${KAFKA_HOME}/bin/kafka-configs.sh --bootstrap-server kafka-node1:9092,kafka-node2:9092,kafka-node3:9092 --alter --entity-name test002 --entity-type topics --add-config retention.ms=86400000
  9. # 修改副本数，将副本数修改成3
  10. $ cat >1.json<<EOF
  11. {"version":1,
  12. "partitions":[
  13. {"topic":"test002","partition":0,"replicas":[0,1,2]},
  14. {"topic":"test002","partition":1,"replicas":[1,2,0]},
  15. {"topic":"test002","partition":2,"replicas":[2,0,1]}
  16. ]}
  17. EOF
  18. ${KAFKA_HOME}/bin/kafka-topics.sh --bootstrap-server kafka-node1:9092,kafka-node2:9092,kafka-node3:9092 --describe --topic test002

扩容分区

  1. #把test002 topic扩容为6个分区。
  2. #注意：目前不支持减少分区，扩容前必须存在这个主题。
  3. ${KAFKA_HOME}/bin/kafka-topics.sh -alter --partitions 6 --bootstrap-server kafka-node1:9092,kafka-node2:9092,kafka-node3:9092 --topic test002
  5. ${KAFKA_HOME}/bin/kafka-topics.sh --bootstrap-server kafka-node1:9092,kafka-node2:9092,kafka-node3:9092 --describe

删除topic

  1. ${KAFKA_HOME}/bin/kafka-topics.sh --delete --topic test002 --bootstrap-server kafka-node1:9092,kafka-node2:9092,kafka-node3:9092

生成者和消费者

生产者
  1. ${KAFKA_HOME}/bin/kafka-console-producer.sh --broker-list kafka-node1:9092,kafka-node2:9092,kafka-node3:9092 --topic test002
  2. {"id":"1","name":"n1","age":"20"}
  3. {"id":"2","name":"n2","age":"21"}
  4. {"id":"3","name":"n3","age":"22"}
消费者
  1. # 从头开始消费
  2. ${KAFKA_HOME}/bin/kafka-console-consumer.sh --bootstrap-server kafka-node1:9092,kafka-node2:9092,kafka-node3:9092 --topic test002 --from-beginning
  4. # 指定从分区的某个位置开始消费，这里只指定了一个分区，可以多写几行或者遍历对应的所有分区
  5. ${KAFKA_HOME}/bin/kafka-console-consumer.sh --bootstrap-server kafka-node1:9092,kafka-node2:9092,kafka-node3:9092 --topic test002 --partition 0 --offset 100

消费组

在 Kafka 中，消费组（Consumer Group）是一组独立消费者的集合，它们共同消费一个或多个 Topic 中的数据。消费组内的消费者协同工作，通过分摊该 Topic 中的所有分区，以实现消息的消费和处理。

消费组在 Kafka 消息队列中起到了至关重要的作用。它可以提供如下功能：

  • 并发消费：消费组内的每个消费者都可以独立地消费消息，可以实现高并发处理。
  • 自动负载均衡：消费组内的消费者会自动协作，将消费任务均分到所有消费者上，使得每个消费者都能处理相同数量的消息。
  • 提高可用性：当消费组内的一个或多个消费者故障退出时，消息会自动分配到其他消费者上，保证消费任务的不间断执行。
  • 支持多租户：可以通过 Consumer Group 来对不同的租户进行消息隔离，不同的 Consumer Group 可以读取同一个 Topic 的不同副本，或者读取不同 Topic 的不同分区，实现多个实例共享同一 Topic 或分散处理不同 Topic。

示例如下：

  1. ${KAFKA_HOME}/bin/kafka-console-consumer.sh --bootstrap-server kafka-node1:9092,kafka-node2:9092,kafka-node3:9092 --topic test002 --group test002

查看数据积压

  1. ${KAFKA_HOME}/bin/kafka-consumer-groups.sh --bootstrap-server kafka-node1:9092,kafka-node2:9092,kafka-node3:9092 --describe --group test002

kafka 数据积压处理方法

在 Kafka 中，由于消息的生产和消费速度可能不一致，导致消息会积压在 Kafka 的分区中，如果这些积压的消息处理不及时，会导致 Kafka 系统的性能下降和可用性降低等问题。因此，需要采取一些处理方法来解决数据积压问题：

  • 增加消费者：增加消费者可以使消费任务并行执行，加快消息的处理速度。可以通过增加消费者的方式将积压的消息消费掉，提高系统处理速度和效率。
  • 调整消费者组：当一个消费组中的消费者无法处理所有的消息时，可以考虑调整消费者组。可以增加消费者的数量或者更换消费者组，以适应消息处理的速度和大小。
  • 调整消息分区：Kafka 中Topic 的分区数也会影响数据积压的情况。可以调整分区数以改善数据读取和分发的情况，或者对热点 Topic 进行分区处理，以实现更好的性能和可用性。
  • 调整消费 offset：若积压的消息都已经被处理过了，却还在 Kafka 中存在，可能是消费者消费 offset 设置错误导致的。可以通过 Kafka 的 offset 操作，重置消费 offset，跳过已经处理过的消息，减少数据积压的问题。
  • 执行消息清洗：在消费 Kafka 消息时，可以额外执行一些消息清洗处理操作，将无用的数据过滤出去，或者将数据进行清理和格式化处理，减少中间处理环节，提高数据消费的效率和可用性。

以上是一些解决 Kafka 数据积压问题的常用方法，需要视具体情况而定，选择合适的方法来解决。

标签： docker kafka 容器
本文转载自: https://blog.csdn.net/ststcheung/article/details/133379844
版权归原作者 ststcheung 所有， 如有侵权，请联系我们删除。
登录后发布评论

“通过 docker-compose 部署 Kafka”的评论:

还没有评论
关于作者
...
overfit同步小助手
文章同步
相关阅读

网络安全法-网络运行安全

使用selenium/drissionpage时如何阻止chrome自动跳转http到https

docker desktop 里部署的Open WebUI 管理员密码忘记了的处理方法

在ubuntu20.04中搭建onsite比赛运行环境

利用开源的低代码表单设计器FcDesigner高效管理和渲染复杂表单结构

Kafka学习笔记

【前端】浏览器输入url到页面呈现发生了什么？

文章导航
没有找到文章内容分段。。。