Kafka 3.6.1 Kraft模式 集群安装
1 概述
1 传统消息队列的应用场景
1）缓存/消峰
有助于控制和优化数据流经过系统的速度，解决和生产消息和消费者消息的处理速度不一致的情况
2）解耦
允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束
3）异步通信
允许用户把一个消息放入队列，但并不立即处理它，然后再需要的时候再去处理它们
2 消息队列的两种模式
1） 点对点模式
消费者主动拉去数据，消息收到后清楚消息
2）发布/订阅模式
可以有多个topic主题（浏览、点赞、收藏、评论等）
消费者消费数据之后，不删除数据
每个消费者相互独立，都可以消费到数据
3 基础架构
1 Producer 生产者
用来对接外部传来的数据
2 Consumer 消费者
用来消费kafka的数据
3 TopicA
存储各种各样类型的数据
4 工作逻辑
a 为方便扩展，并提高吞吐量，一个topic分为多个partition(分区)，一个分区只能由一个消费者来消费
b 配合分区的设计，提出消费者组的概念，组内每个消费者并行消费
c 副本机制，每个partition增加若干副本，实现数据冗余，保证数据不丢失，在kafka里面，副本分为 leader 和 follower 之分，生产和消费指针对leader ，当leader 挂掉之后，follower 有条件成为leader
5 Kraft模式
1）kafka2.8.0之前需要依赖于zookeeper，有元数据在 zookeeper 中，运行时动态选举 controller，由controller 进行 Kafka 集群管理，但是 kafka2.8.0之后， 不再依赖外部框架，而是能够独立运行 ,用三台 controller 节点代替 zookeeper，元数据保存在 controller 中，由 controller 直接进行 Kafka 集群管理。
2）优势
1 controller 管理集群时，不再需要从 zookeeper 中先读取数据，集群性能上升
2 由于不依赖 zookeeper，集群扩展时不再受到 zookeeper 读写能力限制
3 controller 不再动态选举，而是由配置文件规定。可以有针对性的加强controller 节点的配置，而不是像以前一样对随机 controller 节点的高负载束手无策。
2 安装部署
2.1 集群规划
主机名IP应用wujj00111.0.1.131Kafkawujj00211.0.1.136Kafkawujj00311.0.1.137Kafka
2.2 下载所需资源以及环境配置
2.2.1 安装jdk17（三节点都要操作）
2.2.1.1 下载jdk17并解压
[weihu@wujj001 ~]$ wget https://download.oracle.com/java/17/latest/jdk-17_linux-x64_bin.tar.gz
[weihu@wujj001 ~]$ tar -zxvf jdk-17_linux-x64_bin.tar.gz -C /home/jdk17
[root@wujj001 ~]# chown -R weihu:weihu /home/jdk17
2.2.1.2 配置环境变量
[root@wujj001 ~]# vim /etc/profile
# 末行加入
JAVA_HOME=/home/jdk17/jdk-17.0.10
CLASSPATH=$JAVA_HOME/lib/
PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH
[root@wujj001 ~]# source /etc/profile
[root@wujj001 ~]# java -version
java version "17.0.10" 2024-01-16 LTS
Java(TM) SE Runtime Environment (build 17.0.10+11-LTS-240)
Java HotSpot(TM) 64-Bit Server VM (build 17.0.10+11-LTS-240, mixed mode, sharing)
2.2.2 下载kafka二进制包并解压（三节点都要操作）
2.2.2.1 下载地址 (要下载scala版本为2.13的)
https://kafka.apache.org/downloads
2.2.2.2 创建目录解压
[weihu@wujj001 ~]$ mkdir /home/weihu/kafka
[weihu@wujj001 kafka]$ cd /home/weihu/kafka/
[weihu@wujj001 kafka]$ tar -zxvf kafka_2.13-3.6.1.tgz
[weihu@wujj001 kafka]$ mv kafka_2.13-3.6.1/ kafka-3.6.1
2.3 修改配置文件（以11.0.1.131为例子）
2.3.1 查看kafka目录
[weihu@wujj001 ~]$ cd /home/weihu/kafka/kafka-3.6.1/
[weihu@wujj001 kafka-3.6.1]$ ll -tr
总用量 72K
-rw-r--r-- 1 weihu weihu 28K 11月 24 17:38 NOTICE
-rw-r--r-- 1 weihu weihu 15K 11月 24 17:38 LICENSE
drwxr-xr-x 2 weihu weihu 4.0K 11月 24 17:48 licenses
drwxr-xr-x 3 weihu weihu 4.0K 11月 24 17:48 config
drwxr-xr-x 3 weihu weihu 4.0K 11月 24 17:48 bin
drwxr-xr-x 2 weihu weihu 4.0K 11月 24 17:48 site-docs
drwxr-xr-x 2 weihu weihu 12K 3月 22 10:57 libs
2.3.2 进入配置文件
注: Kraft模式的配置文件在config目录的kraft子目录下,修改时注意备份
# 全局配置文件
[weihu@wujj001 kafka-3.6.1]$ cd config/kraft/
[weihu@wujj001 kraft]$ ll -tr
总用量 24K
-rw-r--r-- 1 weihu weihu 6.2K 11月 24 17:38 server.properties
-rw-r--r-- 1 weihu weihu 5.6K 11月 24 17:38 controller.properties
-rw-r--r-- 1 weihu weihu 6.0K 11月 24 17:38 broker.properties
[weihu@wujj001 kraft]$ cp server.properties server.properties.bak
2.3.3 修改配置文件(11.0.1.131)
[weihu@wujj001 kraft]$cat /home/weihu/kafka/kafka-3.6.1/config/kraft/server.properties
# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements. See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License. You may obtain a copy of the License at
#
# http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
#
# This configuration file is intended for use in KRaft mode, where
# Apache ZooKeeper is not present.
#
############################# Server Basics #############################
# 此服务器的角色。设置此项将进入KRaft模式(controller 相当于主机、broker 节点相当于从机,主机类似 zk 功能)
process.roles=broker,controller
# 节点 ID
node.id=1
# 全 Controller 列表
[email protected]:9093,[email protected]:9093,[email protected]:9093
############################# Socket Server Settings #############################
# 套接字服务器侦听的地址.
# 组合节点（即具有`process.roles=broker,controller`的节点）必须至少在此处列出控制器侦听器
# 如果没有定义代理侦听器，那么默认侦听器将使用一个等于java.net.InetAddress.getCanonicalHostName()值的主机名,
# 带有PLAINTEXT侦听器名称和端口9092
# FORMAT:
# listeners = listener_name://host_name:port
# EXAMPLE:
# listeners = PLAINTEXT://your.host.name:9092
#不同服务器绑定的端口
listeners=PLAINTEXT://:9092,CONTROLLER://:9093
# 用于代理之间通信的侦听器的名称(broker 服务协议别名)
inter.broker.listener.name=PLAINTEXT
# 侦听器名称、主机名和代理将向客户端公布的端口.(broker 对外暴露的地址)
# 如果未设置，则使用"listeners"的值.
advertised.listeners=PLAINTEXT://11.0.1.131:9092
# controller 服务协议别名
# 控制器使用的侦听器名称的逗号分隔列表
# 如果`listener.security.protocol.map`中未设置显式映射，则默认使用PLAINTEXT协议
# 如果在KRaft模式下运行，这是必需的。
controller.listener.names=CONTROLLER
# 将侦听器名称映射到安全协议，默认情况下它们是相同的。(协议别名到安全协议的映射)有关更多详细信息，请参阅配置文档.
listener.security.protocol.map=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT,SSL:SSL,SASL_PLAINTEXT:SASL_PLAINTEXT,SASL_SSL:SASL_SSL
# 服务器用于从网络接收请求并向网络发送响应的线程数
num.network.threads=3
# 服务器用于处理请求的线程数，其中可能包括磁盘I/O
num.io.threads=8
# 套接字服务器使用的发送缓冲区（SO_SNDBUF）
socket.send.buffer.bytes=102400
# 套接字服务器使用的接收缓冲区（SO_RCVBUF）
socket.receive.buffer.bytes=102400
# 套接字服务器将接受的请求的最大大小（防止OOM）
socket.request.max.bytes=104857600
############################# Log Basics #############################
# 存储日志文件的目录的逗号分隔列表(kafka 数据存储目录)
log.dirs=/home/weihu/kafka/data
# 每个主题的默认日志分区数。更多的分区允许更大的并行性以供使用，但这也会导致代理之间有更多的文件。
num.partitions=1
# 启动时用于日志恢复和关闭时用于刷新的每个数据目录的线程数。
# 对于数据目录位于RAID阵列中的安装，建议增加此值。
num.recovery.threads.per.data.dir=1
############################# Internal Topic Settings #############################
# 组元数据内部主题"__consumer_offsets"和"__transaction_state"的复制因子
# 对于除开发测试以外的任何测试，建议使用大于1的值来确保可用性，例如3.
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
############################# Log Flush Policy #############################
# 消息会立即写入文件系统，但默认情况下，我们只使用fsync()进行同步
# 操作系统缓存延迟。以下配置控制将数据刷新到磁盘.
# 这里有一些重要的权衡:
# 1. Durability(持久性): 如果不使用复制，未清理的数据可能会丢失
# 2. Latency(延迟): 当刷新发生时，非常大的刷新间隔可能会导致延迟峰值，因为将有大量数据要刷新.
# 3. Throughput(吞吐量): 刷新通常是最昂贵的操作，较小的刷新间隔可能导致过多的寻道.
# 下面的设置允许配置刷新策略，以便在一段时间后或每N条消息（或两者兼有）刷新数据。这可以全局完成，并在每个主题的基础上覆盖
# 强制将数据刷新到磁盘之前要接受的消息数
#log.flush.interval.messages=10000
# 在我们强制刷新之前，消息可以在日志中停留的最长时间
#log.flush.interval.ms=1000
############################# Log Retention Policy #############################
# 以下配置控制日志段的处理。可以将该策略设置为在一段时间后删除分段，或者在累积了给定大小之后删除分段。
# 只要满足这些条件中的任意一个，segment就会被删除。删除总是从日志的末尾开始
# 日志文件因使用年限而有资格删除的最短使用年限
log.retention.hours=168
# 基于大小的日志保留策略。除非剩余的段低于log.retention.bytes，否则将从日志中删除段。独立于log.retention.hours的函数。
#log.retention.bytes=1073741824
# 日志segment文件的最大大小。当达到此大小时，将创建一个新的日志segment
log.segment.bytes=1073741824
# 检查日志segments以查看是否可以根据保留策略删除它们的间隔
log.retention.check.interval.ms=300000
# 筛选后配置文件
[weihu@wujj001 kraft]$ egrep -v "^$|^#" server.properties
process.roles=broker,controller
node.id=1
[email protected]:9093,[email protected]:9093,[email protected]:9093
listeners=PLAINTEXT://:9092,CONTROLLER://:9093
inter.broker.listener.name=PLAINTEXT
advertised.listeners=PLAINTEXT://11.0.1.131:9092
controller.listener.names=CONTROLLER
listener.security.protocol.map=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT,SSL:SSL,SASL_PLAINTEXT:SASL_PLAINTEXT,SASL_SSL:SASL_SSL
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/home/weihu/kafka/data
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
2.3.4 其他节点
1 需要修改node.id ，这个不得重复
2 需要修改 advertised.listeners，这个是broker 对外暴露的地址，改成自己本机地址
其余和kafka01节点配置一样即可
11.0.1.136 - kafka02节点
[weihu@wujj002 kraft]$ egrep -v "^$|^#" server.properties
process.roles=broker,controller
node.id=2
[email protected]:9093,[email protected]:9093,[email protected]:9093
listeners=PLAINTEXT://:9092,CONTROLLER://:9093
inter.broker.listener.name=PLAINTEXT
advertised.listeners=PLAINTEXT://11.0.1.136:9092
controller.listener.names=CONTROLLER
listener.security.protocol.map=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT,SSL:SSL,SASL_PLAINTEXT:SASL_PLAINTEXT,SASL_SSL:SASL_SSL
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/home/weihu/kafka/data
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
11.0.1.137 - kafka03节点
[weihu@wujj003 kraft]$ egrep -v "^$|^#" server.properties
process.roles=broker,controller
node.id=3
[email protected]:9093,[email protected]:9093,[email protected]:9093
listeners=PLAINTEXT://:9092,CONTROLLER://:9093
inter.broker.listener.name=PLAINTEXT
advertised.listeners=PLAINTEXT://11.0.1.137:9092
controller.listener.names=CONTROLLER
listener.security.protocol.map=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT,SSL:SSL,SASL_PLAINTEXT:SASL_PLAINTEXT,SASL_SSL:SASL_SSL
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/home/weihu/kafka/data
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
3 初始化集群数据目录
3.1 首先生成存储目录唯一 ID
需要在启动服务器之前创建kafka集群id
[weihu@wujj001 ~]$ cd kafka/kafka-3.6.1/
[weihu@wujj001 kafka-3.6.1]$ bin/kafka-storage.sh random-uuid
FZ5SZ1xSSYK9vaeMMnmi9w
3.2 用该 ID 格式化 kafka 存储目录（每个节点都需要执行）
[weihu@wujj001 kafka-3.6.1]$ bin/kafka-storage.sh format -t FZ5SZ1xSSYK9vaeMMnmi9w -c /home/weihu/kafka/kafka-3.6.1/config/kraft/server.properties
Formatting /home/weihu/kafka/data with metadata.version 3.6-IV2.
[weihu@wujj002 kafka-3.6.1]$ bin/kafka-storage.sh format -t FZ5SZ1xSSYK9vaeMMnmi9w -c /home/weihu/kafka/kafka-3.6.1/config/kraft/server.properties
Formatting /home/weihu/kafka/data with metadata.version 3.6-IV2.
[weihu@wujj003 kafka-3.6.1]$ bin/kafka-storage.sh format -t FZ5SZ1xSSYK9vaeMMnmi9w -c /home/weihu/kafka/kafka-3.6.1/config/kraft/server.properties
Formatting /home/weihu/kafka/data with metadata.version 3.6-IV2.
5 启动集群
1 在节点上依次启动 Kafka
[weihu@wujj001 kafka-3.6.1]$ bin/kafka-server-start.sh -daemon config/kraft/server.properties
[weihu@wujj002 kafka-3.6.1]$ bin/kafka-server-start.sh -daemon config/kraft/server.properties
[weihu@wujj003 kafka-3.6.1]$ bin/kafka-server-start.sh -daemon config/kraft/server.properties
2 查看是否启动
[weihu@wujj001 kafka-3.6.1]$ jps
13475 Kafka
13548 Jps
[weihu@wujj002 kafka-3.6.1]$ jps
13142 Jps
13049 Kafka
[weihu@wujj003 kafka-3.6.1]$ jps
13308 Jps
13215 Kafka
6 测试集群
6.1 消费者端
6.1.1 进入kafka根目录
[weihu@wujj001 ~]$ cd /home/weihu/kafka/kafka-3.6.1/
6.1.2 创建一个topic主题
[weihu@wujj001 kafka-3.6.1]$ bin/kafka-topics.sh --bootstrap-server 11.0.1.136:9092 --create --topic wujunjie --partitions 3 --replication-factor 3
6.1.3 查看topic
[weihu@wujj001 kafka-3.6.1]$ bin/kafka-topics.sh --bootstrap-server 11.0.1.136:9092 --list
wujunjie
6.1.4 创建一个生产者
[weihu@wujj001 kafka-3.6.1]$ bin/kafka-console-producer.sh --bootstrap-server 11.0.1.136:9092 --topic wujunjie
>
6.2 消费者端
6.2.1 在其他节点创建一个消费者
[weihu@wujj002 ~]$ cd /home/weihu/kafka/kafka-3.6.1/
[weihu@wujj002 kafka-3.6.1]$ bin/kafka-console-consumer.sh --bootstrap-server 11.0.1.131:9092 --topic wujunjie
[weihu@wujj003 kafka-3.6.1]$ bin/kafka-console-consumer.sh --bootstrap-server 11.0.1.137:9092 --topic wujunjie
6.2.2 生产者开始发送数据
[weihu@wujj001 kafka-3.6.1]$ bin/kafka-console-producer.sh --bootstrap-server 11.0.1.136:9092 --topic wujunjie
>hello
>test
>
6.2.3 消费者消费数据
[weihu@wujj002 kafka-3.6.1]$ bin/kafka-console-consumer.sh --bootstrap-server 11.0.1.131:9092 --topic wujunjie
hello
test
[weihu@wujj003 kafka-3.6.1]$ bin/kafka-console-consumer.sh --bootstrap-server 11.0.1.137:9092 --topic wujunjie
hello
test
7 扩展
1 环境变量
1 新建kafka.sh
[weihu@wujj001 ~]$ sudo vim /etc/profile.d/kafka.sh
# KAFKA_HOME
export KAFKA_HOME=/home/weihu/kafka/kafka-3.6.1
export PATH=$PATH:$KAFKA_HOME/bin
2 授予文件执行权限
[weihu@wujj001 ~]$ sudo chmod u+x /etc/profile.d/kafka.sh
3 刷新环境变量
[weihu@wujj001 ~]$ source /etc/profile
2 kafka一键启停脚本
# 需要安装 expect
[root@wujj001 ~]$yum install -y expect
[weihu@wujj001 bin]$ expect -version
expect version 5.45.4
1 在家目录中创建一个bin目录
[weihu@wujj001 ~]$ mkdir bin
[weihu@wujj001 ~]$ echo $PATH
/home/weihu/.local/bin:/home/weihu/bin:/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/home/jdk17/jdk-17.0.10/bin:/home/jdk17/jdk-17.0.10/bin:/home/weihu/kafka/kafka-3.6.1/bin:/home/jdk17/jdk-17.0.10/bin
2 创建脚本
[weihu@wujj001 ~]$ vim /home/weihu/bin/kafka.sh
#!/bin/bash
host_passwd="redhat"
kafka_start() {
for i in 11.0.1.131 11.0.1.136 11.0.1.137; do
echo " --------启动 $i Kafka-------"
expect -c "
spawn ssh $i \"source /etc/profile;/home/weihu/kafka/kafka-3.6.1/bin/kafka-server-start.sh -daemon /home/weihu/kafka/kafka-3.6.1/config/kraft/server.properties\"
expect {
\"connecting (yes/no)?\" { send \"yes\n\"; exp_continue }
\"password:\" { send \"${host_passwd}\n\"; exp_continue }
}
expect eof
"
done
}
kafka_stop() {
for i in 11.0.1.131 11.0.1.136 11.0.1.137; do
echo " --------停止 $i Kafka-------"
expect -c "
spawn ssh $i \"source /etc/profile;/home/weihu/kafka/kafka-3.6.1/bin/kafka-server-stop.sh\"
expect {
\"connecting (yes/no)?\" { send \"yes\n\"; exp_continue }
\"password:\" { send \"${host_passwd}\n\"; exp_continue }
}
expect eof
"
done
}
if [ $# -lt 1 ]; then
echo "No Args Input..."
exit
fi
case $1 in
"start")
kafka_start
;;
"stop")
kafka_stop
;;
"restart")
kafka_stop
kafka_start
;;
*)
echo "Input Args Error..."
echo "$0 [start|stop|restart]..."
;;
esac
3 添加执行权限
[weihu@wujj001 ~]$ chmod +x /home/weihu/bin/kafka.sh
4 使用
[weihu@wujj001 ~]$ cd /home/weihu/bin/
[weihu@wujj001 bin]$ kafka.sh start/stop/status
本文转载自: https://blog.csdn.net/weixin_50236289/article/details/139726710
版权归原作者 W u 小杰 所有， 如有侵权，请联系我们删除。
版权归原作者 W u 小杰 所有， 如有侵权，请联系我们删除。