Kafka--高吞吐量消息中间件

文章目录

Kafka特点和优势

官方网站：https://kafka.apache.org/

Kafka特点

Kafka特点
  1.分布式: 多机实现,不允许单机
  2.分区: 一个消息可以拆分出多个，分别存储在多个位置·
  3.多副本: 防止信息丢失，可以多来几个备份
  4.多订阅者: 可以有很多应用连接kafka
  5.Zookeeper: 早期版本的Kafka依赖于zookeeper，2021年4月19日Kafka 2.8.0正式发布，
    此版本包括了很多重要改动，最主要的是kafka通过自我管理的仲裁来替代ZooKeeper，即Kafka将不再需要ZooKeeper!

Kafka优势

1.Kafka通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB级别以上的消息存储也能够保持长时间的稳定性能·

o(1)就是最低的时空复杂度，也就是耗时/耗空间与输入数据大小无关，无论输入数据增大多少倍，耗时/耗空间都不变，
哈希算法就是典型的o(1)时间复杂度，无论数据规模多大，都可以在一次计算后找到目标。

2.高吞吐量: 即使是非常普通的硬件，Kafka也可以支持每秒数百万的消息。支持通过Kafka服务器分区消息。

3.分布式: Kafka基于分布式集群实现高可用的容错机制，可以实现自动的故障转移。

4.顺序保证:︰在大多数使用场景下，数据处理的顺序都很重要。大部分消息队列本来就是排序的，并且能保证数据会按照特定的顺序来处理。Kafka保证一个Partiton内的消息的有序性(分区间数据是无序的，如果对数据的顺序有要求，应将在创建主题时将分区数partitions设置为1)

5.支持Hadoop并行数据加载。

6.通常用于大数据场合,传递单条消息比较大，而Rabbitmq消息主要是传输业务的指令数据,单条数据较小。

Kafka角色

Producer

 Producer：即生产者，消息的产生者，是消息的入口。负责发布消息到Kafka broker。

Consumer

 Consumer: 消费者，用于消费消息，即处理消息。

Broker:

Broker是kafka实例，
  每个服务器上可以有一个或多个kafka的实例，假设每个broker对应一台服务器。
  每个kafka集群内的broker都有一个不重复的编号，如: broker-O、broker-1等…...

Topic

Topic:消息的主题，可以理解为消息的分类，一个Topic相当于数据库中的一张表一条消息相当于关系数据库的一条记录，
  一个Topic或者相当于Redis中列表类型的一个Key，一条消息即为列表中的一个元素。kafka的数据就保存在topic。
  在每个broker上都可以创建多个topic。物理上不同topic的消息分开存储在不同的文件夹，
  逻辑上一个topic的消息虽然保存于一个或多个broker上,但用户只需指定消息的topic即可生产或消费数据而不必关心数据存于何处，
  topic在逻辑上对record(记录、日志)进行分组保存，消费者需要订阅相应的topic才能消费topic中的消息。

Consumer group

Consumer group:
  每个consumer属于一个特定的consumer group(可为每个consumer指定group name，若不指定group name则属于默认的group)，
  同一topic的一条消息只能被同一个consumer group内的一个consumer消费，
  类似于一对一的单播机制，但多个consumer group可同时消费这一消息，类似于一对多的多播机制。

Partition

Partition:
  是物理上的概念，每个topic分割为一个或多个partition，即一个topic切分为多份.
  创建topic时可指定partition数量，partition的表现形式就是一个一个的文件夹.
  该文件夹下存储该partition的数据和索引文件，分区的作用还可以实现负载均衡，提高kafka的吞吐量。
  同一个topic在不同的分区的数据是不重复的,一般Partition数不要超过节点数，
  注意同一个partition数据是有顺序的，但不同的partition则是无序的。

Replication

Replication:同样数据的副本，包括leader和follower的副本数
  基于数据安全，建议至少2个是Kafka的高可靠性的保障，
  和ES的副本有所不同，Kafka中的副本数包括主分片数,而ES中的副本数不包括主分片数。
  为了实现数据的高可用，比如将分区0的数据分散到不同的kafka节点，
  每一个分区都有一个broker作为Leader和一个broker作为Follower，类似于ES中的主分片和副本分片，
  
  假设分区为3,即分三个分区0-2，副本为3，即每个分区都有一个leader，再加两个follower，
  分区0的leader为服务器A，则服务器B和服务器C为A的fllower，
  而分区1的leader为服务器B，则服务器A和C为服务器B的follower，
  而分区2的leader为C，则服务器A和B为C的follower。

分区和副本的优势

1.实现存储空间的横向扩容，即将多个kafka服务器的空间组合利用
  2.提升性能，多服务器并行读写
  3.实现高可用，每个分区都有一个主分区即leader分布在不同的kafka服务器，并且有对应follower分布在和leader不同的服务器

Kafka写入流程

Kafka部署

官方部署文档：https://kafka.apache.org/quickstart

单机

$ apt update &&apt-yinstall openjdk-8-jdk
$ tar-xzf kafka_2.13-3.4.0.tgz
$ cd kafka_2.13-3.4.0

# Start the zooKeeper servi ce
$ bin/zookeeper-server-start.sh config/zookeeper.properties

# Start the Kafka broker service
$ bin/kafka-server-start.sh config/server.properties

集群部署

当前版本Kafka依赖Zookeeper服务,但以后将不再依赖

1.环境准备ZooKeeper

安装kafka之前，确保的zookeeper集群节点的启动。

注意:生产中zookeeper和kafka一般是分开独立部署的, kafka安装前需要安装java环境。

2.配置文件说明

Kafka节点配置，配置文件说明
./ conf/server.propertiest

#配置文件 ./conf/server.properties内容说明################################## Server Basics ###################################broker的id，值为整数，且必须唯一，在一个集群中不能重复broker.id=1################################## Socket ServerSettings ####################################kafka监听端口，默认9092listeners=PLAINTEXT://10.0.0.101:9092

#处理网络请求的线程数量，默认为3个num.network.threads=3#执行磁盘IO操作的线程数量，默认为8个num.io.threads=8#socket服务发送数据的缓冲区大小，默认100KBsocket.send.buffer.bytes=102400#socket服务接受数据的缓冲区大小，默认100KBsocket.receive.buffer.bytes=102400#socket服务所能接受的一个请求的最大大小，默认为100Msocket.request.max.bytes=104857600################################## Log Basics###################################kafka存储消息数据的目录log.dirs=../data

#每个topic默认的partitionnum.partitions=1#设置副本数量为3,当Leader的Replication故障，会进行故障自动转移。default.replication.factor=3#在启动时恢复数据和关闭时刷新数据时每个数据目录的线程数量num.recovery.threads.per.data.dir=1################################## Log FlushPolicy ##################################消息刷新到磁盘中的消息条数阙值log.flush.interval.messages=10000#消息刷新到磁盘中的最大时间间隔,1slog.flush.interval.ms=1000################################## Log RetentionPolicy ###################################日志保留小时数，超时会自动删除，默认为7天log.retention.hours=168#日志保留大小，超出大小会自动删除，默认为1Glog.retention.bytes=1073741824#日志分片策略，单个日志文件的大小最大为1G，超出后则创建一个新的日志文件log.segment.bytes=1073741824#每隔多长时间检测数据是否达到删除条件,300slog.retention.check.interval.ms=300000################################## zookeeper###################################zookeeper连接信息，如果是zookeeper集群，则以逗号隔开zookeeper.connect=10.0.0.101:2181,10.0.0.102:2181,10.0.0.103:2181

#连接zookeeper的超时时间，6szookeeper.connection.timeout.ms=6000#是否允许删除topic，默认为false，topic只会标记为marked for deletiondelete.topic.enable=true

3.各节点部署Kafka

#在所有节点上执行安装java[root@node1 ~]#apt install openjdk-8-jdk -y#在所有节点上执行下载，官方下载[root@node1 ~]#wget https://downloads.apache.org/kafka/3.3.1/kafka_2.13-3.3.1.tgz[root@node1 ~]#wget https://archive.apache.org/dist/kafka/2.7.0/kafka_2.13-2.7.0.tgz#解压缩[root@node1 ~]#tar xf kafka_2.13-2.7.0.tgz -C /usr/local/[root@node1 ~]#ln -s /usr/local/kafka_2.13-2.7.0/ /usr/local/kafka#配置PATH变量[root@node1 ~]#echo 'PATH=/usr/local/kafka/bin:SPATH' >/etc/profile.d/kafka.sh[root@node1 ~]#. /etc/profile.d/kafka.sh#修改配置文件[root@node1 ~]#vim /usr/loca1/kafka/config/server.propertiesbroker.id=1#每个broker在集群中每个节点的正整数唯一标识，此值保存在1og.dirs下的meta.properties文件listeners=PLAINTEXT://10.0.0.101:9092#指定当前主机的IP做为监听地址,注意:不支持0.0.0.0log.dirs=/usr/loca1/kafka/data #kakfa用于保存数据的目录，所有的消息都会存储在该目录当中num.partitions=1#设置创建新的topic时默认分区数量,建议和kafka的节点数量一致default.replication.factor=3#指定默认的副本数为3，可以实现故障的自动转移log.retention.hours=168#设置kafka中消息保留时间，默认为168小时即7天zookeeper.connect=10.0.0.101:2181,10.0.0.102:2181,10.0.0.103:2181#指定连接的zk的地址,zk中存储了broker的元数据信息zookeeper.connection.timeout.ms=6000#设置连接zookeeper的超时时间，单位为ms ,默认6秒钟#准备数据目录[root@node1 ~]#mkdir /usr/local/kafka/data[root@node1 ~]#scp /usr/local/kafka/config/server.properties 10.0.0.102:/usr/1ocal/kafka/config[root@node1 ~]#scp /usr/local/kafka/config/server.properties 10.0.0.103:/usr/local/kafka/config#修改第2个节点配置[root@node2~]#vim /usr/local/kafka/config/server.propertiesbroker.id=2    每个broker在集群中的唯一标识，正整数。
listeners=PLAINTEXT://10.0.0.102:9092   指定当前主机的IP做为监听地址,注意:不支持0.0.0.0

#修改第2个节点配置[root@node3~]#vim /usr/local/kafka/config/server.propertiesbroker.id=3    每个broker在集群中的唯一标识，正整数。
listeners=PLAINTEXT://10.0.0.103:9092   指定当前主机的IP做为监听地址,注意:不支持0.0.0.0

#可以调整内存[root@node1 ~]#vim /usr/local/kafka/bin/kafka-server-start.sh......
if["×$KAFKA_HEAP_OPTs"="x"];thenexportKAFKA_HEAP_OPTS=" -Xmx1G -xms16"fi.....

4.启动服务

在所有kafka节点执行下面操作

[root@node1 ~-]#kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties

5.确保服务启动

[root@node1 ~]#ss -ntl|grep 9092
LISTEN  050[: :ffff:10.0.0.101]:9092[root@node1 ~]#tail /usr/local/kafka/logs/server.log[2024-02-16 12:10:01,276] INFO [ExpirationReaper-1-AlterAc1s]: starting
(kafka.server.DelayedoperationPurgatory$ExpiredoperationReaper)[2024-02-16 12:10:01,311] INFO [/config/changes-event-process-thread]: starting(kafka . common.zkNodechangeNotificationListener$changeEventProcessThread)[2024-02-16 12:10:01,332] INFO [Socketserver brokerId=l] starting socket server acceptors and processors(kafka.ne twork. socketserver)[2024-02-16 12:10:01,339] INFO [socketserver brokerTd=1] started data-plane acceptor and processor(s) forendpoint : ListenerName(PLAINTEXT)(kafka.ne twork. Socketserver)[2024-02-16 12:10:01,340] INFO [socketserver brokerTd=1] started socket server acceptors and processors(kafka. network. Socketserver)[2024-02-16 12:10:01,344] INFO Kafka version: 2.7.0 (org.apache.kafka.common .uti1s.AppInfoParser)[2024-02-16 12:10:01,344] INFO Kafka commitId: 448719dc99a19793 (org.apache.kafka.common.uti1s.AppInfoParser)[2024-02-16 12:10:01,344]INFO Kafka startTimews: 1613448601340(org.apache .kafka .common.uti1s.AppInfoParser)[2024-02-16 12:10:01,346] INFo [Kafkaserver id=1] started (kafka. server.KafkaServer)[2024-02-16 12:10:01,391] IMFO [broker-1-to-controller-send-thread]: Recorded new controller，from now on wi11use broker 1(kafka.server . BrokerTocontro1lerRequestThread)#如果使用id,还需要修改/usr/loca1/ kafka/data/meta.properties#打开zooinspector可以看到三个id

Broker依赖于Zookeeper，
  每个Broker的id和Topic、Partition这些元数据信息都会写入Zookeeper的ZNode节点中

consumer依赖于Zookeeper,
  Consumer在消费消息时，每消费完一条消息，会将产生的offset保存到Zzookeeper中，
  下次消费在当前offset往后继续消费.kafka0.9之前Consumer的offset存储在Zookeeper中，
  kafka0.9以后offset存储在本地。
  
Partition依赖于Zookeeper，
  Partition完成Replication备份后，选举出一个Leader，这个是依托于Zookeeper的选举机制实现的。

准备Kafka的service文件
/lib/systemd/ system/ kafka.service

[root@node1 ~]#cat /lib/systemd/system/kafka.service[Unit]Description=Apache kafka
After=network.target

[Service]Type=simple
#Environment=AVA_HOME=/data/server/javaPIDFile=/usr/local/kafka/ kafka.pid
Execstart=/usr/local/kafka/bin/kafka-server-start.sh   /usr/local/kafka/config/server. propertiesExecstop=/bin/kill  -TERM${MAINPID}Restart=always
Restartsec=20[Install]wantedBy=multi-user.target

[root@node1 ~]#systemctl daemon-load[root@node1 ~]#systemctl restart kafka.service

Kafka读写数据

常见命令
kafka-topics.sh               #消息的管理命令
kafka-console-producer.sh     #生产者的模拟命令
kafka-console-consumer.sh     #消费者的模拟命令

创建Topic

创建topic名为wang,partitions(分区)为3，replication(每个分区的副本数/每个分区的分区因子)为2

#新版命令[root@node1 ~]#/usr/loca1/kafka/bin/kafka-topics.sh --create --topic wang --bootstrap-server 10.0.0.101:9092 --partitions 3 --replication-factor 2#在各节点上观察生成的相关数据[root@node1 ~]#ls /usr/local/kafka/data/[root@node2 ~]#ls /usr/local/kafka/data/[root@node3 ~]#ls /usr/local/kafka/data/#旧版命令[root@node1 ~]#/usr/loca1/kafka/bin/kafka-topics.sh --create --zookeeper10.0.0.101:2181,10.0.0.102:2181,10.0.0.103:2181 --partitions3 --replication-factor 2--topic wang
created topic wang.

获取Topic

#新版命令[root@node1 ~]#/usr/local/kafka/bin/kafka-topics.sh --list --bootstrap-server 10.0.0.101:9092#旧版命令[root@node1 ~]#/usr/local/kafka/bin/kafka-topics.sh --list --zookeeper10.0.0.101:2181,10.0.0.102 :2181,10.0.0.103:2181
wang

验证Topic详情

状态说明: wang有三个分区分别为0、1、2，分区0的leader是3(broker.id);分区0有2个副本，并且状态都为 Isr (In-sync，表示可以参加选举成为leader) .

#新版命令[root@node1 ~]#/usr/local/kafka/bin/kafka-topics.sh --describe --bootstrap-server 10.0.0.101:9092 --topi cwang
Topic: wang TopicId: beg6bPXwTowlyp7cuv7F8w PartitionCount: 3  ReplicationFactor: 2   configs:
    Topic: wang Partition: 0   Leader: 3   Replicas: 3,1  ISr: 3,1
    Topic: wang Partition: 1   Leader: 1   Replicas: 1,2  Isr: 1,2
    Topic: wang Partition: 2   Leader: 2   Replicas: 2,3  Isr: 2,3#旧版命令[root@node1 ~]#/usr/local/kafka/bin/kafka-topics.sh --describe --zookeeper10.0.0.101:2181,10.0.0.102:2181,10.0.0.103:2181 --topic wang
Topic: wang Partitioncount: 3  ReplicationFactor: 2  configs:
    Topic: wang Partition:0    Leader: 3   Replicas: 3,2  Isr: 3,2
    Topic: wang Partition:1    Leader: 1   Replicas: 1,3  Isr: 1,3
    Topic: wang Partition:2    Leader: 2   Replicas: 2,1  Isr: 2,1

生成Topic

kafka-console-producer.sh格式

#发送消息命令格式:
kafka-console-producer.sh --broker-1ist <kafkaIP1>:<端口>,<kafkaIP2> :<端口>--topic<topic名称>

范例

#交互式输入消息,按ctr1+C退出[root@node1 ~]#/usr/local/kafka/bin/kafka-console-producer.sh --broker-list10.0.0.101:9092,10.0.0.102:9092,10.0.0.103:9092 --topic wang
>message1
>message2
>message3

#或者下面方式[root@node1 ~]#/usr/local/kafka/bin/kafka-console-producer.sh --topic wang --bootstrap-server 10.0.0.101:9092

消费Topic

kafka-console-consumer.sh格式

#接收消息命令格式:
kafka-console-consumer.sh --bootstrap-server <host>:<post>--topic<topic名称> --from-beginning --consumer-property group.id=<组名称>

注意:
  ·生产者先生产消息，消费者后续启动也能收到之前生产的消息
  
  ·同一个消息在同一个group内的消费者只有被一个消费者消费，
   比如:共100条消息，在一个group内有A，B两个消费者，其中A消费50条，B消费另外的50条消息。
   从而实现负载均衡，不同group内的消费者则可以同时消费同一个消息
   
  ·--from-beginning表示消费前发布的消息也能收到，默认只能收到消费后发布的新消息

#交互式持续接收消息,按Ctrl+C退出[root@node1 ~]#/usr/local/kafka/bin/kafka-console-consumer.sh --topic wang --bootstrap-server 10.0.0.102:9092 --from-beginning
message1
message3
message2

#一个消息同时只能被同一个组内一个消费者消费（单播机制)，实现负载均衡，而不能组可以同时消费同一个消息（多播机制)[root@node2~]#/usr/local/kafka/bin/kafka-console-consumer.sh --topic wang --bootstrap-server 10.0.0.102:9092 --from-beginning --consumer-property group.id=group1[root@node2~]#/usr/local/kafka/bin/kafka-console-consumer.sh --topic wang --bootstrap-server 10.0.0.102:9092 --from-beginning --consumer-property group.id=group1

删除 Topic

#注意:需要修改配置文件server.properties中的delete.topic.enable=true并重启#新版本[root@node3 ~]#/usr/local/kafka/bin/kafka-topics.sh --delete --bootstrap-server10.0.0.101:9092,10.0.0.102:9092,10.0.0.103:9092 --topic wang#旧版本[root@node3 ~-]#/usr/local/kafka/bin/kafka-topics.sh --delete --zookeeper10.0.0.101:2181,10.0.0.102:2181,10.0.0.103:2181 --topic wang
Topic wang is marked for deletion.
Note: This will have no impact if delete.topic.enable is not set to true.

范例:删除zk下面topic test

#无需修改配置文件server.properties，此方法很危险[root@zookeeper-node1 ~]#zkCli.sh -server 10.0.0.103:2181[zk: 10.0.0.103:2181(CONNECTED)0]ls /brokers/topics
[zk: 10.0.0.103:2181(CONNECTED)0] delete all /brokers/topics/test
[zk: 10.0.0.103:2181(CONNECTED)0]ls /brokers/topics