1.消息中间件简介
消息中间件(Message Middleware)是一种在分布式系统中用于解耦不同服务或组件的软件,它通过异步消息传递的方式来实现服务之间的通信。消息中间件允许系统组件之间通过发送和接收消息进行交互,而无需知道彼此的具体实现细节,从而提高了系统的可扩展性、灵活性和可靠性。
关键特性:
- 异步通信:消息发送者不需要等待接收者的即时响应,可以继续执行其他任务;
- 解耦:消息中间件降低了服务之间的耦合度,使得各个服务可以独立开发和部署;
- 可靠传输:消息中间件通常提供消息持久化功能,确保消息不会因系统故障而丢失;
- 负载均衡:消息中间件可以平衡不同服务之间的负载,避免单个服务的过载;
- 消息排序:保证消息按照特定的顺序进行处理;
- 事务管理:支持事务性消息,确保消息处理的原子性、一致性、隔离性和持久性(ACID特性)。
常见使用场景:
- 应用解耦:在不同的服务或应用之间传递消息,降低它们之间的直接依赖;
- 事件驱动架构:在事件驱动的系统中,消息中间件作为事件总线,传递事件消息;
- 分布式系统:在分布式环境中,消息中间件用于服务间的通信;
- 大数据处理:在数据分析和处理系统中,消息中间件用于收集和分发大量数据;
- 微服务架构:微服务之间通过消息中间件进行通信,实现服务的独立性和动态扩展。
常见消息中间件:
- Apache Kafka:适用于高吞吐量、可扩展的分布式消息系统;
- RabbitMQ:基于AMQP协议的开源消息代理软件,适用于复杂的消息路由;
- ActiveMQ:也是一个基于JMS的开源消息代理,支持多种跨语言的通讯协议;
- Amazon SQS:亚马逊提供的简单队列服务,适用于云环境中的消息队列;
- Apache Pulsar:是一个用于服务器到服务器的消息传递系统,具有高吞吐量、低延迟的特点。
消息模型:
- 点对点(Point-to-Point):消息从一个发送者发送到一个接收者;
- 发布/订阅(Publish/Subscribe):消息从一个发送者发送到多个接收者;
- 请求/回复(Request/Reply):发送者发送消息并等待接收者的响应。
2.Kafka介绍
Kafka是一个由LinkedIn公司开发的分布式流处理平台,它具有高吞吐量、可扩展性强、可持久化、可容错等特点,被广泛用于构建实时的数据管道和流式应用程序。Kafka的消息模型主要基于发布/订阅(Publish/Subscribe)模式,但也包含了点对点(Point-to-Point)模型的某些特性。
发布/订阅模型:
- 主题(Topics):在Kafka中,消息被发布到称为“主题”的类别中。主题类似于消息队列,但它可以拥有多个订阅者;
- 生产者(Producers):生产者是发布消息到Kafka主题的实体。生产者可以选择将消息发送到主题内的任何一个分区;
- 消费者(Consumers):消费者是订阅主题并读取消息的实体。在Kafka中,消费者可以是属于消费者组的一部分;
- 消费者组(Consumer Groups):消费者组是一组消费者的集合,它们共同消费一个主题的消息,但每个消费者只能消费到消息的一个子集。Kafka确保每个分区只由消费者组中的一个消费者来消费,以避免重复消费;
- 代理(Broker):Kafka集群中的服务器,存储数据并处理客户端的请求;
- ZooKeeper:Kafka使用ZooKeeper来协调broker,并保持集群配置的一致性。
架构:
分区(Partitions):
- 消息分区:一个主题可以有一个或多个分区,每个分区是一个有序且不可变的消息序列。分区内的每条消息都会被分配一个顺序的、不可变的ID,称为偏移量(Offset)。
- 分区副本:为了提高可用性,Kafka允许为每个分区创建多个副本,这些副本分布在不同的broker上。副本分为领导者副本(Leader)和跟随者副本(Follower),生产者和消费者只与领导者副本交互,跟随着副本只是被动跟随。
发布/订阅消息模型的特点:
- 持久化:Kafka将消息持久化到磁盘,即使在系统故障的情况下也不会丢失消息;
- 高吞吐量:通过分区和并行处理,Kafka能够处理大量的消息;
- 可扩展性:可以轻松地向Kafka集群添加更多的broker,无需停机,以增加处理能力;
- 容错性:通过副本机制,Kafka能够在broker失败的情况下继续工作;
- 有序性:在单个分区内部,消息是有序的,消费者按照顺序读取消息。在分区内部,消息是有序的,在不同的分区之间,消息的顺序是不保证的,如果需要全局有序,则只能使用单个分区。
3.Kafka安装
百度网盘链接:kafka_2.13-3.7.1.tgz
Windows安装
前提条件: Java环境(JDK 1.8或更高版本)
- 下载Kafka: 从Kafka官网下载下载Windows版本的Kafka
- 解压Kafka安装包: 将下载的Kafka压缩包解压到一个目录下,调整一下目录,把
kafka_2.13-3.7.1
改成kafka
,其中bin文件夹里还有个windows文件夹,是Windows使用的脚本文件 - 启动Zookeeper服务: Kafka本身包含了Zookeeper启动Zookeeper之前先配置一下,在config文件夹下
zookeeper.properties
文件,主要修改下面两项# 数据存储dataDir=E:/projects/Kafka/kafka/zookeeper-data# 日志文件dataLogDir=E:/projects/Kafka/kafka/zookeeper-logs
命令行进入/bin/windows
目录下,启动,没有报错停止就是启动成功了zookeeper-server-start.bat ../../config/zookeeper.properties
- 启动Kafka服务:启动Kafka之前也要配置一下,在config文件夹下
server.properties
文件# 集群模式下,每台Kafka服务器需要一个唯一的broker.id值broker.id=0# 日志文件log.dirs=E:/projects/Kafka/kafka/kafka-logs# zookeeper连接zookeeper.connect=localhost:2181# 端口(不用改)listeners=PLAINTEXT://:9092
另起命令行窗口,进入/bin/windows
目录下,然后运行以下命令,没有报错停止就是启动成功了kafka-server-start.bat ../../config/server.properties
Linux(CentOS7)安装
前提条件: Java环境(JDK 1.8或更高版本)
- 下载Kafka: 从Kafka官网下载下载,右键复制链接
- 通过wget下载:
wget https://downloads.apache.org/kafka/3.7.1/kafka_2.13-3.7.1.tgz
- 解压Kafka安装包:
tar-xzf kafka_2.13-3.7.1.tgz -C /usr/localmv /usr/local/Kafka/kafka_2.13-3.7.1 /usr/local/kafka
- 启动Zookeeper服务: Kafka本身包含了Zookeeper启动Zookeeper之前先配置一下,在config文件夹下
zookeeper.properties
文件,主要修改下面两项# vim编辑zookeeper配置文件vi /usr/local/kafka/config/zookeeper.properties# i进入编辑i# esc退出编辑esc# 保存退出:qw# 数据存储dataDir=/usr/local/kafka/zookeeper-data# 日志文件dataLogDir=/usr/local/kafka/zookeeper-logs
进入/bin
目录下,启动,没有报错停止就是启动成功了cd /usr/local/kafka/binzookeeper-server-start.sh -daemon /usr/local/kafka/config/zookeeper.properties
- 启动Kafka服务:启动Kafka之前也要配置一下,在config文件夹下
server.properties
文件,# 集群模式下,每台Kafka服务器需要一个唯一的broker.id值broker.id=0# 日志文件log.dirs=/usr/local/kafka/kafka-logs# zookeeper连接zookeeper.connect=localhost:2181# 端口(不用改)listeners=PLAINTEXT://:9092
另起命令行窗口,进入/bin
目录下,然后运行以下命令,没有报错停止就是启动成功了cd /usr/local/kafka/binkafka-server-start.sh -daemon /usr/local/kafka/config/zookeeper.properties
Docker安装
前提条件: Java环境(JDK 1.8或更高版本),确保安装了Docker
- 拉取ZooKeeper镜像(Kafka依赖ZooKeeper):
docker pull wurstmeister/zookeeper
- 拉取Kafka镜像: 使用以下命令拉取最新的Kafka镜像:
docker pull wurstmeister/kafka
- 启动ZooKeeper容器: 容器启动起来就成功了
docker run -d--name zookeeper -p2181:2181 -t wurstmeister/zookeeper
- 启动Kafka容器:容器启动起来就成功了
docker run -d--name kafka -p9092:9092 --link zookeeper:zookeeper --envKAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 --envKAFKA_ADVERTISED_LISTENERS=PLAINTEXT://localhost:9092 --envKAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 --envKAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR=1 wurstmeister/kafka
---name kafka
: 设置容器的名字为“kafka”。--p 9092:9092
: 将容器的9092端口映射到宿主机的9092端口。---link zookeeper:zookeeper
: 连接到名为“zookeeper”的另一个Docker容器,并且在当前的容器中可以通过zookeeper这个别名来访问它。---env KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181
: 设置环境变量,指定ZooKeeper的连接字符串。---env KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://localhost:9092
: 设置环境变量,指定Kafka的advertised listeners。---env KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092
: 设置环境变量,指定Kafka的listeners。---env KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR=1
: 设置环境变量,指定offsets topic的副本因子。-wurstmeister/kafka
: 使用的Docker镜像名字。
4.可视化工具kafka-eagle的安装
百度网盘链接:kafka-eagle-bin-3.0.1.tar.gz
Windows安装
大部分借鉴大佬的安装,做个记录方便以后查看,原文地址
前提条件
- Kafka已经安装并运行
- Java环境(JDK 1.8或更高版本)
- MySQL数据库(用于存储Kafka-Eagle的元数据)
- 下载Kafka-Eagle:Kafka-Eagle官网Github地址
- 解压Kafka-Eagle安装包: 将下载的Kafka-Eagle压缩包解压到一个目录下,可以修改一下目录
- 配置两个环境变量: JDK(
JAVA_HOME
)和Kafka-Eagle(KE_HOME
),以Kafka-Eagle为例: - 创建数据库(MySQL)
ke
,启动项目会自动创建表 - 为了能监控Kafka数据,Kafka需要开启JMX,对外暴露更多数据,方便某些监控之类的插件来使用,修改
\kafka\bin\windows
目录下的kafka-server-start.bat
脚本,然后重启Kafka# 在35行下面另起一行添加如下setJMX_PORT=9999
- 配置Kafka-Eagle: 编辑
E:\projects\Kafka\kafka-eagle\efak-web-3.0.1\conf\system-config.properties
文件,配置Kafka和数据库信息:# 配置Zookeeper(5行附近)efak.zk.cluster.alias=cluster1cluster1.zk.list=localhost:2181#cluster2.zk.list=xdn10:2181,xdn11:2181,xdn12:2181# 配置JXM地址(59行附近)cluster1.efak.jmx.uri=service:jmx:rmi:///jndi/rmi://localhost:9999/jmxrmi# 配置MySQL数据库(124行附近)efak.driver=com.mysql.cj.jdbc.Driverefak.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNullefak.username=rootefak.password=123456# 配置sqlite数据库(116行附近),和MySQL二选一efak.driver=org.sqlite.JDBCefak.url=jdbc:sqlite:/hadoop/kafka-eagle/db/ke.dbefak.username=rootefak.password=www.kafka-eagle.org
- 进入
bin
目录,运行以下命令ke.bat start
- 访问Kafka-Eagle Web界面: 打开浏览器,访问
http://localhost:8048/
,使用默认用户名admin
和密码123456
登录。
在安装过程中出现三个问题
- Tomcat日志输出乱码解决:在
efak-web-3.0.1\kms\conf
目录下修改logging.properties
配置文件,将Tomcat日志输出编码改为GBK# 大概在51行,将UTF-8改为GBKjava.util.logging.ConsoleHandler.encoding = GBK
- MySQL时区异常解决:用
root
用户设置时区set global time_zone='+8:00';
- 表缺失,下载建表sql脚本,百度网盘链接:kafka-eagle-createTable.sql
Linux(CentOS7)安装
前提条件
- Kafka已经安装并运行
- Java环境(JDK 1.8或更高版本)
- MySQL数据库(用于存储Kafka-Eagle的元数据)
- 下载Kafka-Eagle: 找到对应下载地址,右键复制链接,wget下载Kafka-Eagle官网Github地址
wget https://github.com/smartloli/kafka-eagle-bin/archive/v3.0.1.tar.gz
- 解压Kafka-Eagle安装包:
# 解压、移动目录等自己看着改,简洁一些就行tar -zxvf kafka-eagle-bin-3.0.1.tar.gz -d /usr/localmv /usr/local/kafka-eagle-bin-3.0.1 /usr/local/kafka-eaglecd /usr/local/kafka-eagletar -zxvf efak-web-3.0.1-bin.tar.gz
- 设置环境变量,在
/etc/profile
文件里# 使用vim编辑文件vi /etc/profile
设置环境# 设置值,根据自己文件位置设置export JAVA_HOME=/usr/local/jdk/java-1.8.0-openjdk-1.8.0.161-3.b14.el6_9.x86_64export JRE_HOME=${JAVA_HOME}/jreexport KE_HOME=/usr/local/kafka-eagle/efak-web-3.0.1-binexport CLASSPATH=$CLASSPATH:.:${JAVA_HOME}/lib:${JAVA_HOME}/jre/libexport PATH=${KE_HOME}/bin:${JAVA_HOME}/bin:${JAVA_HOME}/jre/bin:$PATH
使其生效# 退出,执行使其生效source /etc/profile
- 创建数据库(MySQL)
ke
,启动项目会自动创建表 - 配置Kafka-Eagle: 编辑
\usr\local\kafka-eagle\efak-web-3.0.1\conf\system-config.properties
文件,配置Kafka和数据库信息:# 配置Zookeeper(5行附近)efak.zk.cluster.alias=cluster1cluster1.zk.list=localhost:2181#cluster2.zk.list=xdn10:2181,xdn11:2181,xdn12:2181# 配置JXM地址(59行附近)cluster1.efak.jmx.uri=service:jmx:rmi:///jndi/rmi://localhost:9999/jmxrmi# 配置MySQL数据库(124行附近)efak.driver=com.mysql.cj.jdbc.Driverefak.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNullefak.username=rootefak.password=123456# 配置sqlite数据库(116行附近),和MySQL二选一# efak.driver=org.sqlite.JDBC# efak.url=jdbc:sqlite:/hadoop/kafka-eagle/db/ke.db# efak.username=root# efak.password=www.kafka-eagle.org
- 运行以下命令
cd /usr/local/kafka-eagle/efak-web-3.0.1./bin/ke.sh start
- 访问Kafka-Eagle Web界面: 打开浏览器,访问
http://xxxip:8048/
,使用默认用户名admin
和密码123456
登录。
Docker安装
- 拉取Kafka-Eagle镜像: 使用以下命令拉取Kafka-Eagle镜像:
docker pull soulstone/kafka-eagle
- 启动Kafka-Eagle容器:
docker run -d --name kafka-eagle -p 8048:8048 \-e ZK_HOSTS="zookeeper:2181" \-e KAFKA_EAGLE_URL="jdbc:mysql://localhost:3306/ke" \-e KAFKA_EAGLE_USER="root" \-e KAFKA_EAGLE_PASSWORD="123456" soulstone/kafka-eagle
请确保将MySQL的URL、用户名和密码替换为你自己的数据库信息。 - 访问Kafka-Eagle Web界面: 打开浏览器,访问
http://localhost:8048/
,使用默认用户名admin
和密码123456
登录。
5.Kafka消息队列的使用
SpringBoot整合Demo
- 创建两个Maven项目: 一个是生产者
KafkaProducerDemo
,用于发布消息,另一个是消费者KafkaConsumerDemo
,用于接受消息,两项目目录结构如下: - 引入依赖: 两个项目都在
pom.xml
中添加Spring Kafka的依赖,整个pom.xml如下<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd"> <modelVersion>4.0.0</modelVersion> <groupId>com.thkl</groupId> <artifactId>KafkaDemo</artifactId> <packaging>jar</packaging> <version>1.0-SNAPSHOT</version> <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>2.3.5.RELEASE</version> </parent> <dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> <version>2.3.5.RELEASE</version> </dependency> <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> <version>2.8.3</version> </dependency> <dependency> <groupId>org.projectlombok</groupId> <artifactId>lombok</artifactId> <version>1.18.10</version> </dependency> </dependencies> <build> </build></project>
- 配置Kafka: 两个项目都在
application.yml
中配置Kafka的属性,注意端口号别一样server: # 端口号 port: 8080spring: kafka: # Kafka服务器的地址和端口 bootstrap-servers: localhost:9092 consumer: # 消费者组的ID group-id: thkl-group
- 在KafkaProducerDemo中创建Kafka生产者:
@Service// 可以通过lombok的@AllArgsConstructor注解自动用构造函数注入Beans@AllArgsConstructorpublicclassKafkaProducerService{privateKafkaTemplate kafkaTemplate;publicvoidsendMessage(String message){ kafkaTemplate.send("thkl-topic", message);}}``````@RestController@AllArgsConstructorpublicclassKafkaProducerController{privateKafkaProducerService kafkaProducerService;// 发送消息接口@GetMapping("/send")publicStringsendMessage(String message){ kafkaProducerService.sendMessage(message);return"Message sent successfully";}}
- 在KafkaConsumerDemo中创建Kafka消费者:
@Servicepublic class KafkaConsumerService { // 使用@KafkaListener注解来创建Kafka消费者 @KafkaListener(topics = "thkl-topic", groupId = "thkl-group") public void receiveMessage(String message) { System.out.println("Received message: " + message); }}
- 启动类: 两项目都添加
@SpringBootApplicationpublic class KafkaApplication { public static void main(String[] args) { SpringApplication.run(KafkaApplication.class, args); }}
- 启动两个项目,端口号不可以一样,不然启动不起来在
KafkaProducerDemo
发布消息就可以在KafkaConsumerDemo
接收到消息了
KafkaTemplate 主要API
KafkaTemplate
是Spring Framework提供的一个用于简化Kafka消息发送的抽象类。它提供了一系列方法来发送消息到Kafka主题,包括同步发送、异步发送、发送消息和对象等。以下是一些主要的
KafkaTemplate
API方法:
- 同步发送 -
send(String topic, Object message)
: 发送一个对象到指定主题。-send(String topic, K key, V value)
: 发送一个键值对到指定主题。 - 异步发送 -
send(String topic, Object message, long timeout, TimeUnit unit)
: 异步发送一个对象到指定主题,并等待响应。-send(String topic, K key, V value, long timeout, TimeUnit unit)
: 异步发送一个键值对到指定主题,并等待响应。 - 发送消息和对象 -
send(String topic, Object message, Map<String, Object> headers)
: 发送一个对象到指定主题,并附带消息头。-send(String topic, K key, V value, Map<String, Object> headers)
: 发送一个键值对到指定主题,并附带消息头。 - 发送消息 -
send(String topic, Object message, String key)
: 发送一个对象到指定主题,并指定消息的键。-send(String topic, K key, V value)
: 发送一个键值对到指定主题。 - 发送对象 -
send(String topic, Object message)
: 发送一个对象到指定主题。 - 发送消息和对象(可选键) -
send(String topic, Object message, String key, Map<String, Object> headers)
: 发送一个对象到指定主题,并指定消息的键和消息头。-send(String topic, K key, V value, Map<String, Object> headers)
: 发送一个键值对到指定主题,并附带消息头。 - 发送消息(可选键) -
send(String topic, Object message, String key)
: 发送一个对象到指定主题,并指定消息的键。-send(String topic, K key, V value)
: 发送一个键值对到指定主题。 - 发送消息(可选键和消息头) -
send(String topic, Object message, String key, Map<String, Object> headers)
: 发送一个对象到指定主题,并指定消息的键和消息头。-send(String topic, K key, V value, Map<String, Object> headers)
: 发送一个键值对到指定主题,并附带消息头。 - 发送消息(消息头) -
send(String topic, Object message, Map<String, Object> headers)
: 发送一个对象到指定主题,并附带消息头。-send(String topic, K key, V value, Map<String, Object> headers)
: 发送一个键值对到指定主题,并附带消息头。 - 发送消息(键) -
send(String topic, Object message, String key)
: 发送一个对象到指定主题,并指定消息的键。-send(String topic, K key, V value)
: 发送一个键值对到指定主题。 - 发送消息(键和消息头) -
send(String topic, Object message, String key, Map<String, Object> headers)
: 发送一个对象到指定主题,并指定消息的键和消息头。-send(String topic, K key, V value, Map<String, Object> headers)
: 发送一个键值对到指定主题,并附带消息头。
注: 这些方法的具体实现可能会根据Kafka客户端版本和Spring Kafka版本有所不同。
版权归原作者 THKL 所有, 如有侵权,请联系我们删除。