一、MirrorMaker 2介绍
MirrorMaker 2(简称MM2)是Apache Kafka的一个工具,主要用于跨Kafka集群的数据复制和同步。相比早期的MirrorMaker 1(简称MM1),MirrorMaker 2在设计和功能上有了显著的提升,能够更好地适应生产环境的需求。
首先,MM2采用了并行复制的方式,能够实现高吞吐量的数据复制和同步,使得在大数据场景下也能保持高效性能。这使得MM2成为数据备份、灾难恢复、数据分析和实时处理等多种应用场景下的理想选择。
其次,MM2在数据同步方面具有很高的灵活性。它可以构建不同数据中心的主备两个集群容灾架构,实时同步两个集群的数据。当其中一个集群不可用时,可以将上面的应用程序切换到另一个集群,从而实现异地容灾功能。此外,MM2还可以将多个Kafka子集群的数据同步到一个中心Kafka集群,实现数据的汇聚。
二、mm2部署
Strimzi是一个孵化项目,旨在简化Kubernetes上Apache Kafka的部署。通过一组扩展Kubernetes API的操作符与Kafka交互,Strimzi提供了一种Kubernetes原生方式,以更轻松地在Kubernetes上配置、部署和操作Kafka。
本文简洁使用Strimzi部署mm2
具体含义理解可去官网学习
https://strimzi.io/documentation/
apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaMirrorMaker2
metadata:
name: my-mirror-maker-2
spec:
version: 3.7.0
replicas: 1
connectCluster: "cluster-b" # Must be the target custer
clusters:
- alias: "cluster-a" # Source cluster
bootstrapServers: my-cluster-kafka-bootstrap:9092
- alias: "cluster-b" # Target cluster
bootstrapServers: 10.10.101.114:32094
config:
# -1 means it will use the default replication factor configured in the broker
config.storage.replication.factor: -1
offset.storage.replication.factor: -1
status.storage.replication.factor: -1
mirrors:
- sourceCluster: "cluster-a"
targetCluster: "cluster-b"
sourceConnector:
tasksMax: 1
config:
# -1 means it will use the default replication factor configured in the broker
replication.factor: -1
offset-syncs.topic.replication.factor: -1
sync.topic.acls.enabled: "false"
refresh.topics.interval.seconds: 600 #broker刷新间隔
checkpointConnector:
tasksMax: 1
config:
# -1 means it will use the default replication factor configured in the broker
checkpoints.topic.replication.factor: -1
sync.group.offsets.enabled: "false"
refresh.groups.interval.seconds: 600
topicsPattern: ".*"
groupsPattern: ".*"
后续会更新,关注不迷糊
版权归原作者 深耕云原生 所有, 如有侵权,请联系我们删除。