0


kafka 集群 Controller 节点和 zookeeper 集群 leader 节点有何区别联系?

kafka 集群 Controller 节点和 zookeeper 集群 leader 节点有何区别联系?

Kafka 集群中的 Controller 节点和 ZooKeeper 集群中的 Leader 节点在角色和功能上有明显的区
别,但它们之间也有一定的联系。以下是它们的详细区别和联系:

Kafka 集群中的 Controller 节点

角色和功能:
  1. 管理任务:- Kafka Controller 负责集群范围内的管理任务,包括 Topic 和 Partition 的管理、Leader 选举、 Replica 分配等。- 当新的 Broker 加入集群或 Broker 发生故障时,Controller 负责处理这些事件,确保集群的正常运行。
  2. Leader 选举:- Controller 负责为每个 Partition 选举一个 Leader。- 当一个 Partition 的 Leader 发生故障时,Controller 从 In-Sync Replica (ISR) 列表中选举新的 Leader。
  3. 分区和副本管理:- Controller 负责维护和管理每个 Partition 的状态,并确保副本之间的数据同步。
选举机制:
  • Controller 选举通过 ZooKeeper 实现。每个 Kafka Broker 在启动时都会尝试创建 ZooKeeper 的 /controller 节点,第一个成功创建该节点的 Broker 成为 Controller。
  • 代码示例
// ControllerElection.scalaclassControllerElection(zooKeeperClient:KafkaZkClient){
   
  def elect:Int={
   
    val currentControllerId =getControllerId()if(currentControllerId ==-1){
   
      val newControllerId =electController

本文转载自: https://blog.csdn.net/yaoqiancuo3276/article/details/139890248
版权归原作者 将臣三代 所有, 如有侵权,请联系我们删除。

“kafka 集群 Controller 节点和 zookeeper 集群 leader 节点有何区别联系?”的评论:

还没有评论