0


不同策略下的Kafka主题创建

一、背景

  创建主题时,Topic的Partition自动划分时,默认根据节点及磁盘上已有的Partition数进行均衡划分,如果期望根据磁盘容量进行Partition划分,那么需要修改Kafka服务配置“log.partition.strategy”为“capacity”。

    Kafka创建Topic时,支持基于**“机架感知”** 和** “跨AZ特性” **两种选项组合生成分区及副本的分配方案且支持 “--zookeeper” 和 “--bootstrap-server”两种方式。所以,禁用还是启用这两种组合,就形成了**四种策略**

什么是“机架感知”?

什么是“跨AZ特性”?

二、策略分享

①用机架策略 & 禁用跨AZ特性 (默认策略)

基于此策略新建的Topic的副本会完全随机分配到集群中任意节点上

  • ./kafka-topics.sh --create --topic 主题名称 --partitions 主题占用的分区数 --replication-factor 主题的备份数 --zookeeper ZooKeeper的任意一个节点的业务IP:clientPort/kafka

  • ./kafka-topics.sh --create --topic 主题名称 --partitions 主题占用的分区数 --replication-factor 主题的备份数 --bootstrap-server Kafka集群IP:21007 --command-config ../config/client.properties

      其中,使用“--bootstrap-server”方式创建Topic时,需配置“rack.aware.enable=false”和“az.aware.enable=false”。
    

②启用机架策略 & 禁用跨AZ特性

    基于此策略新建的Topic的各个Partition的Leader会在集群节点上随机分配,但会确保同一Partition的不同Replica会分配在不同的机架上,所以当使用此策略时,需保证各个机架内的节点个数一致,否则会导致节点少的机架上的机器负载远高于集群平均水平。
  • ./kafka-topics.sh --create --topic 主题名称 --partitions 主题占用的分区数 --replication-factor 主题的备份数 --zookeeper ZooKeeper的任意一个节点的业务IP:clientPort/kafka --enable-rack-aware

  • ./kafka-topics.sh --create --topic 主题名称 --partitions 主题占用的分区数 --replication-factor 主题的备份数 --bootstrap-server Kafka集群IP:21007 --command-config ../config/client.properties

      其中,使用 “--bootstrap-server”方式创建Topic时,需配置“rack.aware.enable=true”和“az.aware.enable=false”。
    

③禁用机架策略 & 启用跨AZ特性
基于此策略新建的Topic的各个Partition的Leader会在集群节点上随机分配,但会确保同一Partition的不同Replica会分配在不同的AZ上,所以当使用此策略时,需保证各个AZ内的节点个数一致,否则会导致节点少的AZ上的机器负载远高于集群平均水平。

  • ./kafka-topics.sh --create --topic 主题名称 --partitions 主题占用的分区数 --replication-factor 主题的备份数 --zookeeper ZooKeeper的任意一个节点的业务IP:clientPort/kafka --enable-az-aware

  • ./kafka-topics.sh --create --topic 主题名称 --partitions 主题占用的分区数 --replication-factor 主题的备份数 --bootstrap-server Kafka集群IP:21007 --command-config ../config/client.properties

      其中,使用 “--bootstrap-server”方式创建Topic时,需配置“rack.aware.enable=false”和“az.aware.enable=true”。
    

④启用机架策略 & 启用跨AZ特性
基于此策略新建的Topic的各个Partition的Leader会在集群节点上随机分配,但会确保同一Partition的不同Replica会分配到不同AZ内的不同RACK上,使用此策略需保证每个AZ内的每个RACK上的节点个数一致,否则会导致集群内负载不均衡。

  • ./kafka-topics.sh --create --topic 主题名称 --partitions 主题占用的分区数 --replication-factor 主题的备份数 --zookeeper ZooKeeper的任意一个节点的业务IP:clientPort/kafka --enable-rack-aware --enable-az-aware

  • ./kafka-topics.sh --create --topic 主题名称 --partitions 主题占用的分区数 --replication-factor 主题的备份数 --bootstrap-server Kafka集群IP:21007 --command-config ../config/client.properties

      使用 “--bootstrap-server”方式创建Topic时,需配置“rack.aware.enable=true”和“az.aware.enable=true”。
    

三、特别说明

    Kafka创建Topic支持 “--zookeeper” 和 “--bootstrap-server”两种方式,区别如下:

    “--zookeeper”方式由客户端生成副本分配方案,社区从一开始就支持这种方式,为了降低对Zookeeper组件的依赖,社区将在后续版本中删除对这种方式的支持。基于这种方式创建Topic时,可以通过 "--enable-rack-aware" 和 “--enable-az-aware”这两个选项自由组合来选用副本分配策略。注意:使用“--enable-az-aware”选项的前提是服务端开启了跨AZ特性,即服务端启动参数“az.aware.enable”为“true”,否则会执行失败。

     “--bootstrap-server”方式由服务端生成副本分配方案,后续版本,社区将只支持这种方式来进行Topic管理。基于这种方式创建Topic时,不支持 "--enable-rack-aware" 和 "--enable-az-aware"选项来控制副本分配策略,支持 “rack.aware.enable”和“az.aware.enable”这两个服务启动参数组合来控制副本分配策略,需注意的是“az.aware.enable”参数不可修改,在创建集群时,如果开启跨AZ特性,会自动配置为“true”;“rack.aware.enable”参数支持用户自定义修改。
标签: kafka 分布式

本文转载自: https://blog.csdn.net/X2469974125/article/details/140111213
版权归原作者 红星光芒照山谷 所有, 如有侵权,请联系我们删除。

“不同策略下的Kafka主题创建”的评论:

还没有评论