一:数据倾斜,导致各个分区数据不均匀。最终导致kafka堵塞,数据消费不动。
第一步:先停掉kafka中,上游和下游的代码,对分配数据较多的分区进行重新分配。
二:重新修改进入kafka的代码,防止进行后期继续发生数据倾斜。
可以设置一个新的列,根据这个列进行hash。
三:kafka默认自动存储在zk中。如果想存储到其他地方,例如mysql,需要手动进行修改。
本文转载自: https://blog.csdn.net/weixin_43446246/article/details/134268786
版权归原作者 宇智波云 所有, 如有侵权,请联系我们删除。
版权归原作者 宇智波云 所有, 如有侵权,请联系我们删除。