kafka报错
报错信息一:
启动Kafka出现The Cluster ID doesn’t match stored clusterId错误
需要删除在kafka路径下面的logs里面的meta.properties,这是因为 cluster.id 不匹配
报错信息二:
ERROR org.apache.kafka.common.errors.InvalidReplicationFactorException: Replication factor: 2 larger than available brokers: 1.
(kafka.admin.TopicCommand$)
出现这个错误可以去查看kafka下面的 advertised 后面的ip是否匹配
还有 zookeeper后是否加后缀 在这里面zookeeper后面加了/kafka 因此在创建topic的时候要将这段加进去
加入之后就可以创建啦
解释:
advertised.listeners 的作用是告知 Kafka 服务器在与客户端通信时应使用的网络地址,这对于 Kafka 集群的部署和连接十分重要。
具体来说,advertised.listeners 配置项指定了 Kafka 服务器向外部公开的监听地址,使得外部客户端可以通过该地址连接 Kafka 集群并进行消息传递。如果没有正确设置 advertised.listeners,则可能会导致外部客户端无法连接 Kafka 集群,从而无法进行数据的传递和处理。
例如,在一个分布式系统中,可能会存在多个 Kafka 集群,其位于不同的网络环境中。此时,可以使用 advertised.listeners 来告知客户端应该连接哪一个 Kafka 集群,并在集群之间进行数据交换。
此外,advertised.listeners 还可以用于实现安全访问控制,例如使用 SSL 或 SASL 进行加密和认证,以保护 Kafka 集群的数据安全。
因此,正确配置 advertised.listeners 是 Kafka 部署和使用的重要组成部分,可以确保 Kafka 集群能够可靠地与外部客户端进行通信,并保障数据传输的安全性。
测试
*在完全分布式下启动kafka需要先启动zookeeper在启动三个集群,在依次启动三个kafka
kafka-server-start.sh config/server.properties
查看topic
- 创建一个topic
[root@master ~]# kafka-topics.sh --create --zookeeper master:2181,slave1:2181,slave2:2181 --topic hello --partitions 1 --replication-factor 2
查看创建的topic[root@master ~]# kafka-topics.sh --list --zookeeper master:2181,slave1:2181,slave2:2181hello
- 在master上创建一个生产者
[root@master ~]# kafka-console-producer.sh --broker-list master:9092,slave1:9092,slave2:9092 --topic hello>hello kafka>
- 在slave1上创建消费者
[root@slave1 ~]# kafka-console-consumer.sh --topic hello --from-beginning --bootstrap-server master:9092,slave2:9092,slave1:9092hello kafka
版权归原作者 _zero_ABC 所有, 如有侵权,请联系我们删除。