0


python读取kafka数据

1,第一版本

要使用Python来读取Kafka的数据,可以使用第三方库

confluent-kafka-python

首先需要安装该库,可以通过运行以下命令进行安装:

pip install confluent-kafka

然后在Python中导入所需模块并创建一个消费者对象,指定要连接的Kafka集群地址、主题名称等信息:

from confluent_kafka import Consumer

Kafka集群地址

bootstrap_servers = 'localhost:9092'

主题名称

topic = 'my_topic'

创建消费者对象

consumer = Consumer({

 'bootstrap.servers': bootstrap_servers,

})

订阅主题

consumer.subscribe([topic])

while True:
# 从Kafka获取消息
msg = consumer.poll(1)

 if not msg is None and msg.error() is None:
     print('Received message: {}'.format(msg.value().decode()))
     
 elif not msg is None and msg.error():
     print('Error occurred while consuming messages: {}'.format
标签: kafka 分布式 python

本文转载自: https://blog.csdn.net/SPESEG/article/details/136532612
版权归原作者 小李飞刀李寻欢 所有, 如有侵权,请联系我们删除。

“python读取kafka数据”的评论:

还没有评论