如何查看Kafka的Topic消费情况

Linux kafka常用命令

1 kafka常用命令

1.1 启动kafka

nohup ./kafka-server-start.sh ../config/server.properties &&>/dev/null 2>&1 &

或者不指定日志输出位置和设置

./kafka-server-start.sh ../config/server.properties &

1.2 查看所有topic

./kafka-topics.sh --zookeeper 172.18.111.106:2181 --list

1.3 删除topic

./kafka-topics.sh --delete --zookeeper 172.18.111.106:2181 --topic audit_db_audit_data_topic

1.4 查看某一分组消费情况

./kafka-consumer-groups.sh --bootstrap-server 172.18.111.106:9092 --describe --group kafka_result_id

1.5 所有分组消费情况

./kafka-consumer-groups.sh --bootstrap-server 172.18.111.106:9092 --describe --all-groups

1.6 消费某一topic

./kafka-console-consumer.sh --bootstrap-server 172.18.111.106:9092 --topic task_result_topic --from-beginning

1.7 启动生产客户端

./kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic kfcs

1.8 查看某一topic的消费情况

./kafka-topics.sh --bootstrap-server 172.18.111.106:9092  --describe --topic xxxx

1.9 创建topic

./kafka-topics.sh --zookeeper localhost:2181 --create --topic test --partitions 1 --replication-factor 1

1.10 查看kafka版本号

进入kafka安装目录，然后执行以下命令

find ./libs/ -name \*kafka_\* | head -1 | grep -o '\kafka[^\n]*'

2.10为Scala版本，0.10.0.2.5.3.0为kafka版本

2 kafka0.10.0.2.5.3.0版本命令

查看所有topic
/usr/hdp/2.5.3.0-37/kafka/bin/kafka-topics.sh --zookeeper 2.zookeeper1 --list

查看topic
/usr/hdp/2.5.3.0-37/kafka/bin/kafka-topics.sh --zookeeper 2.zookeeper1 --describe --topic xxxx

查看消费者组
/usr/hdp/2.5.3.0-37/kafka/bin/kafka-consumer-groups.sh --zookeeper 2.zookeeper1 --list

查看消费者情况
/usr/hdp/2.5.3.0-37/kafka/bin/kafka-consumer-groups.sh --zookeeper 2.zookeeper1 --describe --group kafka_result_id

从某一时间开始消费某一topic
/usr/hdp/2.5.3.0-37/kafka/bin/kafka-console-consumer.sh --zookeeper 2.zookeeper1 --topic com_dbapp_odps_topic --reset-offsets --to-datetime 2023-05-18T00:00:00.000 -execute

从最开始开始消费某一topic
/usr/hdp/2.5.3.0-37/kafka/bin/kafka-console-consumer.sh --zookeeper 2.zookeeper1 --topic task_result_topic --from-beginning