skywalking agent使用kafka数据传输

安装Zookeeper

• 下载相应版本的zookeeper
• 解压文件tar -vxzf apache-zookeeper-3.8.0-bin.tar.gz
• 进入conf目录下，复制zoo_sample.cfg文件，这个是官方提供的配置样例，我们修改复制的文件名称未zoo.cfg。
• 进入bin目录，启动zookeepersh zkServer.sh start

安装Kafka

• 下载对应版本的kafka
• 解压文件tar -zxvf kafka_2.12-3.4.0.tgz
• 修改config/server.properties文件listeners=PLAINTEXT://:9092zookeeper.connect=localhost:2181
• 启动kafkabin/kafka-server-start.sh -daemon config/server.properties

启动项目

服务层

• 修改config/application.yml

相关参数根据kafka配置来。

• 启动sykwalking

bin/startup.sh

• 检查kafka连接状态./kafka-topics.sh --bootstrap-server localhost:9092 --list

相关的Topic已经成功创建则表示服务端启动成功。

探针层

• 将 optional-reporter-plugins目录下kafka-reporter-plugin-8.8.0.jar移动到plugins下。
• 修改agent.conf文件

• 重新启动应用。
• 检查消息发送与消费

./kafka-consumer-groups.sh --describe --bootstrap-server 127.0.0.1:9092 --group skywalking-consumer

.0.1:9092 --group skywalking-consumer

[外链图片转存中...(img-PxegJD4n-1684142365290)]

如果LOG-END-OFFSET表示消息投递数，如果CURRENT_OFFSET表示当前消费偏移量。