【ETL工具】本地环境IDEA远程DEBUG调试Flume代码

🦄 个人主页——🎐个人主页 🎐✨🍁

🪁🍁🪁🍁🪁🍁🪁🍁 感谢点赞和关注 ，每天进步一点点！加油！🪁🍁🪁🍁🪁🍁🪁🍁

一、问题说明

Flume 自定义 HDFS-Sink，远程服务器进行部署flume打包好后的代码，本地监控远程flume程序端口，进行本地debug和学习Flume 整个运行流程和Event 数据结构学习。

二、操作步骤

2.1 bin/flume-ng 启动脚本配置

[root@hdp105 apache-flume-1.9.0-bin]# cat bin/flume-ng | grep JAVA_OPT
  $EXEC $JAVA_HOME/bin/java $JAVA_OPTS $FLUME_JAVA_OPTS "${arr_java_props[@]}" -cp "$FLUME_CLASSPATH" \
#JAVA_OPTS="-Xmx20m"
JAVA_OPTS="-Xmx1000m -Xdebug -Xrunjdwp:transport=dt_socket,address=8000,server=y,suspend=y"

2.2 idea创建远程调试

新增远程debug模式

选择 Remote 配置选项

填写flume 启动的服务器IP 和端口

远程启动flume程序，本地也启动该flume程序，打上断点。就可以了

bin/flume-ng  agent -n ipva_flume  --conf ./conf/  -f ./conf/traffic_ipva_DSCToHBase/traffic_ipva_DSCToHBase.conf -property "flume.monitoring.type=http;flume.monitoring.port=37242"

远程的flume 启动

文件放到source监控的路径

打上断点， 本地的flume 也启动，进入debug 模式，我们可以看到 如下 :headers和body中的数据