将flume的数据实时发送到spark streaming的部署文档

将flume的数据实时发送到spark streaming的部署文档

一、创建数据源文件
echo "hello world" >> /tmp/word.txt

二、安装flume
参考csdn文档
https://blog.csdn.net/weixin_43859091/article/details/123635082

三、编写spark.properties文件放置在/usr/local/flume/conf/spark.properties目录中
a1.sources = r1
a1.channels = c1
a1.sinks = k1
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /tmp/word.txt
a1.channels.c1.type = memory
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = 127.0.0.1
a1.sinks.k1.port =44444
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

四、下载spark2.4.8
https://mirrors.aliyun.com/apache/spark/spark-2.4.8/spark-2.4.8-bin-hadoop2.7.tgz
通过xftp上传到linux系统上，然后tar zxvf spark-2.4.8-bin-hadoop2.7.tgz解压
mv /root/spark-2.4.8-bin-hadoop2.7 /usr/local/spark2

五、配置环境变量
vim /etc/profile
export PYSPARK_PYTHON=python3
export SPARK_HOME=/usr/local/spark2
退出当前xshell，然后重新连接xshell

六、安装dos2unix
yum install -y dos2unix

 dos2unix /root/SparkStreamingFlume.py

八、启动streaming进程
/usr/local/spark2/bin/spark-submit /root/SparkStreamingFlume.py

 将spark-streaming-flume_2.11-2.4.8.jar和spark-streaming-flume-assembly_2.11-2.4.8.jar两个文件上传到
 /usr/local/spark2/jars目录中
 
 然后双击xshell新打开一个标签，然后运行netstat -ant 检查是否有44444端口生成，如果有则表明streaming进程启动成功。

九、启动flume进程
/usr/local/flume/bin/flume-ng agent -n a1 -c /usr/local/flume/conf/ -f /usr/local/flume/conf/spark1.properties -Dflume.root.logger=INFO,console

正常启动的标志是没有error信息即可

十、使用echo命令一直朝/tmp/word.txt文件追加内容
双击xshell再新打开一个标签，然后运行如下命令：
echo "hello world" >> /tmp/word.txt

 同时观察启动streaming的xshell窗口，查看是否有（hello，3）这样的内容出现，如果有则表明成功。