2、NIFI应用示例-GetFile和PutFile应用

Apache NiFi系列文章

1、nifi-1.9.2介绍、单机部署及简单验证
2、NIFI应用示例-GetFile和PutFile应用
3、NIFI处理器介绍、FlowFlie常见属性、模板介绍和运行情况信息查看
4、集群部署及验证、监控及节点管理
5、NiFi FileFlow示例和NIFI模板示例
6、NIFI应用场景-离线同步Mysql数据到HDFS中
7、NIFI综合应用场景-将mysql查询出的json数据转换成txt后存储至HDFS中
8、NIFI综合应用场景-NiFi监控MySQL binlog进行实时同步到hive
9、NIFI综合应用场景-通过NIFI配置kafka的数据同步

文章目录

本文前提是NIFI环境已经部署好。
本示例为NIFI的第一个应用示例，旨在说明Nifi的工作过程。
本文通过GetFile读取一个文件，然后将读取的内容通过PutFile写入到一个文件中。
本文分为四个部分，即添加GetFile处理器、添加PutFile处理器、添加GetFile和PutFile的连接器以及最终的验证。

Nifi处理器官方文档：http://nifi.apache.org/docs.html
Nifi官方blog：https://blogs.apache.org/nifi/

通过getfile读取一个文件，然后再通过putfile将读取的内容输出到一个文件。

一、添加GetFile处理器

1、添加GetFile处理器

2、配置GetFile处理器

GetFile属性说明

3、创建上传文件目录

与图上的输入示例性文件路径不同

mkdir -p /usr/local/bigdata/testdata/nifiinputtest

二、添加PutFile处理器

1、添加PutFile处理器

2、设置PutFile属性

putfile处理器属性说明

3、创建写入文件目录

与图上的示例性的文件路径不同。

mkdir -p /usr/local/bigdata/testdata/nifioutputtest

三、连接两个处理器

四、验证

1、启动GetFile

2、新增输入文件

cd /usr/local/bigdata/testdata/nifiinputtest
echo"hello world"> hello-world.txt

观察nifi流程：

继续写入：

echo"hello world"> hello-world.txt
echo"hello world"> hello-world2.txt

3、putfile自连接

4、启动putfile

提示有重复的文件

写入三次文件，两个写入成功，一个写入失败。是因为报错信息中提到的，有两个文件的文件名重复了。

5、覆盖写入

修改配置项Conflict Resolution Strategy

6、验证

再次启动PutFile处理器后，写入文件(文件名重复)

echo"hello world again"> hello-world.txt

文件内容如下：

7、关闭处理器

不用的时候关闭处理器，否则会持续运行读取数据。

以上演示了NIFI的一次数据同步的基础流程。更多信息见下篇文章。