Flume采集数据到HDFS配置参数详细解析

配置解析:
channel:管道;一个sink只能有一个管道,但一根管道可以有多个sink
type : hdfs
path:写入hdfs的路径,需要包含文件系统标识,比如:hdfs://192.168.40.101:9000/flume/%Y-%m-%d/
(可以使用flume提供的日期及%{host}表达式)

filePrefix: 写入hdfs的文件名前缀,可以使用flume提供的日期及%{host}表达式。默认值为FlumeData
fileSuffix: 写入hdfs的文件名后缀,比如:.lzo .log .txt;
inUsePrefix: 临时文件的文件名前缀,hdfs sink会先往目标目录中写临时文件,再根据相关规则重命名成最终目标文件;(一般不用管)
inUseSuffix: 临时文件的文件名后缀。默认值:.tmp (一般不用管)

rollInterval: hdfs sink间隔多长将临时文件滚动成最终目标文件,单位:秒;默认值:30s
如果设置成0,则表示不根据时间来滚动文件;
注:滚动（roll）指的是,hdfs sink将临时文件重命名成最终目标文件,并新打开一个临时文件来写入数据; !!!!!!

rollSize: 当临时文件达到该大小(单位:bytes)时,滚动成目标文件;默认值:1024byte
如果设置成0,则表示不根据临时文件大小来滚动文件;

rollCount: 当events数据达到该数量时候,将临时文件滚动成目标文件;默认值:10
如果设置成0,则表示不根据events数据来滚动文件;

idleTimeout: 默认值:0
当目前被打开的临时文件在该参数指定的时间（秒）内,没有任何数据写入,
则将该临时文件关闭并重命名成目标文件;

batchSize: 每个批次刷新到HDFS上的events数量;默认值:100

codeC: 文件压缩格式,包括:gzip, bzip2, lzo, lzop, snappy

fileType: 文件格式,包括:SequenceFile, DataStream,CompressedStream;默认值:SequenceFile
当使用DataStream时候,文件不会被压缩,不需要设置hdfs.codeC;
当使用CompressedStream时候,必须设置一个正确的hdfs.codeC值;

maxOpenFiles: 最大允许打开的HDFS文件数,当打开的文件数达到该值,最早打开的文件将会被关闭;
默认值:5000

minBlockReplicas: 写入HDFS文件块的最小副本数。默认值:HDFS副本数(一般不修改,HDFS副本数默认为3)
该参数会影响文件的滚动配置,一般将该参数配置成1,才可以按照配置正确滚动文件。

writeFormat: 写sequence文件的格式。包含:Text, Writable（默认）

callTimeout: 执行HDFS操作的超时时间(单位:毫秒);默认值:10000 (10s)

threadsPoolSize: hdfs sink启动的操作HDFS的线程数。默认值:10

rollTimerPoolSize:hdfs sink启动的根据时间滚动文件的线程数。默认值:1

kerberosPrincipal:HDFS安全认证kerberos配置;

kerberosKeytab:HDFS安全认证kerberos配置;

proxyUser:代理用户

以下3个round相关参数设置用来控制多久生成一个文件
round:默认值:false
是否启用时间上的”舍弃”,这里的”舍弃”,类似于”四舍五入”,如果启用,则会影响除了%t的其他所有时间表达式;
roundValue: 时间上进行“舍弃”的值;默认值:1
roundUnit: 时间上进行”舍弃”的单位,包含:second,minute,hour;默认值:seconds
对round 配置的例子:
a1.sinks.k1.hdfs.path = /flume/events/%y-%m-%d/%H%M/%S
a1.sinks.k1.hdfs.round = true
a1.sinks.k1.hdfs.roundValue = 10
a1.sinks.k1.hdfs.roundUnit = minute
当时间为2022-10-16 17:38:59时候,hdfs.path依然会被解析为:
/flume/events/20221016/17:30/00
因为设置的是舍弃10分钟内的时间,因此,该目录每10分钟新生成一个。

timeZone: 时区。默认值:Local Time

useLocalTimeStamp: 是否使用当地时间。默认值:flase (一般要使用当地时间,即一般设置为true)

closeTries: hdfs sink关闭文件的尝试次数;默认值:0
如果设置为1,当一次关闭文件失败后,hdfs sink将不会再次尝试关闭文件,
这个未关闭的文件将会一直留在那,并且是打开状态。
设置为0,当一次关闭失败后,hdfs sink会继续尝试下一次关闭,直到成功。

retryInterval: hdfs sink尝试关闭文件的时间间隔,如果设置为0,表示不尝试,相当于于将hdfs.closeTries设置成1;
默认值:180s

serializer: 序列化类型。其他还有:avro_event或者是实现了EventSerializer.Builder的类名。默认值:TEXT

常用配置(从flume_sink 到 flume_source):

Name the components on this agent

a2.sources = r1
a2.sinks = k1
a2.channels = c1

Describe/configure the source

source 端的 avro 是一个数据接收服务 (avro一个轻量级的RPC通信)

a2.sources.r1.type = avro
a2.sources.r1.bind =192.168.40.101 (绑定的主机)
a2.sources.r1.port = 4141 (端口)

Describe the sink

a2.sinks.k1.type = hdfs
a2.sinks.k1.hdfs.path = hdfs://192.168.40.101:9000/flume/%Y%m%d/%H
#上传文件的前缀
#a2.sinks.k1.hdfs.filePrefix =

以下3个round相关参数设置用来控制多久生成一个文件
#是否按照时间滚动文件夹
a2.sinks.k1.hdfs.round = true
#多少时间单位创建一个新的文件夹
a2.sinks.k1.hdfs.roundValue = 1
#重新定义时间单位
a2.sinks.k1.hdfs.roundUnit = hour

#是否使用本地时间戳
a2.sinks.k1.hdfs.useLocalTimeStamp = true
#积攒多少个 Event 才 flush 到 HDFS 一次
a2.sinks.k1.hdfs.batchSize = 100
#设置文件类型，可支持压缩
a2.sinks.k1.hdfs.fileType = DataStream

#多久生成一个新的文件
a2.sinks.k1.hdfs.rollInterval = 30
#设置每个文件的滚动大小大概是 128M
a2.sinks.k1.hdfs.rollSize = 134217700
#文件的滚动与 Event 数量无关
a2.sinks.k1.hdfs.rollCount = 0
这三个条件任意一个达到都会生成一个新的文件

Describe the channel

a2.channels.c1.type = memory (内存)
a2.channels.c1.capacity = 1000
a2.channels.c1.transactionCapacity = 100

Bind the source and sink to the channel

a2.sources.r1.channels = c1
a2.sinks.k1.channel = c1

参考：https://blog.csdn.net/weixin_34343308/article/details/94567014