Chunjun纯钧(Flinkx)是一款稳定、易用、高效、批流一体的数据集成框架,目前基于实时计算引擎Flink实现多种异构数据源之间的数据同步与计算,支持JSON模版配置任务,兼容FlinkSQL语法。本文对chunjun同步任务的配置文件进行详细的介绍和总结。
文章目录
配置文件结构详解
一个完整的
ChunJun
任务脚本配置包含
content
,
setting
两个部分。
content
用于配置任务的输入源与输出源,其中包含
reader
,
writer
。而
setting
则配置任务整体的环境设定,其中包含
speed
,
errorLimit
,
metricPluginConf
,
restore
,
log
,
dirty。
总体结构如下所示:
{
"job":{
"content":[{
"reader":{
},"writer":{
}}],"setting":{
"speed":{
},"errorLimit":{
},"metricPluginConf":{
},"restore":{
},"log":{
},"dirty":{
}
版权归原作者 张飞的猪大数据 所有, 如有侵权,请联系我们删除。