【大数据】Apache NiFi 数据同步流程实践
对于一些新接触 Apache NIFI 的小伙伴来说，他们急于想体验 NIFI，恨不得直接找到一篇文章，照着做就直接能够解决目前遇到的需求或者问题，回想当初的我，也是这个心态。其实这样的心态是不对的。好多加入 NIFI 学习群的新手同学都会有这个问题，一些基本的概念和知识点都没有掌握，然后提出了一堆
DataX二次开发——（4）新增hivereader、hivewriter
DataX3.0 官方版本里面目前只支持了hdfs的读写，不支持hive的读写，基于原有的hdfsreader和hdfswriter开发了hivereader和hivewriter。
Mysql和ES数据同步方案汇总
本文主要对Mysql和ES进行数据同步的常见方案进行了汇总说明。 1. 同步双写 2. 异步双写 3. 基于Mysql表定时扫描同步 4. 基于Binlog实时同步
DataX二次开发——（6）kafkareader、kafkawriter的开发
基于阿里开源DataX3.0版本，开发kafka的读写驱动，可以实现从mysql、postgresql抽取数据到kafka，从kafka 消费消息写入hdfs等功能。
Mysql和ES数据同步方案汇总
本文主要对Mysql和ES进行数据同步的常见方案进行了汇总说明。 1. 同步双写 2. 异步双写 3. 基于Mysql表定时扫描同步 4. 基于Binlog实时同步
