常见的数据库同步同步主要有：DataX、Sqoop、Maxwell、Canal
数据同步工具种类繁多，大致可分为两类，一类是以DataX、Sqoop为代表的基于Select查询的离线、批量同步工具，另一类是以Maxwell、Canal为代表的基于数据库数据变更日志（例如MySQL的binlog，其会实时记录所有的insert、update以及delete操作）的实时流式同步工具。
全量同步通常使用DataX、Sqoop等基于查询的离线同步工具。
而增量同步既可以使用DataX、Sqoop等工具，也可使用Maxwell、Canal等工具，cannal只支持mysql，下面对增量同步不同方案进行简要对比。
数据库同步策略
增量同步、全量同步
全量同步，就是每天都将业务数据库中的全部数据同步一份到数据仓库，这是保证两侧数据同步的最简单的方式。主要围绕商城本省的活动和业务域
增量同步，就是每天只将业务数据中的新增及变化数据同步到数据仓库。采用每日增量同步的表，通常需要在首日先进行一次全量同步。主要围绕交易域
本文转载自: https://blog.csdn.net/weixin_44870066/article/details/127812516
版权归原作者 万里长江横渡 所有， 如有侵权，请联系我们删除。
版权归原作者 万里长江横渡 所有， 如有侵权，请联系我们删除。