0


大数据调度平台oozie、azkaban、dolphinscheduler、AirFlow对比

Apache Oozie#

Linkedin Azkaban
#

Azkaban:最适合shell脚本,当job不多的时候,可以使用。

Apache Airflow
#

Airflow 在使用时有一大痛点:使用Python语言来定义工作流的。

Apache DolphinScheduler
#

特点:分布式、去中心化、易扩展的可视化工作流任务调度系统

海豚调度的多租户和我们YARN的多租户是对应起来的,这个非常好。

海豚调度出来的有点迟,它把我们之前讲的 Oozie、Azkaban、airflow的优点全拿过来了,后发优势,集万千优点于一身,缺点也避免了。

离线:用的Spark比较多,实时用 Flink比较多。

过载处理:airflow 任务过多时卡死服务器,DolphinScheduler任务队列机制,当任务过多时会缓存在任务队列中。

推荐海豚DolphinScheduler任务器~~~~


本文转载自: https://blog.csdn.net/wu6cfp38/article/details/129601171
版权归原作者 6个日的梦想 所有, 如有侵权,请联系我们删除。

“大数据调度平台oozie、azkaban、dolphinscheduler、AirFlow对比”的评论:

还没有评论