Apache Oozie#
Linkedin Azkaban
#
Azkaban:最适合shell脚本,当job不多的时候,可以使用。
Apache Airflow
#
Airflow 在使用时有一大痛点:使用Python语言来定义工作流的。
Apache DolphinScheduler
#
特点:分布式、去中心化、易扩展的可视化工作流任务调度系统
海豚调度的多租户和我们YARN的多租户是对应起来的,这个非常好。
海豚调度出来的有点迟,它把我们之前讲的 Oozie、Azkaban、airflow的优点全拿过来了,后发优势,集万千优点于一身,缺点也避免了。
离线:用的Spark比较多,实时用 Flink比较多。
过载处理:airflow 任务过多时卡死服务器,DolphinScheduler任务队列机制,当任务过多时会缓存在任务队列中。
推荐海豚DolphinScheduler任务器~~~~
版权归原作者 6个日的梦想 所有, 如有侵权,请联系我们删除。