真香，美柚大数据研发的分布式计算任务调度系统

Big Whale

巨鲸任务调度平台为美柚大数据研发的分布式计算任务调度系统，提供Spark、Flink等批处理任务的DAG调度和流处理任务的运行管理和状态监控，并具有Yarn应用管理、重复应用检测、大内存应用检测等功能。服务基于Spring Boot 2.0开发，打包后即可运行。

概述

1.架构图

2.特性

• 基于SSH的脚本执行机制，部署简单快捷，仅需单个服务
• 基于Yarn Rest Api的任务状态同步机制，对Spark、Flink无版本限制
• 支持失败重试
• 支持任务依赖
• 支持复杂任务编排（DAG）
• 支持流处理任务运行管理和监控
• 支持Yarn应用管理

部署

1.准备

• Java 1.8+
• Mysql 5.1.0+
• 下载项目或git clone项目
• 为解决 github README.md 图片无法正常加载的问题，请在hosts文件中加入相关域名解析规则，参考：hosts

2.安装

• 创建数据库：big-whale
• 运行数据库脚本：big-whale.sql
• 根据Spring Boot环境，配置相关数据库账号密码，以及SMTP信息
• 配置：big-whale.properties- ssh.user: 拥有脚本执行权限的ssh远程登录用户名（平台会将该用户作为统一的脚本执行用户）- ssh.password: ssh远程登录用户密码- dingding.enabled: 是否开启钉钉告警- dingding.watcher-token: 钉钉公共群机器人Token- yarn.app-memory-threshold: Yarn应用内存上限（单位：MB），-1禁用检测- yarn.app-white-list: Yarn应用白名单列表（列表中的应用申请的内存超