大数据学习之Flink，了解Flink的多种部署模式

一、部署模式

**1. 部署

模式

分类**：

• 会话模式（Session Mode）
• 单作业模式（Per-Job Mode）（1.15版本已弃用）
• 应用模式（Application Mode）

**他们三者的主要区别是集群的

生命周期

以及

资源的分配方式

不同以及

程序执行的位置

不同**

1.1 会话模式（Session Mode）：

会话模式就是在作业提交之前通过启动集群并创建会话，我们通过这个会话提交任务，所有的任务都在这个会话里，这种方式的特点是集群启动的时候就已经确定了资源，并且后续提交的作业也都在这个会话中，会出现资源的竞争

优点：

集群启动时就已经创建了会话，资源也都是集群启动过程中确定的

所有提交的作业都在这个会话中，作业结束就释放资源

缺点：

由于资源是共享的，所以当作业较多时就会产生资源竞争，资源不够了会导致作业提交失败

同一个TaskManager上可能运行了很多作业，如果一个作业导致TaskManager宕机，那么在这个TaskManager上的作业都会受到影响

1.2 单作业模式（Per-Job Mode）：

单作业模式是不同于会话模式的，单作业模式是需要依赖其他资源管理器来实现的，比如yarn、k8s等，由于会话模式是共享资源，为了解决这个问题，单作业模式为每一次提交的任务都创建一个集群，每个作业的资源都相互隔离，并且一个TaskManager宕机不会影响其他作业。

优点： ​

为每一个作业启动一个集群，因此不会存在共享资源的问题，作业之间的资源相互隔离 ​ 发生故障时即使TaskManager宕机不会影响其他作业 ​

缺点： ​

每一个作业启动一个集群，比较浪费资源 ​ Flink本身无法直接这样运行，需要借助第三方资源管理器，比如YARN、K8S等 ​ Flink1.15版本被标记为废弃，使用应用模式替代；链接：

1.3 应用模式（Application Mode）：

应用模式是对单作业模式的优化，不管是会话模式还是单作业模式，代码都是在客户端是进行执行的，然后由客户端提交给JobManager的，这种方式下客户端会比较耗资源，因为需要下载依赖和发送二进制文件到JobManager。

所以应用模式的解决办法就是不需要客户端了，直接把应用提交到JobManager上运行**，是直接由 JobManager 执行应用程序的，并且即使应用包含了多个作业，也只创建一个集群。

2. 独立部署：

• Flink Standalone

2.1 概念：

• 独立部署由Flink进行资源的管理，也是最简单的部署方式，此模式是独立运行的，不依赖第三方资源管理平台，缺点是资源不足的情况下会出现故障，不会自动扩展或者动态分配资源，必须手动处理。
• 独立部署也分上面三种部署方式，分别是会话模式、单作业模式还是应用模式。生产环境不建议使用。

**2.2 部署在

会话模式

下**：

• 会话模式是不依赖第三方资源调度管理平台，因此直接解压flink安装包，然后执行start-cluster.sh 即可开启会话模式

**2.3 部署在

单作业模式

下：【Pass】**

• Flink 本身无法直接以单作业方式启动集群，一般需要借助一些资
• 源管理平台。所以 Flink 的独立（Standalone）集群并不支持单作业模式部署。

**2.4 部署在

应用模式

下**：

• 应用模式的特点是不提前创建集群，所以不能使用start-cluster.sh进行启动，可以通过使用standalone-job.sh 这个启动命令来启动JobManagerbin/standalone-job.sh start --job-classname com.xxx.xxx.WordCount
• 通过taskmanager.sh 启动TaskManagerbin/taskmanager.sh start

**2.5 部署在

高可用

模式下**：

.

3. YARN部署：

• Flink on yarn --> hadoop必须要配置好

3.1 概念：

• YARN部署是指Flink的资源调度由YARN进行管理，需要依赖Hadoop的YARN管理器在YARN模式下部署模式也分三种，分别是会话模式、单作业模式还是应用模式
• 客户端把 Flink 应用提交给 Yarn 的 ResourceManager,Yarn 的 ResourceManager 会向 Yarn 的 NodeManager 申请容器。在这些容器上， Flink 会部署JobManager 和 TaskManager 的实例，从而启动集群。 Flink 会根据运行在 JobManger 上的作业所需要的 Slot 数量动态分配 TaskManager 资源.

**3.2 部署在

会话模式

下**：

• 需要先申请一个YARN会话来启动Flink集群# -nm test的意思是任务名bin/yarn-session.sh -nm test其他参数说明：> -d：分离模式，如果你不想让 Flink YARN 客户端一直前台运行，可以使用这个参数，即使关掉当前对话窗口， YARN session 也可以后台运行。 -jm(–jobManagerMemory)：配置 JobManager 所需内存，默认单位 MB。 -nm(–name)：配置在 YARN UI 界面上显示的任务名。 -qu(–queue)：指定 YARN 队列名。 -tm(–taskManager)：配置每个 TaskManager 所使用内存。
• YARN会话启动后会给出一个WebUI地址以及一个 YARN application ID 。 在部署作业的时候可以通过WebUI部署也可以通过后台命令行部署 。

**3.3 部署在

单作业模式

下**：

• 单作业模式是每提交一个任务就会生成单独的一个集群环境，因此我们开启单作业模式直接通过提交任务即可- 启动作业：bin/flink run -d -t yarn-per-job -c com.szc.wc.StreamWordCount xxx.jar- 查看作业：# 查看作业bin/flink list -t yarn-per-job -Dyarn.application.id=application_XXXX_YY- 取消作业：# 取消作业bin/flink cancel -t yarn-per-job -Dyarn.application.id=application_XXXX_YY <jobId>
• 由于单作业模式是每个任务一个集群，因此取消某个作业就会使这个作业对应的集群也停掉。

**3.4 部署在

应用模式

下**：

• 应用模式和单作业模式类似- 启动作业：bin/flink run-application -t yarn-application -c com.szc.wc.StreamWordCount xxx.jar- 查看作业：# 查看作业bin/flink list -t yarn-application -Dyarn.application.id=application_XXXX_YY- 取消作业：# 取消作业bin/flink cancel -t yarn-application -Dyarn.application.id=application_XXXX_YY <jobId>

**3.5 部署在

高可用

模式下**：

• YARN 模式的高可用和独立模式（Standalone）的高可用原理不一样。
• Standalone 模式中, 同时启动多个 JobManager, 一个为“领导者”（leader），其他为“后备”（standby） , 当 leader 挂了, 其他的才会有一个成为 leader。
• 而 YARN 的高可用是只启动一个 Jobmanager, 当这个 Jobmanager 挂了之后, YARN 会再次启动一个, 所以其实是利用的 YARN 的重试次数来实现的高可用。