0


大数据学习之Flink,了解Flink的多种部署模式

一、部署模式

**1. 部署

模式

分类**:

  • 会话模式(Session Mode)
  • 单作业模式(Per-Job Mode)(1.15版本已弃用)
  • 应用模式(Application Mode)

**他们三者的主要区别是集群的

生命周期

以及

资源的分配方式

不同以及

程序执行的位置

不同**

1.1 会话模式(Session Mode)

会话模式就是在作业提交之前通过启动集群并创建会话,我们通过这个会话提交任务,所有的任务都在这个会话里,这种方式的特点是集群启动的时候就已经确定了资源,并且后续提交的作业也都在这个会话中,会出现资源的竞争

优点

集群启动时就已经创建了会话,资源也都是集群启动过程中确定的

所有提交的作业都在这个会话中,作业结束就释放资源

缺点

由于资源是共享的,所以当作业较多时就会产生资源竞争,资源不够了会导致作业提交失败

同一个TaskManager上可能运行了很多作业,如果一个作业导致TaskManager宕机,那么在这个TaskManager上的作业都会受到影响

1.2 单作业模式(Per-Job Mode):

单作业模式是不同于会话模式的,单作业模式是需要依赖其他资源管理器来实现的,比如yarn、k8s等,由于会话模式是共享资源,为了解决这个问题,单作业模式为每一次提交的任务都创建一个集群,每个作业的资源都相互隔离,并且一个TaskManager宕机不会影响其他作业。

优点: ​

为每一个作业启动一个集群,因此不会存在共享资源的问题,作业之间的资源相互隔离 ​ 发生故障时即使TaskManager宕机不会影响其他作业 ​

缺点: ​

每一个作业启动一个集群,比较浪费资源 ​ Flink本身无法直接这样运行,需要借助第三方资源管理器,比如YARN、K8S等 ​ Flink1.15版本被标记为废弃,使用应用模式替代;链接:

1.3 应用模式(Application Mode)

应用模式是对单作业模式的优化,不管是会话模式还是单作业模式,代码都是在客户端是进行执行的,然后由客户端提交给JobManager的,这种方式下客户端会比较耗资源,因为需要下载依赖和发送二进制文件到JobManager。

所以应用模式的解决办法就是不需要客户端了,直接把应用提交到JobManager上运行**,是直接由 JobManager 执行应用程序的,并且即使应用包含了多个作业,也只创建一个集群。

2. 独立部署

  • Flink Standalone

2.1 概念

  • 独立部署由Flink进行资源的管理,也是最简单的部署方式,此模式是独立运行的,不依赖第三方资源管理平台,缺点是资源不足的情况下会出现故障,不会自动扩展或者动态分配资源,必须手动处理。
  • 独立部署也分上面三种部署方式,分别是会话模式、单作业模式还是应用模式。生产环境不建议使用。

**2.2 部署在

会话模式

下**:

  • 会话模式是不依赖第三方资源调度管理平台,因此直接解压flink安装包,然后执行start-cluster.sh 即可开启会话模式

**2.3 部署在

单作业模式

【Pass】**

  • Flink 本身无法直接以单作业方式启动集群,一般需要借助一些资
  • 源管理平台。所以 Flink 的独立(Standalone)集群并不支持单作业模式部署

**2.4 部署在

应用模式

下**:

  • 应用模式的特点是不提前创建集群,所以不能使用start-cluster.sh进行启动,可以通过使用standalone-job.sh 这个启动命令来启动JobManagerbin/standalone-job.sh start --job-classname com.xxx.xxx.WordCount
  • 通过taskmanager.sh 启动TaskManagerbin/taskmanager.sh start

**2.5 部署在

高可用

模式下**:

.

3. YARN部署

  • Flink on yarn --> hadoop必须要配置好

3.1 概念

  • YARN部署是指Flink的资源调度由YARN进行管理,需要依赖Hadoop的YARN管理器在YARN模式下部署模式也分三种,分别是会话模式、单作业模式还是应用模式
  • 客户端把 Flink 应用提交给 Yarn 的 ResourceManager,Yarn 的 ResourceManager 会向 Yarn 的 NodeManager 申请容器。在这些容器上, Flink 会部署JobManager 和 TaskManager 的实例,从而启动集群。 Flink 会根据运行在 JobManger 上的作业所需要的 Slot 数量动态分配 TaskManager 资源.

**3.2 部署在

会话模式

下**:

  • 需要先申请一个YARN会话来启动Flink集群# -nm test的意思是任务名bin/yarn-session.sh -nm test其他参数说明:> -d:分离模式,如果你不想让 Flink YARN 客户端一直前台运行,可以使用这个参数,即使关掉当前对话窗口, YARN session 也可以后台运行。 -jm(–jobManagerMemory):配置 JobManager 所需内存,默认单位 MB。 -nm(–name):配置在 YARN UI 界面上显示的任务名。 -qu(–queue):指定 YARN 队列名。 -tm(–taskManager):配置每个 TaskManager 所使用内存。
  • YARN会话启动后会给出一个WebUI地址以及一个 YARN application ID 。 在部署作业的时候可以通过WebUI部署也可以通过后台命令行部署 。

**3.3 部署在

单作业模式

下**:

  • 单作业模式是每提交一个任务就会生成单独的一个集群环境,因此我们开启单作业模式直接通过提交任务即可- 启动作业:bin/flink run -d -t yarn-per-job -c com.szc.wc.StreamWordCount xxx.jar- 查看作业:# 查看作业bin/flink list -t yarn-per-job -Dyarn.application.id=application_XXXX_YY- 取消作业:# 取消作业bin/flink cancel -t yarn-per-job -Dyarn.application.id=application_XXXX_YY <jobId>
  • 由于单作业模式是每个任务一个集群,因此取消某个作业就会使这个作业对应的集群也停掉。

**3.4 部署在

应用模式

下**:

  • 应用模式和单作业模式类似- 启动作业:bin/flink run-application -t yarn-application -c com.szc.wc.StreamWordCount xxx.jar- 查看作业:# 查看作业bin/flink list -t yarn-application -Dyarn.application.id=application_XXXX_YY- 取消作业:# 取消作业bin/flink cancel -t yarn-application -Dyarn.application.id=application_XXXX_YY <jobId>

**3.5 部署在

高可用

模式下**:

  • YARN 模式的高可用和独立模式(Standalone)的高可用原理不一样。
  • Standalone 模式中, 同时启动多个 JobManager, 一个为“领导者”(leader),其他为“后备”(standby) , 当 leader 挂了, 其他的才会有一个成为 leader。
  • 而 YARN 的高可用是只启动一个 Jobmanager, 当这个 Jobmanager 挂了之后, YARN 会再次启动一个, 所以其实是利用的 YARN 的重试次数来实现的高可用。
标签: 大数据 学习 flink

本文转载自: https://blog.csdn.net/2301_78038072/article/details/135749037
版权归原作者 十二点的泡面 所有, 如有侵权,请联系我们删除。

“大数据学习之Flink,了解Flink的多种部署模式”的评论:

还没有评论