Spark作业串行与并行提交job

在Scala中，您可以以串行和并行的方式提交Spark作业。看看如何使用

for

和

par.foreach

构造对应的例子。

串行Spark作业（使用

for

）

// 串行Spark作业设置for(tag <- tags){
  spark.sparkContext.setJobGroup(tag.toString,s"Tag: $tag")// 为每个标签执行Spark操作}

并行Spark作业（使用par.foreach）

// 并行Spark作业设置
tags.par.foreach { tag =>
  spark.sparkContext.setJobGroup(tag.toString,s"Tag: $tag")// 并行执行每个标签的Spark操作}

关键区别

for用于顺序处理，而par.foreach允许并行处理。