RDD的创建 头歌答案

RDD的创建

第1关 集合并行化创建RDD

编程要求

根据提示，在右侧编辑器

begin-end

处补充代码，计算并输出各个学生的总成绩。

• ("bj",88)： bj指学生姓名，88指学生成绩。

测试说明

平台会对你编写的代码进行测试：

预期输出：

(bj,254)` `(sh,221)` `(gz,285)

开始你的任务吧，祝你成功！

代码

import org.apache.spark.rdd.RDD
​
import org.apache.spark.SparkContext
​
import org.apache.spark.SparkConf
​
 
​
object Student {
​
  def main(args: Array[String]): Unit = {
​
    val conf = new SparkConf().setAppName(this.getClass.getSimpleName).setMaster("local")
​
    val sc = new SparkContext(conf)
​
    val arr1=Array(("bj",88),("sh",67),("gz",92))
​
    val arr2=Array(("bj",94),("sh",85),("gz",95))
​
    val arr3=Array(("bj",72),("sh",69),("gz",98))
​
    /********** begin **********/
​
    //第一步：先将数组进行合并
​
val arr=arr1++arr2++arr3
​
 
​
    //第二步：创建RDD
​
val stuRDD=sc.makeRDD(arr)
​
 
​
    //第三步：把相同key的进行聚合
​
val result=stuRDD.reduceByKey(_+_)
​
 
​
    //第四步：输出
​
result.foreach(println)
​
    /********** end **********/
​
    sc.stop()
​
  }
​
}

第2关：读取外部数据集创建RDD

编程要求

根据提示，在右侧编辑器

begin-end

处补充代码，按每位老师出现的次数降序，输出老师姓名和出现次数。

• 输入文件样例：

bigdata,laozhang` `bigdata,laoduan` `javaee,xiaoxu

bigdata

指科目，

laozhang

指老师名称。

测试说明

平台会对你编写的代码进行测试：

预期输出：

(laozhao,15)

(laoyang,9)

(laoduan,5)

(xiaoxu,4)

(laoli,3)

(laozhang,2)

(laoliu,1)

开始你的任务吧，祝你成功！

import org.apache.spark.SparkContext
​
import org.apache.spark.SparkConf
​
 
​
object Teachers {
​
  def main(args: Array[String]): Unit = {
​
    val conf = new SparkConf().setAppName("Teachers").setMaster("local")
​
    val sc = new SparkContext(conf)
​
    val dataFile = "file:///root/step2_files"
​
    /********** begin **********/
​
    //第一步：以外部文件方式创建RDD
​
val teaRDD=sc.textFile(dataFile)
​
 
​
    //第二步：将文件中每行的数据切分，得到自己想要的返回值
​
val teacher=teaRDD.map(line => {
​
       val course=line.split(",")(0)
​
       val name=line.split(",")(1)
​
        (name,1)
​
    })
​
 
​
    //第三步：将相同的key进行聚合
​
val tea=teacher.reduceByKey(_+_)
​
 
​
    //第四步：按出现次数进行降序
​
val result=tea.sortBy(_._2,false,3)
​
 
​
    //第五步：输出
​
result.foreach(println)
​
    /********** end **********/
​
    sc.stop()
​
  }
​
}