0
0

Spark算子-Scala版本 头歌答案

Spark算子--Scala版本

第1关 Spark算子--Scala版本

编程要求

根据提示，在右侧编辑器

  1. begin-end

处补充代码，输出每个元素及其长度并去重。

测试说明

平台会对你编写的代码进行测试：

预期输出：

  1. (an,2)` `(dog,3)` `(cat,3)

开始你的任务吧，祝你成功！

  1. ​
  1. import org.apache.spark.rdd.RDD
  2. import org.apache.spark.{SparkConf, SparkContext}
  3. ​
  4. object EduCoder1 {
  5.     def main(args: Array[String]): Unit = {
  6.     val conf =new SparkConf().setAppName("educoder1").setMaster("local")
  7.     val sc=new SparkContext(conf)
  8.     val rdd = sc.parallelize(List("dog","an","cat","an","cat"))
  9.    
  10.     
  11.     /********** Begin **********/
  12.     //第一步：通过获取rdd中每个元素的长度创建新的rdd1
  13.     val rdd1=rdd.map(x=>x.length)
  14. ​
  15.     
  16.     //第二步：通过zip把rdd1和rdd组合创建rdd2
  17.     
  18.      val rdd2=rdd.zip(rdd1)
  19. ​
  20.     //第三步：去重
  21. ​
  22.     val rdd3=rdd2.distinct()
  23.     
  24.     //第四步：输出结果
  25.     rdd3.foreach(println)
  26.     
  27.     
  28.     /********** End **********/
  29.   
  30.     sc.stop()
  31.   }
  32. ​
  33. }
  34. ​

第2关：转换算子之flatMap和filter算子

编程要求

根据提示，在右侧编辑器

  1. begin-end

处补充代码，输出个数大于一的单词。

测试说明

平台会对你编写的代码进行测试：

所给文件内容如下：

  1. hello,world,hello,sparkgood,nice,good,do

预期输出： 

  1. (hello,2)
  1. (good,2)

开始你的任务吧，祝你成功！

  1. import org.apache.spark.rdd.RDD
  2. import org.apache.spark.{SparkConf, SparkContext}
  3. ​
  4. object EduCoder2 {
  5.     def main(args: Array[String]): Unit = {
  6.     val conf =new SparkConf().setAppName("educoder2").setMaster("local")
  7.     val sc=new SparkContext(conf)
  8.     val rdd=sc.textFile("file:///root/step3_fils")
  9.     
  10. ​
  11.     /********** Begin **********/
  12.      //对所给数据创建的rdd切割分词
  13. ​
  14.     val rdd1=rdd.flatMap(t=>t.split(","))
  15. ​
  16.     //每个单词计数为1
  17. ​
  18.     val rdd2= rdd1.map(t=>(t,1))
  19. ​
  20.     //对相同单词个数进行累加
  21. ​
  22.     val rdd3=rdd2.reduceByKey(_+_)
  23. ​
  24.     //过滤出单词个数大于一个的
  25. ​
  26.     val rdd4= rdd3.filter(t=>t._2>1)
  27. ​
  28.     //输出结果
  29. ​
  30.     rdd4.foreach(println)
  31.     
  32.     /********** End **********/
  33. ​
  34.     sc.stop()
  35.   }
  36. ​
  37. }
  38. ​

第3关：转换算子之reduceBykey和mapValues算子

编程要求

根据提示，在右侧编辑器

  1. begin-end

处补充代码，某商店上午卖出

  1. 10

本 spark 书籍，每本

  1. 50

元，

  1. 4

本 Hadoop 书籍，每本

  1. 40

元，下午卖出

  1. 20

本 spark 书籍，每本

  1. 40

元，

  1. 10

本 Hadoop 书籍，每本

  1. 30

元。

现要求求出这两本书这一天销售的平均价格。

数据如下：

  1. spark,10,50spark,40,25hadoop,5,40hadoop,10,25

测试说明

平台会对你编写的代码进行测试：

预期输出：

  1. (spark,30)` `(hadoop,30)

开始你的任务吧，祝你成功！

  1. ​
  1. import org.apache.spark.rdd.RDD
  2. import org.apache.spark.{SparkConf, SparkContext}
  3. ​
  4. object EduCoder3 {
  5.     def main(args: Array[String]): Unit = {
  6.     
  7.     val conf =new SparkConf().setAppName("educoder3").setMaster("local")
  8.     val sc=new SparkContext(conf)
  9.     
  10.     /********** Begin **********/
  11.      //通过给定数据通过序列化方式创建rdd
  12. ​
  13.     val rdd = sc.parallelize(List(("spark",(10,50)),("hadoop",(5,40)),("hadoop",(10,25)),("spark",(40,25))))
  14. ​
  15.     //求出一天收入总和以及出售本数
  16. ​
  17.     val rdd2 = rdd.reduceByKey((x,y) => ((x._1*x._2)+(y._1*y._2), x._1+y._1))
  18. ​
  19.     //求出每本平均售价
  20. ​
  21.     val rdd3 = rdd2.mapValues(x => x._1 / x._2)
  22. ​
  23.     //输出结果
  24. ​
  25.     rdd3.foreach(println)
  26.    
  27.     /********** End **********/
  28.    
  29.     sc.stop
  30. ​
  31. }
  32. }

第4关：转化算子之groupByKey和sortByKey

编程要求

根据提示，在右侧编辑器

  1. begin-end

处补充代码，对每人所学书籍本数分组并排序输出。

测试说明

平台会对你编写的代码进行测试：

所给数据说明：

  1. ("Bob","spark")
  1. Bob

：人名 

  1. spark

：所学书籍

预期输出：

  1. (Bob,3)(Candy,1)(Lily,1)

开始你的任务吧，祝你成功！

  1. ​
  1. import org.apache.spark.rdd.RDD
  2. import org.apache.spark.{SparkConf, SparkContext}
  3. ​
  4. object EduCoder4 {
  5.     def main(args: Array[String]): Unit = {
  6.     val conf =new SparkConf().setAppName("educoder4").setMaster("local")
  7.     val sc=new SparkContext(conf)
  8.    val rdd = sc.parallelize(List(("Bob","spark"),("Lily","hadoop"),("Candy","hive"),("Bob","hbase"),("Bob","hive")))
  9.      
  10.     /********** Begin **********/
  11.      //根据姓名对所学书籍分组
  12. ​
  13.     val rdd1= rdd.groupByKey()
  14. ​
  15.     //求出每个人的书籍本数
  16. ​
  17.     val rdd2= rdd1.mapValues(t=>t.toList.size)
  18. ​
  19.     //根据姓名排序
  20. ​
  21.     val rdd3= rdd2.sortByKey()
  22. ​
  23.     //打印结果
  24. ​
  25.     rdd3.foreach(println)
  26.     
  27.     /********** End **********/
  28.     sc.stop()
  29.   }
  30. ​
  31. }
  32. ​

第5关：常见行动算子

编程要求

根据提示，在右侧编辑器

  1. begin-end

处补充代码输出正确答案。

测试说明

预期输出：

  1. 4
  2. dog
  3. sun
  4. an
  5. dogsunancat
  6. dog
  7. sun
  8. an
  9. cat

开始你的任务吧，祝你成功！

  1. ​
  1. import org.apache.spark.rdd.RDD
  2. import org.apache.spark.{SparkConf, SparkContext}
  3. ​
  4. object EduCoder5 {
  5.     def main(args: Array[String]): Unit = {
  6.     val conf =new SparkConf().setAppName("educoder5").setMaster("local")
  7.     val sc=new SparkContext(conf)
  8.     val rdd = sc.parallelize(List("dog","sun","an","cat"))
  9.      
  10.     /********** Begin **********/
  11.    
  12.      //返回所给rdd的元素个数并输出
  13. ​
  14.     val r1=rdd.count()
  15. ​
  16.         println(r1)
  17. ​
  18.     //返回rdd的前三个元素并输出
  19. ​
  20.         val rdd1=rdd.take(3)
  21. ​
  22.         rdd1.foreach(println)
  23. ​
  24.     //累加rdd的所有元素并输出结果
  25. ​
  26.         val r2=rdd.reduce(_+_)
  27. ​
  28.         println(r2)
  29. ​
  30.         //收集所有元素并且输出
  31. ​
  32.        rdd.collect().foreach(println)
  33.     
  34.     /********** End **********/
  35.    
  36.     sc.stop()
  37.   }
  38. ​
  39. }
  40. ​

第6关：算子的综合使用案例

编程要求

有一份数据格式如下的文档：

日期，姓名，app,下载渠道，地区，版本号

  1. 2017-08-14,Lily,Facebook,360 Shop,NewYork,v1.0 2017-08-14,Bob,Facebook,Amazon Appstore,NewYork,v1.2 2017-08-14,Lily,Facebook,360 Shop,Washington,v1.2 2017-08-14,Lily,Facebook,Google Play Store,Washington,v2.0 2017-08-14,Candy,YouTube,app store,Chicago,v1.8 2017-08-14,Lily,Facebook,Google Play Store,Washington,v2.0 2017-08-14,Candy,YouTube,app store,Chicago,v1.9 2017-08-15,Candy,YouTube,app store,Chicago,v2.0 2017-08-15,Candy,YouTube,app store,Chicago,v2.3 2017-08-15,Lily,Facebook,360 Shop,NewYork,v2.0 2017-08-15,Bob,Facebook,Amazon Appstore,NewYork,v1.2 2017-08-15,Bob,Facebook,Amazon Appstore,NewYork,v1.5 2017-08-15,Candy,YouTube,app store,Chicago,v2.9

需求： 不考虑地区，列出版本升级情况。

结果格式： 日期，姓名，app，下载渠道，升级前版本，升级后版本。

例： 数据：

  1. 2017-08-14,Lily,Facebook,360 Shop,NewYork,v1.0 2017-08-14,Lily,Facebook,360 Shop,Washington,v1.2 2017-08-14,Lily,Facebook,360 Shop,NewYork,v2.0

结果：

  1. (2017-08-14,Lily,Facebook,360 Shop,v1.0,v1.2） (2017-08-14,Lily,Facebook,360 Shop,v1.2,v2.0）

测试说明

本实训目前是基于

  1. Spark

单机模式的运行方式，完成整个评测流程所需时间较长，请耐心等待!

开始你的任务吧，祝你成功！

  1. ​
  1. import org.apache.spark.rdd.RDD
  2. import org.apache.spark.{SparkConf, SparkContext}
  3. ​
  4. object EduCoder {
  5.   def main(args: Array[String]): Unit = {
  6.     val conf =new SparkConf().setAppName("educoder").setMaster("local")
  7.     val sc=new SparkContext(conf)
  8.     val line=sc.textFile("file:///root/step1_fils")
  9.     
  10.     /********** Begin **********/
  11.     //根据需求，去除城市字段
  12. ​
  13.       val rdd1 = line.map(t => {
  14. ​
  15.       val arr = t.split(",")
  16. ​
  17.       ((arr(0), arr(1), arr(2), arr(3)), arr(5))
  18. ​
  19.       })
  20. ​
  21.       //按key分组，key是除城市字段和版本号字段``以外的所有字段，value是版本号
  22. ​
  23.       val rdd2=rdd1.groupByKey()
  24. ​
  25.       //过滤版本号重复的``(例：（v2.0,v2.0）)以及版本号只有一个的(例（v1.0）) 
  26. ​
  27.       val rdd3=rdd2.mapValues(t=>t.toList.distinct).filter(t=>t._2.length>1)
  28. ​
  29.       //拆分重新组合 例：(key,（v2.0,v2.5,v3.0))拆分成(key,（v2.0,v2.5）,（(key,(v2.5,v3.0)）)
  30. ​
  31.       val rdd4= rdd3.mapValues(t => { 
  32. ​
  33.       val tai = t.tail 
  34. ​
  35.       t.zip(tai)
  36. ​
  37.       })
  38. ​
  39.       //按需求整理输出格式(例：（2017-08-14,Lily,Facebook,360  Shop,v1.2,v2.0）)
  40. ​
  41.       val rdd5= rdd4.flatMap(t => {
  42. ​
  43.       t._2.map(tp => {
  44. ​
  45.       (t._1._1, t._1._2, t._1._3, t._1._4, tp._1, tp._2)
  46. ​
  47.       })
  48. ​
  49.       })
  50. ​
  51.       //执行foreach操作，打印出结果
  52. ​
  53.       rdd5.foreach(println)
  54. ​
  55.     
  56.     /********** End **********/
  57.    
  58.     sc.stop()
  59.   }
  60. ​
  61. }
  62. ​
标签： spark scala 大数据
本文转载自: https://blog.csdn.net/weixin_54237806/article/details/128477334
版权归原作者 4师傅 所有， 如有侵权，请联系我们删除。
登录后发布评论

“Spark算子-Scala版本 头歌答案”的评论:

还没有评论
关于作者
...
overfit同步小助手
文章同步
相关阅读

网络安全法-网络运行安全

使用selenium/drissionpage时如何阻止chrome自动跳转http到https

docker desktop 里部署的Open WebUI 管理员密码忘记了的处理方法

在ubuntu20.04中搭建onsite比赛运行环境

利用开源的低代码表单设计器FcDesigner高效管理和渲染复杂表单结构

Kafka学习笔记

【前端】浏览器输入url到页面呈现发生了什么？