@junit.TestdefmapPartitionsWithIndex():Unit={
sc.parallelize(Seq(1,2,3,4,5,6),2).mapPartitionsWithIndex((index,iter)=>{
println("index:"+index)
iter.foreach(item=>println(item))
iter
}).collect()}@junit.Testdefmap1():Unit={
sc.parallelize(Seq(1,2,3,4,5,6),2).mapPartitionsWithIndex((index,iter)=>{
println("index:"+index)
iter.map(item=> item *10)
iter.foreach(item => println(item))
iter
}).collect()}@junit.Test//1.定义集合
//2.过滤数据
//3.收集结果
deffilter():Unit={//filter相当于if结构
sc.parallelize(Seq(1,2,3,4,5,6,7,8,9,10)).filter(item => item %2==0).collect().foreach(item => println(item))}}
本文转载自: https://blog.csdn.net/m0_62491934/article/details/123781896
版权归原作者 那人独钓寒江雪. 所有， 如有侵权，请联系我们删除。
版权归原作者 那人独钓寒江雪. 所有， 如有侵权，请联系我们删除。