Spark RDD的转换
withScope就像是一个 AOP(面向切面编程),嵌入到所有RDD 的转换和操作的函数中,RDDOperationScope会把调用栈记录下来,用于绘制Spark UI的 DAG(有向无环图,可以理解为 Spark 的执行计划)。下文中两个 RDD 的关联中,两个 RDD 分别称为 rdd1、r
2023年Spark大数据处理讲课笔记
scala、spark、spark rdd、spark sql、spark streaming
withScope就像是一个 AOP(面向切面编程),嵌入到所有RDD 的转换和操作的函数中,RDDOperationScope会把调用栈记录下来,用于绘制Spark UI的 DAG(有向无环图,可以理解为 Spark 的执行计划)。下文中两个 RDD 的关联中,两个 RDD 分别称为 rdd1、r
scala、spark、spark rdd、spark sql、spark streaming