0


Spark读取HDFS路径文件

在这里插入图片描述

文章目录


一、Spark读取HDFS路径文件

有些时候我们希望直接读取HDFS上的文件进行处理,那么我们可以使用

textFile

这个方法,这个方法可以将指定路径的文件将其读出,然后转化为Spark中的RDD数据类型。

1、函数介绍

textFile

是 Spark 中的一个函数,用于从文本文件中读取数据并创建一个 RDD。它可以用于加载文本数据,并将每行文本作为 RDD 中的一个元素。以下是对

textFile

函数的详细介绍以及它的参数:

def textFile(
    path:String
标签: spark hdfs 大数据

本文转载自: https://blog.csdn.net/m0_47256162/article/details/132282997
版权归原作者 海洋 之心 所有, 如有侵权,请联系我们删除。

“Spark读取HDFS路径文件”的评论:

还没有评论