Spark读取HDFS路径文件

在这里插入图片描述

一、Spark读取HDFS路径文件

有些时候我们希望直接读取HDFS上的文件进行处理，那么我们可以使用

textFile

这个方法，这个方法可以将指定路径的文件将其读出，然后转化为Spark中的RDD数据类型。

textFile

是 Spark 中的一个函数，用于从文本文件中读取数据并创建一个 RDD。它可以用于加载文本数据，并将每行文本作为 RDD 中的一个元素。以下是对

textFile

函数的详细介绍以及它的参数：

def textFile(
    path:String

标签： spark hdfs 大数据

本文转载自: https://blog.csdn.net/m0_47256162/article/details/132282997
版权归原作者 海洋之心 所有，如有侵权，请联系我们删除。