SparkContext.textFile读取文件

SparkContext.textFile读取文件

SparkContext提供了 textFile() 方法用于按行读取文本文件，返回RDD。

用法:

sc.textFile(path:String, minPartitions:Int)

sc： SparkContext 对象
path：本地文件路径或 hdfs:// ， s3a:// 等Hadoop支持的文件系统URI
minPartitions：可选参数，指定数据的最小分区
默认情况下，Spark为文件的每个块创建一个分区（HDFS中一个块默认为128MB），可以通过 minPartitions 参数来设置更多分区。请注意，分区数不能少于块数。

读取单个文件

直接将文件路径作为 path 参数传入 textFile() 读取单个文件，返回每行内容的RDD。

val rdd = sc.textFile("/path/text.txt")

读取多个文件

如果要读取的多个指定文件，使用逗号分隔文件名传入 textFile() 即可。

val rdd = sc.textFile("/path/test01.txt,/path/test02.txt")

读取路径下所有文件

path 可传入文件路径来读取路径下所有文件。

val rdd = sc.textFile("/path/")

使用通配符读取多个文件

文件路径中可以使用通配符来读取多个文件。

val rdd1 = sc.textFile("/path/*.txt")// 读取路径所有txt文件val rdd2 = sc.textFile("/path/*/*.txt")// 读取多个目录下的文件

从HDFS读取文件

从HDFS中读取文件和读取本地文件一样，只是要在URI中表明是HDFS。上面的所有读取方式也都适用于HDFS。

val rdd = sc.textFile("hdfs://master:9000/examples/data.txt")

完整代码

packagecom.sparkexamples.spark.rddimportorg.apache.spark.rdd.RDD
importorg.apache.spark.sql.SparkSession

object ReadTextFileExample {def main(args: Array[String]):Unit={val spark = SparkSession.builder().master("local[1]").appName("SparkExample").getOrCreate()val sc = spark.sparkContext

    // 读取单个文件val rdd1:RDD[String]= sc.textFile("/path/test01.txt")
    rdd1.foreach(println)// 读取多个文件val rdd2:RDD[String]= sc.textFile("/path/test01.txt,/path/test02.txt")
    rdd2.foreach(println)// 读取路径下所有文件val rdd3:RDD[String]= sc.textFile("/path/resources/")
    rdd3.foreach(println)// 通配符示例-读取路径所有txt文件val rdd4:RDD[String]= sc.textFile("/path/*.txt")
    rdd4.foreach(println)// 通配符示例-读取多个目录下的文件val rdd5:RDD[String]= sc.textFile("/path/*/*.txt")
    rdd5.foreach(println)// 读取HDFS文件val rdd6:RDD[String]= sc.textFile("hdfs://master:9000/examples/data.txt")
    rdd6.collect.foreach(println)}}