0


spark:指定日期输出相应日期的日志(入门级-简单实现)

指定日期为2015.05.20,输出这一天的日志。

代码如下:(日志文件自己找)

import org.apache.spark.{SparkConf, SparkContext}

object RDD_Operator_Transform_filter_Test {
  def main(args: Array[String]): Unit = {

    //TODO 创建环境
    val sparkConf = new SparkConf().setMaster("local[*]").setAppName("Operator")
    val sc = new SparkContext(sparkConf)

    //TODO RDD算子——filter
    val rdd = sc.textFile("datas/apache.log")
    val filterRDD = rdd.filter(
      line => {
        val datas = line.split(" ")
        val time = datas(3)
        time.startsWith("20/05/2015")

      }
    )
    filterRDD.collect().foreach(println)

    //TODO 关闭环境
    sc.stop()
  }

}
标签: spark 大数据

本文转载自: https://blog.csdn.net/qq_55906442/article/details/125956113
版权归原作者 一个人的牛牛 所有, 如有侵权,请联系我们删除。

“spark:指定日期输出相应日期的日志(入门级-简单实现)”的评论:

还没有评论