0


spark:指定日期输出相应日期的日志(入门级-简单实现)

指定日期为2015.05.20,输出这一天的日志。

代码如下:(日志文件自己找)

  1. import org.apache.spark.{SparkConf, SparkContext}
  2. object RDD_Operator_Transform_filter_Test {
  3. def main(args: Array[String]): Unit = {
  4. //TODO 创建环境
  5. val sparkConf = new SparkConf().setMaster("local[*]").setAppName("Operator")
  6. val sc = new SparkContext(sparkConf)
  7. //TODO RDD算子——filter
  8. val rdd = sc.textFile("datas/apache.log")
  9. val filterRDD = rdd.filter(
  10. line => {
  11. val datas = line.split(" ")
  12. val time = datas(3)
  13. time.startsWith("20/05/2015")
  14. }
  15. )
  16. filterRDD.collect().foreach(println)
  17. //TODO 关闭环境
  18. sc.stop()
  19. }
  20. }
标签: spark 大数据

本文转载自: https://blog.csdn.net/qq_55906442/article/details/125956113
版权归原作者 一个人的牛牛 所有, 如有侵权,请联系我们删除。

“spark:指定日期输出相应日期的日志(入门级-简单实现)”的评论:

还没有评论