指定日期为2015.05.20,输出这一天的日志。
代码如下:(日志文件自己找)
import org.apache.spark.{SparkConf, SparkContext}
object RDD_Operator_Transform_filter_Test {
def main(args: Array[String]): Unit = {
//TODO 创建环境
val sparkConf = new SparkConf().setMaster("local[*]").setAppName("Operator")
val sc = new SparkContext(sparkConf)
//TODO RDD算子——filter
val rdd = sc.textFile("datas/apache.log")
val filterRDD = rdd.filter(
line => {
val datas = line.split(" ")
val time = datas(3)
time.startsWith("20/05/2015")
}
)
filterRDD.collect().foreach(println)
//TODO 关闭环境
sc.stop()
}
}
本文转载自: https://blog.csdn.net/qq_55906442/article/details/125956113
版权归原作者 一个人的牛牛 所有, 如有侵权,请联系我们删除。
版权归原作者 一个人的牛牛 所有, 如有侵权,请联系我们删除。