Spark心得体会

Spark学期心得总结

    学习了spark之后我才知道Hadoop和spark还有着这种缘分：Hadoop 是由Java语言编写的，部署在分布式服务器集群上，用于存储海量数据并运行分布式分析应用的开源框架；其重要组件有，HDFS 分布式文件系统、MapReduce 编程模型、Hbase 基于HDFS的分布式数据库：擅长实时随机读/写超大规模数据集。

    由于上半学期的松懈，对于Hadoop的知识掌握的不是很好，所以在下半学期一边学习Spark一边学习Hadoop，对于他们的掌握有了显著的提升。我知道了Spark重要的内置模块：Spark Core：包括了内存计算、任务调度、部署模式、故障恢复、存储管理等；Spark SQL：统一处理关系和RDD，使用SQL命令进行数据分析；Spark Streaming：将流式计算分解为一系列的短小的批处理作业，支持多种数据源。

    要学习好spark，scala语言的学习至关重要，在Spark诞生之初，就有人诟病为什么AMP实验室选了一个如此小众的语言——Scala，很多人还将原因归结为学院派的高冷，但后来事实证明，选择Scala是非常正确的，Scala很多特性与Spark本身理念非常契合，可以说它们是天生一对。Scala背后所代表的函数式编程思想也越来越为人所知。函数式编程思想早在50多年前就被提出，但当时的硬件性能太弱，并不能发挥出这种思想的优势,scala语言是一门非常简洁的语言，但是这种简洁也给我带来很多苦恼，我时常不能分辨这些参数对应着谁，每每看到已经是脑袋空白啦！！！

    学习Spark需要将基础和实践结合起来，很多的基础知识在Hadoop中基础知识之上进行学习，只有去体验实际操作才能体会到区别。整个Spark讲的知识点不是很多，但是关键在于去理解，每个模块如何去工作、怎么去使用。

    从Spark的上手到最后的项目，整个过程我一路磕磕绊绊的时常遇到一些奇怪的问题，但是好在本人寻找bug的能力还不错，都一一得到了解决，后半期学习结束了，但我还需要继续花时间去学习，尤其是Hadoop的知识点，结合两者的实际应用去体会不同。目前做的项目中还是用的Hadoop为主，Spark还是初期新项目中使用，因此两个都需要学好。

     从大数据课程学习下来，体会到在平时的学习中需要经常记下错误和进度，时间长了容易忘记。需要能养成一个好的习惯，每天学的东西无论多少都学下来，最后项目结束再回头看，就会很容易解决当时的困难。接下来的时间，要继续学习好Hadoop和Spark，已经以后进行扩展其他的相关技术，愿你我走得更远！！！