大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比

点一下关注吧！！！非常感谢！！持续更新！！！

目前已经更新到了：

• Hadoop（已更完）
• HDFS（已更完）
• MapReduce（已更完）
• Hive（已更完）
• Flume（已更完）
• Sqoop（已更完）
• Zookeeper（已更完）
• HBase（已更完）
• Redis （已更完）
• Kafka（已更完）
• Spark（新开的坑！正在更新！）

章节内容

上节我们完成了如下的内容：

• Kafka集群监控方案
• JConsole
• Kafka Eagle
• JavaAPI获取集群指标

简单介绍

在技术的不断迭代中，一路发展，三代技术引擎：

• MapReduce 昨天
• Spark 今天
• Flink 未来

MapReduce和Spark都是类MR的处理引擎，底层原理非常相似。

什么是Spark

Spark的发展历程如下图：

Spark特点

• 速度快，与MapReduce相比，Spark基于内存运算要快100倍以上，基于硬盘运算也要快10倍以上。Spark实现了高效的DAG执行引擎，可以通过基于内存来高效的处理流数据
• 使用简单，Spark支持Scala、Java、Python、R的API，还支持超过80种算法，使用户可以快速构建不同的应用。而且Spark支持交互式的Python和Scala的Shell，可以非常方便的在这些Shell中使用Spark集群来验证解决问题的方法
• 通用性好，Spark提供了统一的解决方案，Spark可以用于批处理、交互式查询（SparkSQL）、实时流处理（SparkStreaming）、机器学习（SparkMLlib）和图计算（GraphX）。这些不同类型的处理都可以在同一个应用中无缝衔接。Spark统一解决方案非常具有吸引力，企业想用统一的平台去处理遇到的问题，减少开发和维护人力的成本和部署平台的物力成本。
• 兼容性好，Spark可以非常方便的和其他开源的产品进行融合，Spark可以使用YARN、Mesos作为它的资源管理和调度器。可以处理所有Hadoop支持的数据，包括HDFS、HBase、Cassandra等。这对于已经部署Hadoop集群的用户特别重要，因为不需要任何的数据迁移就可以使用Spark。Spark也可以不依赖于其它第三方的资源管理和调度器，它实现了Standalone作为其内置的资源管理和调度框架，这样进一步降低了Spark的使用门槛，使得所有人可以非常容器的部署和使用Spark。

Spark与Hadoop

狭义上

从狭义上看：Hadoop是一个分布式框架，由存储、资源调度、计算三部分组成
Spark是一个分布式计算引擎，是由Scala编写的计算框架，基于内存的快速、通用、可扩展的大数据分析引擎。

广义上

从广义上看：Spark是Hadoop生态中不可或缺的一部分。

MapReduce不足

• 表达能力有限
• 磁盘IO开销大
• 延迟高：任务之间有IO开销，在前一个任务完成之前，另一个任务无法开始。

相对于Spark，Spark的设计要更高效，Spark在借鉴MapReduce优点的同时，很好的解决了MapReduce所面临的问题：

两者对比

Spark的计算模式也属于MapReduce，是对MR框架的优化。

• 数据存储结构：MapReduce是磁盘HDFS，Spark是内存构建的弹性分布式数据集RDD
• 编程范式：Map+Reduce表达力欠缺，Spark提供了丰富操作使数据处理代码很短
• 运行速度：MapReduce计算中间结果存磁盘，Spark中间结果在内存中
• 任务速度：MapReduce任务以进程，需要数秒启动，Spark是小数据集读取在亚秒级

实际应用

• 批量处理（离线处理）：通常时间跨度在分钟到小时
• 交互式查询：通常时间跨度在十秒到数十分钟
• 流处理（实时处理）：通常跨度在数百毫秒到数秒

在面对上述的三个场景中，我们通常的解决方案是：

• MapReduce
• Hive
• Impala 或 Storm

但是对应的也带来一些新的问题：

• 不同场景之间输入输出数据无法做到无缝共享，通常需要进行数据格式的转换、
• 不同的软件需要不同的开发和维护团队，带来了较高的维护和使用成本
• 比较难以通一个集群中的各个系统进行统一的资源协调和分配

系统架构

Spark运行包括如下：

• Cluster Manager
• Worker Node
• Driver
• Executor

ClusterManager

ClusterManager 是集群资源的管理者，Spark支持3中集群部署模式：

• Standalone
• YARN
• Mesos

WorkerNode

WorkerNode是工作节点，负责管理本地资源。

Driver Program

运行应用的 main() 方法并且创建了 SparkContext。由ClusterManager分配资源，SparkContext发送Task到Executor上执行。

Executor

Executor在工作节点上运行，执行Driver发送的Task，并向Driver汇报计算结果。

部署模式

Standalone

• 独立模式，自带完整的服务，可单独部署到一个集群中，无需依赖其他任何的资源管理系统，从一定程度上说，该模式是其他模式的基础
• Cluster Manager： Master
• WorkerNode：Worker
• 仅支持粗粒度的资源分配方式

SparkOnYARN

• YARN拥有强大的社区支持，且逐步成为大数据集群资源管理系统的标准
• 在国内生产环境中运用最广泛的部署模式
• SparkOnYARN 支持的两种模式：yarn-cluster（生产环境），yarn-client（交互和调试）
• Cluster Manager：ResourceManager
• WorkNode：NodeManager
• 仅支持粗粒度的资源分配方式

SparkOnMesos

• 官方推荐模式，Spark开发之初就考虑到了支持Mesos
• Spark运行在Mesos上会更加的灵活，更加自然
• ClusterManager：MesosMaster
• WorkNode: MesosSlave
• 支持粗粒度、细粒度的资源分配方式

粗粒度模式

Coarse-grained Mode：每个程序的运行由一个Driver和若干个Executor组成，其中每个Executor占用若干资源，内部可以运行多个Task。应用程序的各个任务正式运行之前，需要将运行环境中的资源全部申请好，且运行过程中需要一直占用着这些资源，即使不用，最后程序运行结束后，自动回收这些资源。

细粒度模式

鉴于粗粒度模式造成的大量资源的浪费，SparkOnMesos还提供了另一个调度模式就是细粒度模式。
这种模式类似于现在的云计算思想，核心是按需分配。

如何选择

• 生产环境中原则YARN，国内使用最广的模式
• Spark的初学者，Standalone模式，简单
• 开发测试环境可选Standalone
• 数据量不太大、应用不复杂，可使用Standalone

相关术语

• Application 用户提交的Spark应用程序，由集群中的一个Driver和许多的Executor组成
• ApplicationJAR 一个包含Spark应用程序的JAR，JAR不应该包含Spark或者Hasoop的JAR
• DriverProgram运行应用程序的main()，并创建SparkContext
• ClusterManager管理集群资源的服务，如Standalone、YARN、Mesos
• DeployMode区分Driver进程在何处运行，在Cluster模式下，在集群内部运行Driver，在Client模式下，Driver在集群外部运行
• Worker Node 运行应用程序的工作节点
• Executor 运行应用程序Task和保存数据，每个应用程序都有自己的Executors，并且和Executor相互独立
• Task Executors 应用程序的最小单元
• Job，在用户程序中，每次调用Action函数都会产生一个新的Job，也就是说每一个Action都会生成一个Job
• Stage，一个Job被分解为多个Stage，每个Stage是一系列Task的集合