Spark框架概述

Spark 框架概述

1.1. Spark是什么

定义：Apache Spark是用于大规模数据处理的统一分析引擎。

弹性分布式数据集RDD是一种分布式内存抽象，其使得程序员能够在大规模集群中做内存运算，并且有一定的容错方式。而这也是整个Spark的核心数据结构，Spark整个平台都围绕着RDD进行。

简而言之，Spark借鉴了MapReduce 思想发展而来，保留了其分布式并行计算的优点并改进了其明显的缺陷。让中间数据存储在内存中提高了运行速度、并提供丰富的操作数据的API提高了开发速度。

统一分析引擎？

Spark是一款分布式内存计算的统一分析引擎。

其特点就是对任意类型的数据进行自定义计算。

Spark可以计算：结构化、半结构化等各种类型的数据结构，同时也支持使用Python、Java、Scala、R以及SQL语言区开发应用程序计算数据。

Spark的适用面非常广泛，所以，被称之为统一的（适用面广）的分析引擎（数据处理）

1.2. Spark风雨十年

Spark是加州大学伯克利分校AMP实验室开发的通用大数据处理框架。Spark的发展历史，经历过几大重要阶段，如下图所示：

Stack Overflow的数据可以看出，2015年开始Spark每月的问题提交数量也已经超过Hadoop。2019年排名Spark第一，PySpark第二；而十年的累计排名是Spark第一，PySpark第三。按照这个趋势发展下去，Spark和PySpark在未来很长一段时间内应该还会处于垄断地位。

1.3. Spark VS Hadoop(MapReduce)

Spark和Hadoop技术栈有何区别呢？
HadoopSpark类型基础平台，包含计算、存储、调度纯计算工具（分布式）场景海量数据处理（硬盘迭代计算）海量数据的批处理（内存迭代计算、交互式计算）、海量数据流计算价格对机器需求低、便宜对内存有要求，相对较贵编程范式Map + Value，API较为底层，算法适应性差RDD中间运算结果在内存中，延迟小数据存储结构MapReduce中间计算计算结果在HDFS磁盘上，延迟大RDD中间运算结果在内存中，延迟小运行方式Task以进程方式维护，任务启动慢Task以线程方式维护，任务启动快，可批量传教提高并行能力
尽管Spark相对于Hadoop而言具有较大优势，但Spark并不能完全替代Hadoop

• 在计算层面，Spark相比较MR(MapReduce)有巨大的性能优势，但至今任有许多计算工具基于MR架构，比如非常熟悉的Hive
• Spark仅做计算，而Hadoop生态圈不仅有计算（MR）也有存储（HDFS）和资源管理调度（YARN），HDFS和YARN仍是许多大数据体系的核心架构。

1.4. Spark四大特点

• 运行速度快
• 易于使用
• 通用性强
• 适用环境广

速度快

由于Apache Spark支持内存计算，并且通过DAG（有向无环图）执行引擎支持无环数据流，所以官方宣称其在内存中的运算速度要比Hadoop的MapReduce快100倍，在硬盘中要快10倍。

Spark处理数据与MapReduce处理的数据相比，有如下两个不同点：

• 其一、Spark处理数据时，可以将中间处理结果数据存储到内存中；
• 其二、Spark提供了非常丰富的算子（API），可以做到复杂任务在一个Spark程序中完成。

易于使用

Spark的版本已经更新到Spark 3.3.1 (截至日期2022.11.15)，支持了包括Java、Scala、Python、R和SQK语言在内的多种语言，为了兼容Spark2.x企业应用场景，Spark仍然持续更新Spark2版本。

df = spark.read.json("logs.json")
df.where("age > 21").select("name.firest").show()

通用性强

在Spark的基础上，Spark还提供了包括Spark SQL、Spark Streaming、MLlib及GraphX在内的多个工具库，我们可以在一个应用中无缝地使用这些工具库。

运行方式

Spark支持多种运行方式，包括在Hadoop和Mesos上，也支持Standalone的独立运行模式，同时也可以运行在云Kuberbetes上。

对于数据源而言，Spark支持从HDFS、HBase、Cassandra及Kafka等多种途径获取数据。

1.5. Spark框架模块简述

整个Spark框架模块包含：Spark Core、Spark SQL、 Spark Streaming、Spark GraphX、Spark MLlib，而后四项的能力都是建立在核心引擎之上。

Spark Core: Spark的核心，Spark核心功能均由Spark Core模块提供，是Spark运行的基础。SparkCore以RDD为数据抽象，提供Python、Java、Scala、R语言的API，可以编程进行海量离线数据批处理计算。

SparkSQL： 基于SparkCore之上，提供结构化数据的处理模块。可以以SparkSQL为基础，进行数据的流式计算。

SparkStreaming：以SparkCore为基础，提供数据的流式计算功能。

MLlib：以SparkCore为基础，进行机器学习计算，内置了大量的机器学习库和API算法等。方便用户以分布式计算的模式进行机器学习计算。

GraphX: 以SparkCore为基础，进行图计算，提供了大量的图计算API，方便用于以分布式计算模式进行图计算。

1.6. Spark的运行模式

Spark提供多种运行模式，包括：

• 本地模式（单机）
• Standalone模式（集群）
• Hadoop****YARN模式（集群）
• Kubernetes模式（容器集群）
• 云服务模式（运行在云平台）
• …

1.7. Spark的架构角色

Spark运行角色

Spark中由4类角色组成整个Spark的运行时环境：

• Master角色，管理整个集群的资源
• Worker角色，管理单个服务器的资源
• Driver角色，管理单个Spark任务在运行的时候的工作
• Executor角色，单个任务运行的的时候的一堆工作者，干活的。

从两个层面划分：
资源管理层面：

• 管理者: Spark是Master角色，YARN是ResourceManger
• 工作中：Spark是Work角色，YARM是NodeManger

从任务执行层面：

• 某任务管理者：Spark是Driver角色，YARN是ApplicationMaster
• 某任务执行者：Spark是Executor角色，YARN是容器中运行的具体工作进程

注：正常情况下Executor是干活的角色，不过在特殊场景下（Local模式）Driver可以即管理又干活。

Spark解决了什么问题？

海量数据的计算，可以进行离线批处理以及实时流计算

Spark有哪些模块？

核心SparkCore、SQL计算（SparkSQL）、流计算（SparkStreaming）、图计算（GraphX）、机器学习（MLlib）

Spark特点有哪些？

速度快、使用简单、通用性强、多种模式运行

Spark的运行模式？

• 本地模式
• 集群模式（StandAlone、YARN、K8S）
• 云模式

Spark的运行角色（对比YARN）？

• Master：集群资源管理 （类同ResourceManager）
• Worker： 单机资源管理 (类同NodeManager)
• Driver：单任务管理者 （类同ApplicationMaster）
• Executor：但认为执行者 (类同YARN容器内的Task) k的运行角色（对比YARN）？
• Master：集群资源管理 （类同ResourceManager）
• Worker： 单机资源管理 (类同NodeManager)
• Driver：单任务管理者 （类同ApplicationMaster）
• Executor：但认为执行者 (类同YARN容器内的Task)