Spark 基本知识介绍

文章目录

1. Spark是什么

Spark是用于大规模数据处理的统一分析引擎。

Spark 最早源于一篇论文 Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing，该论文是由加州大学柏克莱分校的 Matei Zaharia 等人发表的。论文中提出了一种弹性分布式数据集（即 RDD）的概念。

RDD是一种分布式内存抽象，其使得程序员能够在大规模集群中做内存运算，并且有一定的容错方式。而这也是整个Spark的核心数据结构，Spark整个平台都围绕着RDD进行。

Spark借鉴了MapReduce思想发展而来，保留了其分布式并行计算的优点并改进了其明显的缺陷。让中间数据存储在内存中提高了运行速度，并提供丰富的操作数据的API提高了开发速度。

2. Spark与Hadoop区别

hadoopspark类型基础平台，包含计算，存储，调度纯计算工具（分布式）场景海量数据批处理（磁盘迭代计算）海量数据的批处理（内存迭代计算，交互式计算），海量数据流计算，机器学习，图计算价格对机器要求低，便宜对内存有要求，相对较贵编程范式Map+Reduce，API较为底层，算法适应性差RDD组成DAG有向无环图，API较为顶层，方便使用数据存储结构MapReduce中间计算结果在HDFS磁盘上，延迟大RDD中间运算结果在内存中，延迟小运行方式Task以进程方式维护，任务启动慢Task以线程方式维护，任务启动快，可批量创建提高并行能力
虽然Spark相对Hadoop而言有较大的优势，但Spark并不能完全代替Hadoop，Spark仅能做计算，而Hadoop生态圈不仅有计算（MapReduce），还有存储（HDFS）和资源管理调度（YARN）。

Hadoop中的MR中每个map/reduce task都是一个java进程方式运行，好处在于进程之间是互相独立的，每个task独享进程资源，没有互相干扰，监控方便，但是问题在于task之间不方便共享数据，执行效率比较低。比如多个map task读取不同数据源文件需要将数据源加载到每个map task中，造成重复加载和浪费内存。而基于线程的方式计算是为了数据共享和提高执行效率，Spark采用了线程的最小的执行单位，但缺点是线程之间会有资源竞争。

3. Spark四大特点

3.1 速度快

由于Apache Spark支持内存计算，并且通过DAG（有向无环图）执行引擎支持无环数据流，所以官方宣称其在内存中的运算速度要比Hadoop的MapReduce快100倍，在硬盘中要快10倍。

Spark处理数据与MapReduce处理数据相比，有如下两个不同点：

• Spark处理数据时，可以将中间处理结果数据存储到内存中；
• Spark 提供了非常丰富的算子(API), 可以做到复杂任务在一个Spark 程序中完成

3.2 易于使用

Spark支持了包括 Java、Scala、Python 、R和SQL语言在内的多种语言。

3.3 通用性强

在 Spark 的基础上，Spark 还提供了包括Spark SQL、Spark Streaming、MLib 及GraphX在内的多个工具库，我们可以在一个应用中无缝地使用这些工具库。

3.4 运行方式

Spark 支持多种运行方式，包括在 Hadoop 和 Mesos 上，也支持 Standalone的独立运行模式，同时也可以运行在云Kubernetes（Spark 2.3开始支持）上。

对于数据源，Spark 支持从HDFS、HBase、Cassandra 及 Kafka 等多种途径获取数据。

4. Spark整体框架

整个Spark 框架模块包含：Spark Core、 Spark SQL、 Spark Streaming、 Spark GraphX、 Spark MLlib，而后四项的能力都是建立在Spark Core之上。

• Spark Core：Spark的核心，Spark核心功能均由Spark Core模块提供，是Spark运行的基础。Spark Core以RDD为数据抽象，提供Python、Java、Scala、R语言的API，可以编程进行海量离线数据批处理计算。
• SparkSQL：基于SparkCore之上，提供结构化数据的处理模块。SparkSQL支持以SQL语言对数据进行处理，SparkSQL本身针对离线计算场景。同时基于SparkSQL，Spark提供了StructuredStreaming模块，可以以SparkSQL为基础，进行数据的流式计算。
• SparkStreaming：以SparkCore为基础，提供数据的流式计算功能。
• MLlib：以SparkCore为基础，进行机器学习计算，内置了大量的机器学习库和API算法等。方便用户以分布式计算的模式进行机器学习计算。
• GraphX：以SparkCore为基础，进行图计算，提供了大量的图计算API，方便用于以分布式计算模式进行图计算。

5. Spark运行模式

Spark提供多种运行模式，主要包括以下四种：

1. 本地模式（单机）：本地模式就是以一个独立的进程，通过其内部的多个线程来模拟整个Spark运行时环境
2. Standalone模式（集群）：Spark中的各个角色以独立进程的形式存在，并组成Spark集群环境
3. Hadoop YARN模式（集群）：Spark中的各个角色运行在YARN的容器内部，并组成Spark集群环境
4. Kubernetes模式（容器集群）：Spark中的各个角色运行在Kubernetes的容器内部，并组成Spark集群环境

6. Spark架构角色

6.1 YARN角色

资源管理层面：

• 集群资源管理者（Master）：ResourceManager
• 单机资源管理者（Worker）：NodeManager

任务计算层面：

• 单任务管理者（Master）：ApplicationMaster
• 单任务执行者（Worker）：Task（容器内计算框架的工作角色)

6.2 Spark 角色

Spark中由4类角色组成整个Spark的运行时环境

• Master角色，管理整个集群的资源 类比于YARN的ResourceManager
• Worker角色，管理单个服务器的资源 类比于YARN的NodeManager
• Driver角色，管理单个Spark任务在运行的时候的工作 类比于YARN的ApplicationMaster
• Executor角色，单个任务运行的时候的一堆工作者，专门干活的，类比于YARN的容器内运行的task

从资源管理层面划分：

• 管理者：Spark是Master角色，YARN是ResourceManager
• 工作者：Spark是Worker角色，YARN是NodeManager

从任务执行层面：

• 任务管理者：Spark是Driver角色，YARN是ApplicationMaster角色
• 任务执行者：Spark是Executor角色，YARN是容器中运行的具体工作进程

正常情况下Executor是干活的角色，但是在Local模式下，Driver既可以干活又要管理