Spark 为什么比 Hive 快

文章目录

数据处理方式不同

Spark 是基于内存计算的分布式计算框架，可以在内存中高效地执行数据操作，因此通常比 Hive 更快。Spark 会尽可能将数据加载到内存中，并在内存中执行多个操作，从而避免了频繁的磁盘读写，提高了处理速度。在处理大规模数据时，由于内存资源的限制，Spark 会将部分数据写入磁盘进行临时存储或分片处理。

Hive 是基于 Hadoop 的数据仓库工具，它将 Hive SQL 查询转换为 MapReduce 作业来执行。由于 MapReduce 的特性，Hive 在处理大规模数据时可能会出现较高的延迟，因为它需要频繁地将数据写入和读取磁盘，Shuffle 操作会导致花费的时间代价比较大。

在数据处理方式方面，Spark 胜。

并行方式不同

Spark 采用线程级并行，而 Hive 采用进程级并行。

Spark 在运行时会启动一个主进程，然后为每个任务启动一个或多个执行线程。这些执行线程在同一个 JVM 中运行，共享内存和其他资源，因此对于每个任务来说，资源管理相对较简单。由于线程级并行可以共享内存和其他资源，因此在任务之间的数据交换和通信开销较小，可以更高效地利用系统资源，提高性能。

而 Hive 会为每个查询启动一个独立的 MapReduce 作业，每个作业都会启动多个进程来执行不同的任务。这些进程在不同的 JVM 中运行，需要独立管理资源，包括内存、CPU 等，因此在资源管理方面相对复杂。进程级并行中，每个进程都会独立占用系统资源，可能导致资源的浪费和性能下降，尤其是在大规模并发查询时。

在并行方式方面，Spark 胜。

稳定性不同

由于 Spark 使用的是内存计算，在处理大规模的数据时，需要足够的内存资源，否则可能会发生 OOM 或者导致计算速度非常缓慢。

那么在稳定性方面，Hive 优于 Spark，这是因为在 MR 任务中，数据总是按照块分片进行处理，每块数据都可以独立地读取和处理，并不需要将所有数据都加载到内存中，因此它对内存的需求远低于Spark。在内存达到阈值时会进行溢写，然后再归并，最后完成分析计算。

在稳定性方面，Hive 胜。

Shuffle 方式不同

Spark Shuffle 主要在内存中进行，通常比 Hive Shuffle 更快速、更高效，尽可能的减少了磁盘读写，通过优化算法和数据结构提高效率。

Hive Shuffle 则依赖于 MapReduce 框架，性能和效率取决于 MapReduce 框架的特性和调优参数，会受到大量磁盘读写的影响。

在 Shuffle 方式方面，Spark 胜。