hive on spark 时，executor和driver的内存设置，yarn的资源设置

hive on spark 时，executor和driver的内存设置，yarn的资源设置。
在使用Hive on Spark时，需要进行以下三个方面的内存和资源设置：

1. Executor的内存设置 在使用Hive on Spark时，需要根据数据量和任务复杂度等因素，合理地设置每个Executor的内存大小。通常情况下，每个Executor需要留一部分内存给操作系统和其他进程使用，同时为了避免过度调度，每个Executor的内存大小不应过小。一般而言，每个Executor的内存大小需要在4GB到8GB之间。 可以通过设置以下参数来设置每个Executor的内存大小：

        spark.executor.memory

1. Driver的内存设置 在使用Hive on Spark时，Driver负责向集群中提交作业，并监控作业的进度和状态。因此，需要根据数据量和任务复杂度等因素，合理地设置Driver的内存大小。通常情况下，Driver需要保证有足够的内存来存储数据和执行查询计划。一般而言，Driver的内存大小需要在2GB到4GB之间。

可以通过设置以下参数来设置Driver的内存大小：

        spark.driver.memory

1. YARN的资源设置 YARN负责管理集群中的资源分配和任务调度，因此需要对其进行相应的资源设置。在使用Hive on Spark时，可以通过设置以下参数来调整YARN的资源：

        yarn.scheduler.maximum-allocation-mb

这个参数用来设置YARN每个节点上的最大可用内存大小。通常情况下，需要根据每个节点的物理内存大小来设置该参数。

        yarn.nodemanager.resource.memory-mb

这个参数用来设置YARN每个节点上可用的总内存大小。通常情况下，需要根据每个节点的物理内存大小来设置该参数。同时需要注意的是，该参数的值应该大于等于

yarn.scheduler.maximum-allocation-mb。

        yarn.scheduler.minimum-allocation-mb

这个参数用来设置YARN每个节点上最小可用内存大小。通常情况下，该参数的值应该等于每个Executor的内存大小。