- 合理设置executor的内存大小：
在spark-defaults.conf文件中设置spark.executor.memory参数，该参数控制executor的内存大小，一般设置为每个executor的内存大小，可以根据实际情况调整。 - 调整executor的数量：
在spark-defaults.conf文件中设置spark.executor.instances参数，该参数控制executor的数量，一般设置为每个executor的数量，可以根据实际情况调整。 - 调整executor的cores：
在spark-defaults.conf文件中设置spark.executor.cores参数，该参数控制executor的cores，一般设置为每个executor的cores，可以根据实际情况调整。 - 调整spark.sql.shuffle.partitions参数：
在spark-defaults.conf文件中设置spark.sql.shuffle.partitions参数，该参数控制shuffle操作的分区数，一般设置为每个executor的cores的数量，可以根据实际情况调整。 - 调整spark.default.parallelism参数：
在spark-defaults.conf文件中设置spark.default.parallelism参数，该参数控制默认的并行度，一般设置为每个executor的cores的数量，可以根据实际情况调整。 - 调整spark.sql.autoBroadcastJoinThreshold参数：
在spark-defaults.conf文件中设置spark.sql.autoBroadcastJoinThreshold参数，该参数控制自动广播连接的阈值，一般设置为比较小的值，可以根据实际情况调整。 - 调整spark.sql.inMemoryColumnarStorage.compressed参数：
在spark-defaults.conf文件中设置spark.sql.inMemoryColumnarStorage.compressed参数，该参数控制内存中的列存储是否压缩，一般设置为true，可以根据实际情况调整。
本文转载自: https://blog.csdn.net/abxzq19870214/article/details/128364484
版权归原作者 abxzq19870214 所有， 如有侵权，请联系我们删除。
版权归原作者 abxzq19870214 所有， 如有侵权，请联系我们删除。