在pycharm中使用PySpark第三方包时出现环境变量错误

项目场景：

使用python的第三方库pyspark，运行时出现环境变量错误

问题描述

问题如下：

Missing Python executable 'python3', defaulting to 'E:\python\Lib\site-packages\pyspark\bin\..' for SPARK_HOME environment variable. Please install Python or specify the correct Python executable in PYSPARK_DRIVER_PYTHON or PYSPARK_PYTHON environment variable to detect SPARK_HOME safely.

大概意思就是缺少

SPARK_HOME

的环境变量和

PYSPARK_PYTHON

的变量，需要在环境变量中配置

**注意：使用pyspark算子的时候，可能会提示“找不到python解释器”的错误，那么配置

PYSPARK_PYTHON

同样可以解决这个问题**

解决方案：

SPARK_HOME=E:\python\Lib\site-packages\pyspark
PYSPARK_PYTHON=E:\python\python.exe
%SPARK_HOME%\bin…

1. 第一步：

在环境变量里面新建一个

SPARK_HOME

变量，值就是你pyspark安装的地方，我安装到下面的路径了，找自己pyspark安装的路径

E:\python\Lib\site-packages\pyspark

1. 第二步：

然后在添加一个变量

PYSPARK_PYTHON

，变量值填上自己的python解释器的路径，我的路径是

E:\python\python.exe

1. 第三步：

在path路径中添加

SPARK_HOME

的

bin

路径

重启pycharm，再次运行项目，发现成功运行成功

拓展：

刚才提到，使用pyspark算子的时候，可能会报错，提示找不到python解释器，这个一般不是我们代码逻辑的问题，而需要我们做一些配置

1. 第一种方法：按照上面的步骤配置PYSPARK_PYTHON到环境变量，可以解决这个问题
2. 在pycharm中手动配置python解释器

import os
os.environ['PYSPARK_PYTHON']="E:/python/python.exe"

environ本质就是一个字典，添加一个键值对，就是配置python的解释器