记 搭建pycharm远程开发spark应用的艰难过程

意义：

`搭建pycharm远程开发spark 意义在于。我们只需要在pycharm来手动生成执行spark python项目，在linux下默认会生成spark 项目的python文件。不需要在linux下手动新建spark python文件，然后再执行。总之比较方便。

版本

1. pycharm 2022 专业版
2. jdk 1.8
3. spark 2.4.4
4. scala 2.12
5. hadoop 2.7.7
6. python解释器 (3.8.10) (3.7.0) (3.6.1) (3.5.3)（我这里有四个python解释器，系统默认3.8.10，另外三个是我自己装的）
7. Ubuntu系统 20.04.5

pycharm连接linux：

2.

pycharm部署linux下的python环境：

编写spark程序

接着在pycharm新建python文件 编写python spark程序

from pyspark import SparkContext
sc = SparkContext("spark://192.168.40.142:7077", "WordCountApp")
rs = sc.textFile("/home/test/wc.txt").flatMap(lambda line: line.split(" ")).map(lambda w: (w, 1)).reduceByKey(lambda x, y: x+y).sortBy(lambda x:x[1], False).collect()
for e in rs:
   print(e)

运行报了个错误

错误1 ：JAVA_HOME is not set,RuntimeError

报错一个主要信息就是 JAVA_HOME is not set,RuntimeError。意思是没有设置Java环境变量。我们知道，spark底层是由Scala语言编写的。而Scala是运行在jvm上的。而pyspark只需要用python语言就能够执行spark项目，不需要用用Scala语言来编写。减少学习成本，这里我多插两嘴，简单说说spark，pyspark的执行过程。

• 比如我想要统计单词出现次数频率的spark项目。它整个过程是怎么样的呢？在driver program中，首先创建sparkcontext对象，这个spark context就是整个过程的指挥官，里面写的该怎么执行单词统计，计算需要的cpu，内存空间资源的多少等等。然后spark context会向cluster manager申请注册资源。cluster manager收到来自spark context所需要资源，就会分配给两个executor运行资源，然后并向spark context指挥官申请工作内容并交给task执行。executor监控task的运行状态，并向cluster manager发送心跳信息，告诉cluster manager我还活着，我在还工作。 在整个过程 spark context就好比与项目经理，写着整个过程要做什么。cluster manager就是人力资源，或者说是中介，给经理提供人力物力。worker node类比于个车间，车间里面有task，task就是打工仔，专门来干活的，而executor 比task高一个等级，他就是task组长监控task有没有在工作。

• pyspark整个过程是这样的。py4j是python和scala之间的桥梁。python创建spark context对象会通过py4j在jvm实例化生成spark context对象，实质上就是python通过py4j调用Java的方法。然后生成 spark context对象，spark context把工作内容代码交给spark worker执行。而在spark node当中，executor执行不了python文件，只能执行java文件。所以必须配置python环境变量，单独开辟python进程，通过socket通信将python语句交给python进程来执行。

解决办法
根据上述spark，和pyspark执行过程。这个错误就很容易解决了。只需在python文件配置Linux下java环境。因为你一开始实例化spark contex对象是在jvm上面实例化的，而jdk包含jvm，因此要配置jdk环境变量。

运行之前保证你的linux下Hadoop，和spark进程都要开启。
之后又报错

错误2：22/10/14 20:28:34 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable

22/10/14 20:29:36 ERROR StandaloneSchedulerBackend: Application has been killed. Reason: All masters are unresponsive! Giving up.
22/10/14 20:29:36 WARN StandaloneSchedulerBackend: Application ID is not initialized yet.
报错内容意思是:1.无法加载hadoop库2.应用进程被杀死，原因 因为所有master进程没回应，放弃。3.应用没有被初始化。
解决办法:在python文件配置spark环境变量即可,原因在于python执行的是spark项目，需要spark环境才可以运行。意思是上述python代码 需要python环境+spark环境+jdk环境才可以执行。

接着运行又报了个错误

错误3.py4j.protocol.Py4JError: org.apache.spark.api.python.PythonUtils.isEncryptionEnabled does not exist in the JVM

jvm当中没有isEncryptionEnabled。解决办法在最上面添加两行代码

#添加此代码
import findspark
findspark.init()
#添加此代码
 
from pyspark import SparkConf, SparkContext

作用就是初始化找到本机安装的spark的环境

这里要注意你inux下python要有findspark库。不然也会报错，no modular name findspark。一般默认没有的，这是你要下载个findspark，但是有些python版本是不自带pip，所有首先第一步先下载pip
关于下载pip可以参考这个博客
下载完会在你当前路径下生成 get-pip.py 文件。在之前这条命令之前要先安装curl，照着错误提示安装curl，安装curl过程会报很多错误，那个可以不用管。

curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py # 下载安装脚本

这里注意，你用那个版本python运行安装脚本，pip会自动安装到那个python版本

sudo python get-pip.py # 运行安装脚本

你用那个版本python，就用对应的pip

pip install findspark  下载findspark库

下载完后运行

错误4TypeError: an integer is required (got type bytes)

上网查找原因他们说 spark2.4.4不支持python3.8，只需要另外安装python3.8一下的版本。选择python3.8以下的解释器运行这个文件就可以了
关于如何安装python可以参考别的博客
(https://blog.csdn.net/weixin_48960305/article/details/125143116)

接着一顿操作，安装完python，重新配置linux下的python环境。选择python3.8以下的解释器
这里注意在编译和安装python过程中会报一下小错误，要留意错误信息。但是并不影响你安装成功。

接着又报错。哈哈哈哈哈笑拉了

错误5 ImportError: No module named ‘_ssl’

原因在于在编译安装python时候，没有把ssl模块编译进去。而ssl模块编译需要一些依赖环境

解决办法:先安装下面两个依赖环境。一开始在网上搜索说要安装openssl-delvel。我试了报了个错误，无法地位软件报e 结果发现这个只有在centos7才有的，而ubuntu是下载下面对应两个《可以参考这个博客》，《关于安装openssl另外一种方法》

sudo apt-get install openssl

sudo apt-get install libssl-dev

sudo apt-get install libffi-dev   #这个不安装会报 错误6

安装完进入python配置目录 我这里是是/home/wfh/Python3.5/Modules
修改两个文件

vim Setup.dist
vim  Setup

将这五行注释全部去掉，然后重新编译安装python。在pychram 部署linux下python3.7解释器。可以部署成功不报刚刚那个错误。接着运行程序

又报另外一个错误。也是没有_ctypes这个模块

错误6 NO module named ‘_ctypes’

上网寻找解决办法，和上一个no module ssl很相似。只需要安装环境依赖就可以了,重头编译安装python

sudo apt-get install libffi-dev

最后重新运行程序

成功!!! 呜呜呜呜呜
写于 -2022/10/15 13:39 秋 —by wfh