本文是关于如何使用pycharm下面执行spark相关操作,spark搭建的是单机模式。
1.安装单机模式的spark
1.1 下载spark
下载地址:https://archive.apache.org/dist/spark/
我选取的是spark-3.1.2-bin-hadoop3.2.tgz
1.2 上传压缩包
将下载好的spark压缩包通过xftp传输到hadoop102的/opt/module(集群节点)目录下面
直接拖到过去就行了
1.3 解压缩包
tar -zxvf spark压缩包 -C 解压路径
我使用的是
tar -zxvf spark-3.1.2-bin-hadoop3.2.tgz -C /opt/software/
1.4 修改文件名
mv spark-3.1.2-bin-hadoop3.2/ spark
1.5 将spark添加到环境变量
输入命令:sudo vim /etc/profile.d/my_env.sh
上面添加环境变量的目录是我个人创建的,大家可根据自己的情况完成spark的添加到环境变量
1.6 刷新一下环境
source /etc/profile.d/my_env.sh
1.6 启动测试
进入到spark里面 cd /opt/software/spark
执行
bin/spark-shell
出现以上界面,至此spark的单机安装成功!
2.spark的交互式开发
2.1 交互式开发
交互式开发:通过指令进入交互终端,在命令行直接进行开发
2.2 spark的交互式开发
spark有很多方式可以进行交互式开发
在我们的bin目录下面
其中:
pyspark:支持使用python开发
spark-shell:支持使用scala和java开发
sark-sql:支持sql进行开发
sparR:支持R语言进行开发
注意:在本章中是使用的python语言进行开发
3.使用python对spark进行交互式开发
3.1 执行 pyspark
报错了,并且说没有python3
因为spark使用python进行交互式开发时,依赖的python版本是python3
3.2 安装python3
python3的安装可以借助anconada工具完成,anconada中自带了python3,同时Anconada还集成了各自python的科学计算库(pandas,numpy等),因此我们选用Anconada安装python3.
3.3 下载Anconada
下载地址:
https://www.anaconda.com/download
3.4 安装Anconada
3.4.1:
将下载好的Anconada通过xftp传输到hadoop102的/opt/software目录下面:
直接拖过来就行
3.4.2:
在Anconada的安装目录下面的software执行:sh Anaconda3-2023.03-1-Linux-x86_64.sh
3.4.3:
出现了 >>> 请按 回车
3.4.4:
然后一直回车到有个no >>> 输入yes
3.4.5:
输入yes之后输入:/opt/software/anconada3
此时就会联网按照,下载python3以及一些模块
3.4.5
最后,有个no >>> 输入yes
注意安装完成之后需要重启服务
3.5 再次执行pyspark
bin/pyspark
此时就可以使用python代码执行spark了
出现以上模样,至此使用python对spark进行交互式开发以及完成了!
基于python对spark的三种开发方式
4.1 交互式开发
就是直接通过命令行开发。
比如:
此时data是一个列表
如果我们想要对data进行spark计算,那么就需要将这个list类型的data转化为spark的RDD。
当我们进入交互模式的时候,会生成一个sc,该sc中的方法可以将python中的数据类型转化为RDD。
此时我们已经转为为了RDD了,那么如果想要数据处理的话,则可以RDD当中提供的各种算子了
当然,这只是简单的了解一下,后面会进行详细的学习解释。
注意:可以使用ctrl + z 退出交互模式
4.2 脚本式开发
脚本式开发其实就是将交互式开发的代码写入文件中,通过运行文件的方式从而允许计算程序。
我们主要了解下面一种开发模式,有兴趣的小伙伴可以自行了解。
4.3 使用pycharm远程开发
4.3.1 导入模块
pip install pyspark==3.1.2 -i https://pypi.tuna.tsinghua.edu.cn/simple
-i 指定安装源为国内的安装源
4.3.2 使用pycharm中的ssh连接服务器
进入到 > tools > SSH Configurations 然后按照下图配置
点击测试
到此 使用pycharm连接ssh就ok了。
注意:我们的pycharm必须是专业版。
4.3.3 使用pycharm执行spark代码
首先pycharm执行的是本地的python环境,我们需要将pycharm的运行环境指定到刚刚我们在虚拟机下载的anconda3里面的python3里面去。
(1)进入到 Python interpreter里面去
(2)点击 右边Add
(3)点击 SSH Interpreter > 第二个按钮 > 选择远程连接
(3)python环境和目录连接
Interpreter中配置你的python3路径
Sync folders 中配置本地项目路径 和 远程连接的虚拟机目录建立连接(在opt下面创建目录spark),点击Finish,那么这样我们在本地py文件,就能同步到远程目录下面了
4.3.4 pycharm连接xftp
一旦当我们配置好了python3的环境之后,pycharm就会自动创建一个远程的映射目录,
如下图所示进行查看:
点击,我们就可以操作并且查看远程目录
5.测试
5.1 ssh连接测试
点击terminal,然后如下图所示点击进去
连接成功!
5.2 spark运行代码测试
直接在pycharm里面编写代码
运行成功 结果为 21!
5.3 xftp测试
查看远程目录,如下图右方所示
进入/root/spark.test
此时已经同步了test1代码了
点击 test1查看代码
至此 pycharm关于spark单机模式下的基本配置已经完成!
注意事项:
上述安装的所有都必须在root用户下面所有,用户名和所属组都要为root,因为远程连接的时候是以root用户身份连接的。
版权归原作者 嚄825 所有, 如有侵权,请联系我们删除。