0
0

WSL + Vscode一站式搭建Hadoop伪分布式 + Spark环境

Wsl2 + VsCode 一站式搭建Hadoop + Spark环境

想要搭建Linux、Hadoop、Spark等环境,现在通常的做法是在VM、Virtualbox等软件上安装虚拟机
本文介绍在windows子系统(Windows Subsystem for Linux)上搭建相关环境并使用vscode进行Spark程序开发

WSL2环境准备

简单来说只需在

  1. PowerShell

一行命令 

  1. wsl --install

即可
默认安装

  1. Ubuntu

WSL2安装官方文档详细请见
https://learn.microsoft.com/zh-cn/windows/wsl/setup/environment

PowerShell中键入

  1. ubuntu

即可进入wsl环境
注意到Windows文件资源管理器已经多了一只

  1. linux

小企鹅，可以像访问Windows文件资源一样访问Wsl
文件资源管理器

搭建Hadoop伪分布式环境

资源准备

  • 修改/opt目录权限:sudo chown -R yourname /opt # 以下的用户名xuxin替换为用户姓名.
  • 在/opt目录下新建两个文件夹module 和 software /opt/software目录下准备jdk-1.8和hadoop-3.2.3****jdk:< Java Downloads | Oracle>hadoop:<Apache Hadoop>
  • 将下载好的文件直接复制粘贴进/opt/software目录下![![[Pasted image 20231112164154.png]]](https://i-blog.csdnimg.cn/blog_migrate/7d63e66e1cd8f6cf3c2c02e366f9b760.png)
  • 解压文件
  1. tar -zxvf /opt/software/jdk-8u212-linux-x64.tar.gz -C /opt/module/
  2. tar -zxvf /opt/software/hadoop-3.2.3.tar.gz -C /opt/module/

配置ssh服务

  • 安装ssh serversudo apt install openssh-server
  • 配置免密登录
  1. cd ~/.ssh/    # 若没有该目录,先执行ssh localhost
  2. ssh-keygen -t rsa    # 出现提示,全部回车即可
  3. cat ./id_rsa.pub >> ./authorized_keys

配置Java环境

  • 修改.bashrc文件vim ~/.bashrc 添加以下内容
  1. export JAVA_HOME=/opt/module/jdk1.8.0_212
  2. export PATH=${JAVA_HOME}/bin:$PATH
  • 使配置文件生效source ~/.bashrc
  • 出现以下内容表示java环境搭建完成java -versionjava

配置hadoop环境

  • 修改core-site.xml文件
  1. cd /opt/module/hadoop-3.2.3
  2. vim ./etc/hadoop/core-site.xml
  • 改为如下配置
  1. <configuration>
  3. <property>
  4. <name>hadoop.tmp.dir</name>
  5. <value>file:/opt/module/hadoop-3.2.3/tmp</value>
  6. <description>Abase for other temporary directories.</description>
  7. </property>
  9. <property>
  10. <name>fs.defaultFS</name>
  11. <value>hdfs://localhost:9000</value>
  12. </property>
  14. <!-- 
  15.  Access hadoop ui，Use your username
  16.   -->
  17. <property>
  18. <name>hadooop.http.staticuser.user</name>
  19. <value>xuxin</value>
  20. </property>
  22. </configuration>
  • 同样修改hdfs.xml文件
  1. cd /opt/module/hadoop-3.2.3
  2. vim ./etc/hadoop/hdfs-site.xml
  • 改为如下配置
  1. <configuration>
  3. <property>
  4. <name>dfs.replication</name>
  5. <value>1</value>
  6. </property>
  8. <property>
  9. <name>dfs.namenode.name.dir</name>
  10. <value>file:/opt/module/hadoop-3.2.3/tmp/dfs/name</value>
  11. </property>
  13. <property>
  14. <name>dfs.datanode.data.dir</name>
  15. <value>file:/opt/module/hadoop-3.2.3/tmp/dfs/data</value>
  16. </property>
  18. </configuration>
  • namenode初始化
  1. cd /opt/module/hadoop-3.2.3
  2. ./bin/hdfs namenode -format
  • 出现类似日志信息表示初始化成功namenode
  • 启动hdfs
  1. cd /opt/module/hadoop-3.2.3/
  2. ./sbin/start-dfs.sh
  • 浏览器访问localhost:9870可访问web页面 Utilities -> Browse the file system 查看hdfs文件系统
  • 如果需要web端进行操作,可以在Hadoop目录下关闭安全模式./bin/hadoop dfsadmin -safemode leave

运行wordcount示例代码

  • 创建 test.txt文件
  1. cd /opt/module/hadoop-3.2.3/
  2. mkdir input
  3. vim test.txt
  • 测试文件内容
  1. I learn C language
  2. I like Java
  3. I do not like Python
  • hdfs创建用户目录./bin/hadoop fs -mkdir -p /user/xuxin
  • 由于指定了用户目录,因此在命令中就可以使用相对路径如 input，其对应的绝对路径就是 /user/xuxin/input./bin/hadoop fs -put ./input input
  • 在web端可见已经上传成功
  • 运行实例wordcount代码./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.3.jar wordcount input output
  • 查看output输出./bin/hadoop fs -cat output/*wordcount

OK,至此成功完成hadoop环境准备

Spark简单示例

资源准备

  • 下载spark-3.2.4版本 <Downloads | Apache Spark>
  • 同样的方式将文件直接复制粘贴进/opt/software目录下
  • 解压
  1. cd /opt/software
  2. tar-zxvf ./spark-3.2.4-bin-hadoop3.2.tgz -C../module

配置spark环境

  • 修改配置文件
  1. mv spark-env.sh.template spark-env.sh
  2. vim spark-env.sh
  • 添加一行export SPARK_DIST_CLASSPATH=$(/opt/module/hadoop-3.2.3/bin/hadoop classpath)

运行示例代码

  1. cd /opt/module/spark-3.2.4-bin-hadoop3.2
  2. ./bin/run-example SparkPi
  • 运行结果
  • 观察到输出结果: Pi is roughly 3.1451557257786287

配置PySpark环境

Spark On Yarn

yarn准备

  • 修改mapred-site.xml配置文件
  1. cd /opt/module/hadoop-3.2.3/etc/hadoop
  2. vim mapred-site.xml

添加以下内容

  1. <property>
  2. <name>mapreduce.framework.name</name>
  3. <value>yarn</value>
  4. </property>
  • 修改 yarn-site.xml配置文件vim yarn-site.xml
  1. <property>
  2. <name>yarn.nodemanager.aux-services</name>
  3. <value>mapreduce_shuffle</value>
  4. </property>
  • 开启yarn./sbin/start-yarn.sh 查看当前进程jps
  • 可以简单编写脚本方便hadoop启动与关闭- 简单参考 my_hadoop.sh
  1. #!/bin/bashif[$#-lt1]thenecho"No Args Input..."exit;ficase$1in"start")echo"==================== 启动 hadoop集群 ===================="echo"------------- 启动 hdfs -------------""/opt/module/hadoop-3.2.3/sbin/start-dfs.sh"echo"------------- 启动 yarn -------------""/opt/module/hadoop-3.2.3/sbin/start-yarn.sh"echo"GO SEE http://localhost:9870/explorer.html#/ EXPLORE YOUR HDFS!";;"stop")echo"==================== 关闭 hadoop集群 ===================="echo"------------- 关闭 yarn -------------""/opt/module/hadoop-3.2.3/sbin/stop-yarn.sh"echo"------------- 关闭 hdfs -------------""/opt/module/hadoop-3.2.3/sbin/stop-dfs.sh";;
  2. *)echo"Input Args Error...";;esac
  1. my_hadoop.sh start # 开启hdfs & yarn
  2. my_hadoop.sh stop  # 关闭yarn & hdfs

安装Miniconda3

  • 资源准备 <Miniconda — miniconda documentation> 选择Linux版本下载
  • 同样方式复制到/opt/software目录下并运行
  1. cd /opt/software
  2. bash ./Miniconda3-latest-Linux-x86_64.sh
  • 跟着指引安装即可, 安装目录可以选择 /opt/module/miniconda3
  • 安装完成在这里插入图片描述
  • 重启shell可以看见前边多了一个(base)
  • 创建conda虚拟环境conda create -n pyspark python=3.10

配置spark文件

  • 在spark-env.sh文件中添加:
  1. HADOOP_CONF_DIR=/opt/module/hadoop-3.2.3
  2. YARN_CONF_DIR=/opt/module/hadoop-3.2.3
  • 在.bashrc中添加配置:
  1. export PYSPARK_PYTHON=/opt/module/miniconda3/envs/pyspark/bin/python
  2. export PYSPARK_DRIVER_PYTHON=/opt/module/miniconda3/envs/pyspark/bin/python

Vscode配置远程连接

插件准备及python解释器选择

  • 安装Remote Development插件
  • 安装Python插件在这里插入图片描述
  • 左侧找到远程资源管理器选择Ubuntu并在当前窗口连接在这里插入图片描述
  • 在家目录创建pyspark-project文件夹
  1. cd ~
  2. mkdir pyspark-project
  1. conda activate pyspark
  2. pip installpyspark==3.2.0  # pyspark版本不能太高,否则有兼容性问题
  • python选择pyspark虚拟环境为解释器在这里插入图片描述

测试WordCount程序

  • 编写word_count.py程序
  1. # coding:utf8'''
  2. word_count.py
  3. 单词计数
  4. '''from pyspark import SparkConf, SparkContext
  6. if __name__ =='__main__':
  7.     conf = SparkConf().setAppName("WordCount")
  8.     sc = SparkContext(conf=conf)
  10.     input_path ="input/test.txt"
  12.     file_rdd = sc.textFile(input_path)
  14.     words_rdd = file_rdd.flatMap(lambda line: line.split(" "))
  16.     words_with_one_rdd = words_rdd.map(lambda x:(x,1))
  18.     result_rdd = words_with_one_rdd.reduceByKey(lambda a, b: a + b)
  20.     result_rdd.coalesce(1).saveAsTextFile("output")
  • 执行代码
  1. cd /opt/module/spark-3.2.4-bin-hadoop3.2
  2.  ./bin/spark-submit --masteryarn ~/pyspark-project/test/word_count.py
标签： vscode hadoop spark
本文转载自: https://blog.csdn.net/Milv_xx/article/details/134365873
版权归原作者 Milv_xx 所有， 如有侵权，请联系我们删除。
登录后发布评论

“WSL + Vscode一站式搭建Hadoop伪分布式 + Spark环境”的评论:

还没有评论
关于作者
...
overfit同步小助手
文章同步
相关阅读

网络安全法-网络运行安全

使用selenium/drissionpage时如何阻止chrome自动跳转http到https

docker desktop 里部署的Open WebUI 管理员密码忘记了的处理方法

在ubuntu20.04中搭建onsite比赛运行环境

利用开源的低代码表单设计器FcDesigner高效管理和渲染复杂表单结构

Kafka学习笔记

【前端】浏览器输入url到页面呈现发生了什么？