spark和scala环境安装与部署，有手就行

spark和scala是基于Hadoop环境部署安装的

1.前往spark和scala官网下载安装包

scala：All Available Versions | The Scala Programming Language (scala-lang.org)

spark：Apache Download Mirrors

2.将安装包导入虚拟机使用xshell或拖拽，这里建议导到opt目录下

3.进行scala的安装与配置

进入虚拟机或使用xshell进行部署（这里我选择用xshell）

解压安装包 tar -zxvf /opt/scala-2.12.12.tgz -C /opt/

配置环境变量

vim /etc/profile

#SCALA

export SCALA_HOME=/opt/scala-2.12.12

export PATH=$PATH:${SCALA_HOME}/bin

图片中箭头的部分是你的安装路径，根据自己的安装路径进行配置

然后source /etc/profile使环境变量生效，接着scala -version查看是否安装成功，出现画线版本号即为成功

4.进行spark安装与部署

1.解压安装spark安装包 tar -zxvf /opt/spark-3.1.1-bin-hadoop3.2.tgz -C /opt/

2.文件名字太长，改名字方便后续操作

3.配置环境变量 vim /etc/profile

#SPARK
export SPARK_HOME=/opt/spark
export PATH=$PATH:${SPARK_HOME}/bin
export PATH=$PATH:${SPARK_HOME}/sbin

4.source /etc/profile使环境生效

5.修改配置文件 进入spark里的conf目录备份文件

6.修改配置文件 在spark下的conf目录打开env vim spark-env.sh

export SCALA_HOME=/opt/scala-2.12.12

export JAVA_HOME=/opt/module/java

export SPARK_MASTER_IP=master

export SPARK_WOKER_CORES=2

export SPARK_WOKER_MEMORY=2g

export HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop

#export SPARK_MASTER_WEBUI_PORT=8080

#export SPARK_MASTER_PORT=7070

7.启动集群：spark下sbin目录下：./start-all.sh

jps查看有master就是对的

8.启动hadoop 进入Hadoop目录下的sbin ./start-all.sh

9.查看spark是否安装成功 返回主目录下输入spark-submit --version

视频教程百度网盘

链接: https://pan.baidu.com/s/1Rz2UrHHrzoFzlEd6E630dA?pwd=1234 提取码: 1234 复制这段内容后打开百度网盘手机App，操作更方便哦