准备活动：需要scala和spark安装包
0.1-进入scala官网，找到ALL RELEASES选项，点击进入
The Scala Programming Language (scala-lang.org)
0.2-选择你需要的版本下载
0.3-进入spark官网，下载你需要的版本
准备活动完毕，系好安全带准备发车了！！！
scala安装教程
1.下载压缩包并解压到module文件夹
[root@master opt]# tar -zxvf /opt/software/scala-2.13.13.tgz -C /opt/module/
[root@master opt]# cd /opt/module/
2．修改名字
[root@master module]# mv scala-2.13.13/ scala
3.修改配置文件
[root@master module]# vim /etc/profile
在文档底部插入：
export SCALA_HOME=/opt/module/scala
export PATH=$PATH:${SCALA_HOME}/bin
4.验证配置
[root@master module]# source /etc/profile
5.查看Scala版本
[root@master module]# scala -version
Scala code runner version 2.13.13 -- Copyright 2002-2024, LAMP/EPFL and Lightbend, Inc.
[root@master module]# scala
Welcome to Scala 2.13.13 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_152).
Type in expressions for evaluation. Or try :help.
scala>
Spark安装教程
*注意安装包的解压路径
解压安装包
[root@master software]tar -zxvf spark-3.4.2-bin-hadoop3.2.tgz -C /opt/module/
修改名字为spark
[root@master module]# mv spark-2.0.0-bin-hadoop2.6 spark
修改配置文件
[root@master module]# vim /etc/profile
在文档底部插入
export SPARK_HOME=/opt/module/spark
export PATH=$PATH:${SPARK_HOME}/bin
export PATH=$PATH:${SPARK_HOME}/sbin
验证配置文件
[root@master module]# source /etc/profile
进入目录备份文件
[root@master module]# cd /opt/module/spark/conf/
[root@master conf]# cp spark-env.sh.template spark-env.sh
修改配置文件
*注意java的安装路径
[root@master conf]# vim spark-env.sh
export SCALA_HOME=/opt/module/scala
export JAVA_HOME=/usr/local/src
export SPARK_MASTER_IP=master
export SPARK_WOKER_CORES=2
export SPARK_WOKER_MEMORY=2g
export HADOOP_CONF_DIR=/usr/opt/module/hadoop/etc/hadoop
#export SPARK_MASTER_WEBUI_PORT=8080
#export SPARK_MASTER_PORT=7070
[root@master conf]# cd /opt/module/spark/sbin
[root@master sbin]# ./start-all.sh
验证
完全验证
Jps验证
50070端口验证
50090端口验证
8088端口验证
spark :8080端口验证
版权归原作者 泡泡茶壶° 所有， 如有侵权，请联系我们删除。