5.1 Spark的安装与使用

第一关 Scala语言开发环境的部署

   ** 1.下载解压**

    在Scala官网根据平台选择下载

Scala

的安装包scala-2.17.7.tgz

    解压到

/app

目录下：

mkdir /app //创建 app 目录

cd /opt

tar -zxvf scala-2.12.7.tgz -C /app

educoder平台已经将解压包下载在

/opt

目录下了，就不需要再从网络下载了，只需要解压即可。

** 2.配置环境**

    进入/etc/profile文件 

vim /etc/profile

    在文件末尾加入如下代码： 

#set scala
SCALA_HOME=/app/scala-2.12.7
export PATH=$PATH:$SCALA_HOME/bin

     让刚才的配置生效：

source /etc/profile

** 3.校验**

    在命令行输入：

scala -version，

出现如下结果表示配置成功。

第二关 安装与配置Spark开发环境

    **1.下载解压安装包**

    从官网下载好安装包spark-2.2.2-bin-hadoop2.7.tgz

    educoder平台已经将

spark

安装包下载到

/opt

目录下了，所以不需要再下载了。

    将压缩包解压到

/app

目录下:

tar -zxvf spark-2.2.2-bin-hadoop2.7.tgz -C /app

** 2.配置环境变量**

    将

spark

的根目录配置到

/etc/profile

中（在文件末尾添加）。

vim /etc/profile

#set spark environment
SPARK_HOME=/app/spark-2.2.2-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin

    使刚才的配置生效：

source /etc/profile

** 3.配置

Spark

环境**

    切换到

conf

目录下：

cd /app/spark-2.2.2-bin-hadoop2.7/conf

    使用命令复制spark-env.sh.template文件并重命名为

spark-env.sh

cp spark-env.sh.template spark-env.sh

    输入hostname命令获得机器名/主机名(等一下会用到)：

hostname

    接下来编辑

spark-env.sh

vim spark-env.sh

    在文件末尾添加如下配置： 

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_111
export SCALA_HOME=/app/scala-2.12.7
export HADOOP_HOME=/usr/local/hadoop/
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
export SPARK_MASTER_IP=evassh-7930994 #这里填自己的主机名！！！
export SPARK_LOCAL_IP=evassh-7930994

    保存并退出。 

** 4.校验**

    回到Spark的根目录：

cd ..

   输入命令

./sbin/start-all.sh

启动Spark

   使用

jps

命令查看是否启动成功，有

woker

和

master

节点代表启动成功。