0


Spark 安装(集群模式)

Spark 安装(集群模式)

实际生产环境一般不会用本地模式搭建Spark。生产环境一般都是集群模式。下面就给出了安装集群模式的步骤。

运行环境

  • 操作系统 —— Spark一般都是部署在Linux上,这里用的是Ubuntu 14.04及以上版本,也可以使用CentOS,RedHat等Linux系统,本教程用的是 Ubuntu 系统。
  • Spark —— Apache Spark 2.X

因为是集群模式,所以需要多个物理节点,可以使用阿里云、腾讯云。也可以在自己机器搭建虚拟机集群。

在主节点安装Spark

安装前准备

修改host文件

编辑 hosts 文件,并增加下面记录

sudo nano /etc/hostsMASTER-IP masterSLAVE01-IP slave01SLAVE02-IP slave02

注意把 MASTER-IP、SLAVE01-IP、SLAVE02-IP 替换成你自己机器的IP地址。

安装Java 7
sudo apt-get install python-software-propertiessudo add-apt-repository ppa:webupd8team/javasudo apt-get updatesudo apt-get install oracle-java7-installer
安装Scala
sudo apt-get install scala
配置SSH

安装

openssh-server

openssh-client
生成密钥
ssh-keygen -t rsa -P ""
配置无密码SSH

把 master 节点

.ssh/id_rsa.pub

复制到

.ssh/authorized_keys

。其他 Slave 节点跟 Master 一样的操作过程。

用SSH连接测试

用SSH命令连接到其他任意主机,看看是否需要密码。如果没提示输入密码,则免密码连接配置成功。

ssh slave01ssh slave02

安装Spark

下载Spark

可以从Spark官网下载最新版本
http://spark.apache.org/downloads.html

解压tar包
tar xzf spark-2.0.0-bin-hadoop2.6.tgz
安装配置

在用户 home 目录下编辑 .bashrc,并新增环境变量。

export JAVA_HOME=<path-of-Java-installation> (eg: /usr/lib/jvm/java-7-oracle/)export SPARK_HOME=<path-to-the-root-of-your-spark-installation> (eg: /home/dataflair/spark-2.0.0-bin-hadoop2.6/)export PATH=$PATH:$SPARK_HOME/bin

让环境变量生效

source .bashrc

编辑 spark-env.sh

cd $SPARK_HOME/conf/

在该目录下并没有 spark-env.sh 文件,得从 spark-env.sh.tmplate 复制一个文件,文件名修改为 spark-env.sh

cp spark-env.sh.template spark-env.sh

在 spark-env.sh 新增下面的环境变量

export JAVA_HOME=<path-of-Java-installation> (eg: /usr/lib/jvm/java-7-oracle/)export SPARK_WORKER_CORES=8

新增 Slave 节点

$SPARK_HOME/conf/

目录下创建 slaves 配置文件,并在该文件写入两个节点的主机名:

slave01slave02

在 Slave 节点安装 Spark

安装前准备

  • 编辑hosts文件 - 安装java 7- 安装Scala

这些步骤跟Master的一样

把Spark安装包拷贝到所有Slave节点

先压缩安装包

tar czf spark.tar.gz spark-2.0.0-bin-hadoop2.6

把压缩好的安装包拷贝到 Slave 节点

scp spark.tar.gz slave01:~scp spark.tar.gz slave02:~

注意:这些命令在 Master 节点执行注意:这些命令在 Master 节点执行

在Slave节点解压安装包

tar xzf spark.tar.gz

注意:该命令在Slave节点执行

到这里,Spark 已经在 Master 和 Slave 节点安装并配置完成。可以启动 Spark 集群了。

启动Spark集群

启动Spark服务

sbin/start-all.sh

注意:该命令在Master节点执行

检查服务是否启动成功

检查Master节点进程

$jpsMaster

检查Slave节点进程

$jpsWorker

Spark Web UI

spark Master节点UI界面地址和端口
http://MASTER-IP:8080/

从这里可以看到 Spark 的 Slave 节点信息,执行中的 application,集群资源等信息

spark 应用程序UI界面地址和端口
http://MASTER-IP:4040/

停止Spark集群

可以在Master执行下面命令停止Spark集群

sbin/stop-all.sh

本文转载自: https://blog.csdn.net/king14bhhb/article/details/136978060
版权归原作者 不二人生 所有, 如有侵权,请联系我们删除。

“Spark 安装(集群模式)”的评论:

还没有评论