Spark集群搭建记录 | 云计算[CentOS7] | Spark配置

本文目录

写在前面

本系列文章索引以及一些默认好的条件在 传送门
要想完成Spark的配置，首先需要完成Hadoop的配置
Hadoop配置教程：链接

若未进行明确说明，均按照root用户操作

step1 Spark下载

下载链接
因为后续可能会涉及到很严重的版本问题，所以说在这里我们为了适配，选择2.4.0版本

下载后放在master主机的

/usr/local

下
然后解压并改名：

cd /usr/local

tar -zxvf spark-2.4.0-bin-without-hadoop.tgz.gz

mv spark-2.4.0-bin-without-hadoop spark

最后改变拥有者为：root

chown -R root:root spark

step2 修改环境变量

配置文件修改请勿盲目CV，应根据自己实际情况确定

~/.bashrc

vim ~/.bashrc

加入：

exportSPARK_HOME=/usr/local/spark
exportPATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
exportJAVA_LIBRARY_PATH=/usr/local/hadoop/lib/native

source一下使其生效

source ~/.bashrc

/etc/profile

vim /etc/profile

加入：

exportSPARK_HOME=/usr/local/spark
exportPATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

并

source /etc/profile

step3 配置Master-文件修改

slaves

cd /usr/local/spark/conf

cp slaves.template slaves

vim slaves

修改为：

slave1
slave2

博主去掉了里面的

localhost

spark-env.sh

cp spark-env.sh.template spark-env.sh

vim spark-env.sh

配置文件修改请勿盲目CV，应根据自己实际情况确定
比如JAVA_HOME、SPARK_MASTER_IP

exportSPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)exportHADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
exportSPARK_MASTER_IP= 这里要写上master的IP
exportJAVA_HOME=/usr/java/jdk1.8.0_181-amd64
exportHADOOP_HOME=/usr/local/hadoop
exportSPARK_WORKER_MEMORY=1024m
exportSPARK_WORKER_CORES=1

step4 配置slave节点

在主机操作：

cd /usr/local

tar -zcf spark.master.tar.gz spark

slave01-315是博主的slave主机名，请根据自身实际情况自行修改

scp spark.master.tar.gz slave01-315:/usr/local/spark.master.tar.gz

切换slave01-315机器进行操作：

cd /usr/local

tar -zxf spark.master.tar.gz

自行查看是否解压后文件夹名字为

spark

，如若不是请自行改名为

spark

chown -R root /usr/local/spark

rm -rf spark.master.tar.gz

在主机操作：

cd /usr/local

slave02-315是博主的slave主机名，请根据自身实际情况自行修改

scp spark.master.tar.gz slave02-315:/usr/local/spark.master.tar.gz

切换slave02-315机器进行操作：

cd /usr/local

tar -zxf spark.master.tar.gz

自行查看是否解压后文件夹名字为

spark

，如若不是请自行改名为

spark

chown -R root /usr/local/spark

rm -rf spark.master.tar.gz

step5 集群启动

在主机操作：
启动

hadoop

:

/usr/local/hadoop/sbin/start-all.sh

启动

spark

的

Master

/usr/local/spark/sbin/start-master.sh

启动

spark

所有的

slave

/usr/local/spark/sbin/start-slaves.sh

关闭集群只需要将start换成stop

step6 web浏览器状态查看

进入8080端口进行查看：

进入

spark-shell

:

然后进入web浏览器查看4040端口：

step7 配置开机启动（可选）

vim /etc/rc.local

请根据自己实际情况添加，切勿满目CV

su - root -c /usr/local/hadoop/sbin/start-all.sh
su - root -c /usr/local/spark/sbin/start-master.sh
su - root -c /usr/local/spark/sbin/start-slaves.sh

到此，spark配置结束
下一篇（运行scala程序实现单词技术）已经实现择时更新~，敬请期待
到时你将看到：