一、搭建单机版集群

1.上传spark-3.2.1-bin-hadoop3.2.tgz到/opt
rz 或 xshell
cd /opt/

2.安装解压，到/usr/local/single/目录下
（1）先建一个single目录
mkdir -p /usr/local/single/
(2)解压
tar -zxvf spark-3.2.1-bin-hadoop3.2.tgz -C /usr/local/single/
3.测试运行，计算SparkPi
进入spark安装目录的bin目录下
./run-example SparkPi 2

运行2个模块 成功为Pi is roughly 3.139435697178486

搭建完全分布式集群

1.上传

2.安装解压，到/usr/local/wanquan/目录下
（1）先建一个wanquan目录
mkdir -p /usr/local/wanquan/
(2)解压
tar -zxvf spark-3.2.1-bin-hadoop3.2.tgz -C /usr/local/wanquan/
(3)重命名
mv spark-3.2.1-bin-hadoop3.2/ spark3
3.配置spark-env.sh
(1)进入安装目录的conf目录
复制spark-env.sh.template，命名为spark-env.sh
cp spark-env.sh.template spark-env.sh
(2)打开spark-env.sh文件
vi spark-env.sh
在尾部添加内容：

hadoop 安装目录 配置文件etc

export JAVA_HOME=/export/servers/
export HADOOP_CONF_DIR=/export/servers/hadoop330/etc/hadoop
export SPARK_MASTER_HOST=hadoop1
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_MEMORY=512m

给运行内存 主机名 端口号7077

export SPARK_WORKER_CORES=1
export SPARK_EXECUTOR_MEMORY=512m
export SPARK_EXECUTOR_CORES=1
export SPARK_WORKER_INSTANCES=1

设置运行内核数 内存 woker 实例（如一个节点运行几个文件）

4.配置workers文件
（1）复制workers.template,命名为workers
cp workers.template workers
vi workers
（2）删除原有内容，添加
hadoop2
hadoop3

5.配置spark-defaults.conf文件
（1）复制spark-defaults.conf.template,命名为spark-defaults.conf
cp spark-defaults.conf.template spark-defaults.conf

(2)打开spark-defaults.conf文件
   vi spark-defaults.conf
  在尾部添加内容：

制定端口 事件日志 开启后spark存的地址,历史文件存放目录

spark.master spark://hadoop1:7077
spark.eventLog.enabled true
spark.eventLog.dir hdfs://hadoop1:9000/spark-logs
spark.history.fs.logDirectory hdfs://hadoop1:9000/spark-logs

6.分发spark的安装目录到hadoop2、hadoop3
scp -r /usr/local/wanquan/ hadoop2:/usr/local/
scp -r /usr/local/wanquan/ hadoop3:/usr/local/

7.启动spark

（1）启动spark之前，先启动hadoop
start-all.sh
启动jobhistory，在hadoop安装目录的sbin目录下启动
cd /export/servers/hadoop330/sbin
./mr-jobhistory-daemon.sh start historyserver
jps 进程

(2)创建/spark-logs目录
       hdfs dfs -mkdir /spark-logs
 检查 hadoop1 9870

（3）启动spark集群
切换到spark的安装目录的sbin目录下，去启动
cd /usr/local/wanquan/spark3/sbin

当前目录下启动

     ./start-all.sh 
    jps查看，hadoop1出现master，hadoop2、hadoop3分别出现worker

hadoop1:8080
#单独启动历史服务：
./start-history-server.sh
jps查看hadoop1多了HistoryServer

(4) 启动 shell
在bin 目录下调试
./spark-shell

无报错，有scala字眼
完成！！！

（5） 打开网页
8088 yarn界面
spark节点查看
https://192.168.157.131:8080

8.关闭 保存 拍摄快照
scala quit
在对应进程中关闭
关闭spark集群 ? cd/usr/local/spark3/sbin/
./stop-all.sh
master
worker
关闭hadoop 服务
./stop-all.sh

/export/servers/hadoop330/sbin
关闭历史服务：
./stop-history-server.sh
关闭服务job
./mr-jobhistory-daemon.sh stop historyserver

jps 查看防止遗漏
ps -grep|spark
kill -9 进程号
注意：1.拍快照 spark 完全
2.每次使用完后hadoop要关闭stop-all.sh
尝试西区平台

疑惑:history
在spark-env环境编译中 加入 从hdfs中读取数据
export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)
单机 hadfs 模式
》》》》scala 应用编写
详细说名
https://dblab.xmu.edu.cn/blog/1307/