0


Spark Standalone 模式的安装和部署 第1关: Standalone 分布式集群搭建

我们已经掌握了 Spark 单机版安装,那么分布式集群怎么搭建呢? 接下来我们学习 Standalone 分布式集群搭建。

课程视频

如果你需要在本地配置 Spark 完全分布式环境,可以通过查看课程视频来学习。

课程视频《Spark配置文件设置》

Spark分布式安装模式

Spark 分布式环境安装目前有四种模式:

1.Standalone:Spark 自带的简单群资源管理器,安装较为简单,不需要依赖 Hadoop;

2.Hadoop YARN:使用 YARN 作为集群资源管理,安装需要依赖 Hadoop;

3.Apache Mesos:不常用;

4.Kubernetes:不常用。

本地学习测试我们常用 Standalone 模式,生产环境常使用 YARN 模式。

示例集群信息

以下表格为本教程所用示例集群节点信息:
节点名称节点角色masterworker,masterslave1workerslave2worker
我们准备了三台虚拟服务器,连接方式如下:
服务器SSH密码masterssh -p 19001 root@localhost123456slave1ssh -p 19


本文转载自: https://blog.csdn.net/qq_61604164/article/details/128339516
版权归原作者 是草莓熊吖 所有, 如有侵权,请联系我们删除。

“Spark Standalone 模式的安装和部署 第1关: Standalone 分布式集群搭建”的评论:

还没有评论