0


spark如何搭建本地模式

【本人是一个菜鸡,记录该文章主要是为了让自己对初学spark教程安装本地模式更熟悉,技术有限可能无法解答其他问题,欢迎指导其中不足】

spark学习教程:【尚硅谷大数据Spark教程从入门到精通】https://www.bilibili.com/video/BV11A411L7CK?p=109&vd_source=6617303cfc6957d7bc5aaba4f05116b7

spark本地安装辅助教程:【win10系统spark安装环境配置_bilibili】https://www.bilibili.com/video/BV1Lh411n7P9?vd_source=6617303cfc6957d7bc5aaba4f05116b7

如果视频失效参考下up主的笔记:

以下是本次学习的安装步骤:

1、获取spark和Hadoop、scala的对应安装包,注意版本间一定要匹配,否则无法使用使用,本次学习使用的事scala2.12.11、hadoop3.0.0、spark-3.0.0-bin-hadoop3.2

2、下载spark和安装包:

spark:链接:https://pan.baidu.com/s/1tXqzu9rcM_7q5bqpi2Au5g
提取码:re5d

hadoop:链接:https://pan.baidu.com/s/1gadplZluJoNZIk06MdU5_w
提取码:leyq

scala:到官网下载对应版本即可

3、跟着【spark本地安装辅助教程】安装,注意教程的内容不是全部适用、hadoop的安装教程不适应我的本次安装,可能是up主在安装前做了其他的准备工作,或者安装了其他东西

4、spark和scala安装完后注意到idea中进行相应的配置设置,scala的安装比较简单这里就不赘述,网上也有专门的教程,搜下即可

5、对于hadoop的安装,注意要设置环境变量,其他的部分在参考【spark本地安装辅助教程】后,还得借鉴以下两篇博客:

https://blog.csdn.net/qq_40595055/article/details/105424859文章浏览阅读5.8k次,点赞14次,收藏9次。一堆_mysql exitcode 1073741515https://blog.csdn.net/qq_40595055/article/details/105424859

Exception in thread “main“ ExitCodeException exitCode=-1073741515_exception in thread "main" exitcodeexception exitc-CSDN博客文章浏览阅读1.4k次,点赞2次,收藏9次。复制过去后还是不行,然后我又想是不是电脑缺少c++运行库导致的(缺失某些dll文件),因为之前重装了一下系统。链接:https://pan.xunlei.com/s/VNG24ZupE3VvuMolgsX9PxSAA1。这里下载C++库合集,下载好之后进行安装(默认就可以)。这样程序就运行成功了。这样程序就运行成功了。_exception in thread "main" exitcodeexception exitcode=-1073741515:https://blog.csdn.net/W_chuanqi/article/details/127697952本次安装时一直无法使用hadoop主要是因为电脑缺少了c++运行库。

6、安装完成后,即可跟着 【spark学习教程】进行学习


本文转载自: https://blog.csdn.net/m0_71300592/article/details/140407478
版权归原作者 big云溪 所有, 如有侵权,请联系我们删除。

“spark如何搭建本地模式”的评论:

还没有评论