Windows下的Spark环境配置（含IDEA创建工程--《Spark大数据技术与应用》第九章-菜品推荐项目）

文章目录

前言

本文适用于《Spark大数据技术与应用》第九章-菜品推荐项目环境配置：`

跟着做就行…
资源都在网盘里面，纯粹的无脑配置…

提示：以下是本篇文章正文内容，所用资源版本过低，用于课本实验

，且已有Java环境

一、下载资源

scala：2.12.8
spark：1.6.2
hadoop：2.6.4
hadoop启动文件exe

JAVA
如果按照我的方法在仍然不能使用的话，那大概率就是你的JAVA环境有问题，那么你就用我的JAVA文件找一篇JAVA配置的文章把JAVA环境换成我的

链接：https://pan.baidu.com/s/1dVLt3q_D3AQuwRZ0Q2TVvg 提取码：rfwb

二、本地配置步骤

1.解压

记住：解压到根目录下或者父目录不带空格 还不如直接这样直接搞到D盘下面（反正你水完课设再也不用了）

2.引入本地环境

1.打开高级环境配置并且找到“环境变量”

2.进入之后在系统变量里面找到path

3.将Spark，Hadoop，scala三个文件的bin文件路径引入path里面

注意：Hadoop文件的bin和sbin都要引入

4.系统编辑新建名为HADOOP_HOME的变量

3.启动HADOOP文件

首先你要检查你的C盘
有没有tmp文件，tmp文件下面有没有hive文件，没有你要手动创建

将winutils.exe文件复制到hadoop的bin目录下面

打开cmd
输入
前面半句是你自己的winutils.exe路径，后半句是C盘hive的路径，不要无脑复制

D:\hadoop-2.6.4\bin\winutils.exe chmod 777 C:\tmp\hive

4.进行Spark测试

打开cmd
输入

spark-shell

出现这两句话即为成功

注：一般问题

1.出现CMD出现Spark字母，但是出现如下

说明是Hadoop的配置问题。重新看我的过程

2.连字母都出现不了而且scala和spark配置没有问题
说明是JAVA环境问题

三、IDEA引入Spark项目

1.idea按照scala插件

在
File->Plugins->搜索scala->然后下载按照->重启idea

2.新建scala项目

点这个创建

java用本地的

3.配置项目

在File->Projct structure->Libraies
点击左上角加号

点击java引入包

找到你下载的Spark文件下面的lib文件点击引入

再次点击加号，点击scala
点击下方browse按钮

找到本地scala的文件引入

成功

4.新建scala类

点击Object，输入类名

完成