11.2使用Scala开发Spark应用

11.2.1 安装****scala和jdk

安装scala：

Scala 2.12.0 | The Scala Programming Language (scala-lang.org)

安装好后，正确配置系统环境

安装jdkl链接：

window 下 win10 jdk8安装与环境变量的配置（超级详细）_jdk8环境变量配置-CSDN博客

测试安装结果：

打开IntelliJ IDEA ，下载scala

11.2.2开发Spark程序

打开源码文件，添加框架支持，对于高版本可能需要在搜索框进行搜索“框架支持”

运行结果：

把scala文件设置为resource root，运行效果：

按照要求添加依赖

（1）打开scala文件下的HelloScala.scala文件，按照下述方式，运行当前文件

将代码：

package org.hadoop

改为

package org.hadoop.spark

运行效果：

使用maven打包，使用ctrl添加maven生命周期

运行成功在控制台获取生成文件的路径，并且运行代码

java -cp chapter11-1.0.jar;%SCALA_HOME%\lib* org.hadoop.spark.HelloScala

运行结果

（2）打开WordCount.scala，查看14行的路径，在该路径下面添加a.txt文件，并且输入内容

Scala is a powerful language. Scala allows developers to write concise and efficient code. Scala is also versatile and supports both functional and object-oriented programming paradigms

运行WordCount.scala，如果产生报错：

错误：Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties 24/09/03 10:21:55 INFO SparkContext: Running Spark version 3.1.1 24/09/03 10:21:55 WARN Shell: Did not find winutils.exe: {}

解决方案：spark日志报错：Using Spark’s default log4j profile_using spark's default log4j profile-CSDN博客

报错：HADOOP_HOME and hadoop.home.dir are unset.

解决方案 :大数据学习踩坑之 HADOOP_HOME and hadoop.home.dir are unset._filesystem at org.apache.hadoop.security.usergroup-CSDN博客

报错：Output directory file:/D:/a/2 already exists

解决方案：删除a文件夹下面的2文件夹

如果有其他报错，建议安装hadoop，链接：Windows环境下hadoop安装和配置详细步骤（图文）_hadoop windows-CSDN博客

运行结果：