一:安装配置
1.下载安装包
官网下载地址:sbt - Download
将下载好的sbt-1.6.1.tgz解压到相应目录:/home/kyj/soft,这里我们使用版本为1.6.1,注意版本的选择
2.解压安装包并放在/home/kyj/soft中:
tar -zxvf sbt-1.6.1.tgz sbt
3.文件赋予权限
KYJ为系统用户,/home/KYJ/soft/sbt为sbt安装目录
chown -R KYJ /home/KYJ/soft/sbt
4.将位于sbt/bin下面的sbt-launch.jar文件放在sbt目录下。
cd sbt
cp ./bin/sbt-launch.jar ./
5.在sbt目录下创建sbt脚本
vim ./sbt
# 添加如下内容
#!/bin/bash
SBT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled -XX:MaxPermSize=256M"
java $SBT_OPTS -jar `dirname $0`/sbt-launch.jar "$@"
6.为sbt脚本添加可执行权限
chmod u+x ./sbt
7.配置环境变量
vim ~/.bashrc
#在文件最后增加以下内容:
export SBT_HOME=/home/KYJ/soft/sbt
export PATH=SBT_HOME:$PATH
#使配置文件生效
source ~/.bashrc
8.检验sbt是否可用
sbt sbtVersion
产生如图所示的效果及成功:
二:打包:
1.创建文件夹sparkapp1作为应用程序根目录,这里sparkapp1可放在任何地方
#创建应用程序根目录
mkdir sparkapp1
#创建所需的文件夹结构,scala存放源码
mkdir -p ./sparkapp1/src/main/scala
#编写代码
vim ./sparkapp1/src/main/scala/hello.scala
#输入以下代码
object hello{
def main(args: Array[String]){
println("hello")
}
}
2.在应用程序sparkapp1根目录下创建sbt文件(特别注意,英文字母不要出错)
vim ./sparkapp1/hello.sbt
#输入以下内容
name := "Hello Project"
version := "1.0"
scalaVersion :="2.12.11"
libraryDependencies += "org.apache.spark" %% "spark-core" % "3.1.1"
3.编译打包在sparkapp1的根目录下编译,这里需要等一段时间,如果第一次打包,时间会比较长。
#在根文件下
/home/KYJ/soft/sbt/sbt package
#/home/KYJ/soft/sbt是sbt安装目录
#第二个sbt是上述sbt脚本
4.运行
$SPARK_HOME/bin/spark-submit --class "HelloWorld" ./target/scala2.12/simple-project_2.12-1.6.1.jar
版权归原作者 古柯(●—●) 所有, 如有侵权,请联系我们删除。