Scala安装步骤详解
Scala安装步骤详解:1.在网页上运行Scala 2.在Windows系统上安装scala 3.在Linux和macOS系统上安装Scala 4.在软件中安装scala插件 1.下载与安装IDEA 2.scala插件的安装与使用 3.安装完成后测试scala插件
2023_Spark_实验七:Scala函数式编程部分演示
Scala函数式编程,函数是头等公民,函数的定义,匿名函数,高阶函数,闭包,柯里化的使用。
Intellij IDEA编写Spark应用程序的环境配置和操作步骤
在win系统中使用IDEA开发spark应用程序,并将其打成jar包上传到虚拟机中的三个Ubuntu系统,然后在分布式环境中运行
2023_Spark_实验四:SCALA基础
Scala基础,通过Scala交互命名学习Scala基础语法,学习数据常用类型,变量声明,Scala函数与方法,条件表达式,循环,函数参数类型,数组,元组,映射等基础知识。
2023_Spark_实验五:Scala面向对象部分演示(一)(IDEA开发)
基于Idea,Scala面向对象部分演示(一),讲解面向对象中的三大特征:封装、继承、多态。类的定义。
2023_Spark_实验六:Scala面向对象部分演示(二)(IDEA开发)
Idea, Scala面向对象部分演示(二), apply, 继承、重写,匿名函数,抽象函数,特质,包的使用,文件访问等。
Scala环境搭建及安装
访问Scala官网http://www.scala-lang.org/下载Scala编译器安装包,目前最新版本是3.1.3,但是目前大多数的框架都是用2.12.x编写开发的,Spark3.x使用的就是2.12.x,所以这里推荐2.12.x版本,下载scala-2.12.11.msi后点击下一步就可以
hadoop3.2.4集成flink 1.17.0
hadoop,flink,集成
2023_Spark_实验三:基于IDEA开发Scala例子
window环境中,基于IDEA开发工具,创建一个scala项目,完成scala的hello代码。
Scala - 时间工具类 LocalDateTime 常用方法整理
Scala / Java LocalDateTime 常用方法整理。
Spark Sql之dropDuplicates去重
Spark Sql之dropDuplicates去重
2023_Spark_实验一:Windows中基础环境安装
windows, Java, Scala部署与验证。
Seatunnel 2.1.3 源码打包、编译运行
记录一下:Seatunnel源码修改之后,本地编译打包执行,中间遇到的问题。
Spark的dropDuplicates或distinct 对数据去重
消除重复的数据可以通过使用 distinct 和 dropDuplicates 两个方法。
【Flink】1.Flink集群部署
flink集群部署:standalone和flink-on-yarn
Scala 环境搭建安装配置
Scala环境搭建安装配置
大数据Spark SparkSession的3种创建方式 Scala语言实现
大数据Spark SparkSession的3种创建方式 Scala语言实现
Flink安装部署(一)
Flink的三种安装部署方式
IDEA配置Spark运行环境
Preferences -> Plugins -> Browse Repositories -> 搜索 scala -> install。所在项目(点击右键) -> Add Framework Support…->选择 Scala->点击 OK。前提 :本地已安装Scala。安装Scala插件(在线
Windows系统运行pyspark报错:Py4JJavaError
import findsparkfindspark.init()#因为转载时间过长找不到spark所以报错