基于容器云提交spark job任务
spark提交Kind=Job类型的任务，首先需要申请具有Job任务提交权限的rbac，然后编写对应的yaml文件，通过spark-submit命令提交任务到集群执行。
idea配置scala-sdk
社区版idea配置scala-sdk
spark数据清洗练习
通过编写Spark程序清洗酒店数据里的缺失数据、非法数据、重复数据。
Spark大数据分析与实战课后答案
Spark大数据分析实战课后答案
【UML】UML建模
用例图参与者、用例的基本概念。1.2 用例描述的格式要求。1.3 绘制用例图。2 类图和对象图2.1 类图的基本概念。2.2 分析识别类，绘制类图。2.3 绘制对象图。3 顺序图3.1 顺序图的组成。3.2 顺序图中的消息类型。3.3 绘制顺序图。4 状态图4.1 状态机的含义。4.2 状态机图中的
spark分布式数据集DataSet
从Spark 2.0开始，DataFrame与Dataset合并，每个Dataset也有一个被称为一个DataFrame的类型化视图，这种DataFrame是Row类型的Dataset，即Dataset[Row]。Dataset是在Spark1.6中添加的新的接口，是DataFrame API的一个
编写Scala代码，使用Spark讲Mysql数据表中的数据抽取到Hive的ODS层
抽取MySQL的shtd_industry库中EnvironmentData表的全量数据进入Hive的ods库中表environmentdata，字段排序、类型不变，同时添加静态分区，分区字段类型为String，且值为当前日期的前一天日期（分区字段格式为yyyyMMdd）。创建一个scala目录并将
Scala下载及IDEA安装Scala插件(保姆级教程超详细)
一.Scala的下载与安装Scala语言可以在Windows，Linux，Mac OS等系统上编译运行。由于Scala是运行在JVM平台上的，所以安装Scala之前必须配置好JDK环境(JDK版本要求不低于1.5！)，本博客为基于Windows系统下安装。JDK环境下载路径：https://www.
Scala文章目录
1 笔记汇总这是根据尚硅谷武晟然老师视频所做笔记的汇总，之后会根据情况更新原视频地址：https://www.bilibili.com/video/BV1Xh411S7bPMarkdown文件地址：https://download.csdn.net/download/treesorshining/8
Mysql 窗口函数
一, MySQl 8.0 窗口函数窗口函数适用场景: 对分组统计结果中的每一条记录进行计算的场景下, 使用窗口函数更好;可以跟Hive的对比着看: 点我, 特么的花了一晚上整理, 没想到跟Hive 的基本一致, 还不因为好久没复习博客了, 淦注意: mysql 因为没有array数据结构, 无法像
Scala编程实战 —— 一文学会编码大数据基础案例wordcount
使用scala编写代码实现spark的基础案例 WordCountwordcount是所有大数据框架都基本要做的案例，使用scala编写的wordcount代码对比hadoop更简洁更易写这主要是对scala集合中功能函数的熟悉与使用
Scala基础语法入门（三）Scala中的各种运算符
🙆♂️🙆♂️ 写在前面🏠 个人主页：csdn春和📚 推荐专栏：更多专栏尽在主页！ JavaWeb专栏（从入门到实战超详细！！！） SSM专栏 （更新中…）📖 本期文章：Scala基础语法入门（三）Scala中的各种运算符如果对您有帮助还请三连支持，定会一 一回访！🙋🏻♂
[机器学习、Spark]Spark MLlib实现数据基本统计
MLlib提供了很多统计方法，包含摘要统计、相关统计、分层抽样、假设检验、随机数生成等统计方法，利用这些统计方法可帮助用户更好地对结果数据进行处理和分析MLlib三个核心功能：1.实用程序：统计方法，如描述性统计、卡方检验、线性代数、模型评估方法等2.数据准备：特征提取、变换、分类特征的散列和一些自
手把手教你搭建Scala开发环境 步骤详细
手把手教你安装scala 搭建scala开发环境，多图详细步骤记录，保证一看就会！！！
Scala 高阶（七）：集合内容汇总（上篇）
在JavaList集合、Set集合、Map集合。其中List集合、Set集合继承自Collection。它们都是接口。Scala的集合有三大类序列Seq、集Set、映射Map，所有的集合都扩展自Iterable特质。、可变集合s不可变集合，就是指该集合对象不可修改，每次修改就会返回一个新对象，而不会
十分钟带汝入门大数据开发语言Scala
Scala是一门多范式的编程语言，一种类似Java的编程语言 ，设计初衷是实现可伸缩的语言 、并集成面向对象编程和函数式编程的各种特性。目前最主流的大数据开发框架Spark的实现就是通过Scala去实现的。Scala可以与Java互操作。它用scalac这个编译器把源文件编译成Java的clas
[Spark、hadoop]DStream的窗口操作、输出操作、实例——实现网站热词排序
Dstream(Discretized Stream)是Spark Streaming数据的基本传输单位。它表示一个连续的数据流,这个数据流可以是原始的数据输入流,也可以是将原始的数据输入流通过转换生成已处理的数据输入流特点1、Spark Streaming对流数据按秒/分等时间间隔进行微批划分,每
十分钟带汝入门大数据开发语言Scala
Scala是一门多范式的编程语言，一种类似Java的编程语言 ，设计初衷是实现可伸缩的语言 、并集成面向对象编程和函数式编程的各种特性。目前最主流的大数据开发框架Spark的实现就是通过Scala去实现的。Scala可以与Java互操作。它用scalac这个编译器把源文件编译成Java的clas
scala（七）：集合常用函数
过滤filter，映射/转换map，扁平化flatten，扁平化+映射flatMap，分组groupBy，简化/归约reduce，折叠fold。简化（归约）：通过指定的逻辑将集合的数据进行聚合，从而减少数据，最终获取结果。sorted对一个集合进行自然排序，通过传递隐式的Ordering。sortW
Flink / Scala 实战 - 18.一套代码搞懂 KeyedState
Flink - ValueState 、ListState 、 ReducingState 、AggregateState、MapState 实战 demo。
