Intellij IDEA编写Spark应用程序的环境配置和操作步骤
在win系统中使用IDEA开发spark应用程序，并将其打成jar包上传到虚拟机中的三个Ubuntu系统，然后在分布式环境中运行
spark导入doris的几种方式
本文主要介绍通过spark导入doris的3种方式。
Spark常见报错
shuffle read是container请求external shuffle服务获取数据过程，external shuffle是NodeManager进程中的一个服务，默认端口是7337，或者通过spark.shuffle.service.port指定。解决方案：针对原因(1)，调大spark.
2023_Spark_实验四：SCALA基础
Scala基础，通过Scala交互命名学习Scala基础语法，学习数据常用类型，变量声明，Scala函数与方法，条件表达式，循环，函数参数类型，数组，元组，映射等基础知识。
Spark第三课
sortby方法需要传3个参数参数1 排序规则参数2 升序还是降序(false) 默认升序(true)参数3 排序的分区数量(说明方法底层是靠shuffle实现,所以才有改变分区的能力)如何区分是键值对方法还是单值方法呢?通过参数来判断, 如果参数是一个值,就是单值,如果是2个,就是键值对直接对v
2023_Spark_实验五：Scala面向对象部分演示（一）（IDEA开发）
基于Idea，Scala面向对象部分演示（一），讲解面向对象中的三大特征：封装、继承、多态。类的定义。
SparkLauncher提交spark 正确的退出方式以及状态获取
SparkLauncher 提交 Spark任务，使用CountDownLatch获取任务状态，出现状态获取不准确问题，spark任务是失败的，但是返回成功。
Sparkthrift Server 启动命令调优及问题报错解决
文章目录1、sparkthrift Server 启动命令2、实际生产过程中的报错解决2.1、Kryo serialization failed: Buffer overflow. Available: 0, required: 2428400. To avoid this, increase sp
Spark最后一课
如果是Client模式,则Driver就是本机了,Executor 会直接交互本机,远程访问提交,不能停止,同时所有Executor会交互本机,而本机资源不足,会导致系统和网络崩溃.按照等级进行尝试,从高等级到低等级,降级机制.如何避免多次访问通一个节点?9.Driver调用资源,找到空闲的NM,进
2023_Spark_实验六：Scala面向对象部分演示（二）（IDEA开发）
Idea, Scala面向对象部分演示（二）, apply, 继承、重写，匿名函数，抽象函数，特质，包的使用，文件访问等。
spark sql 数据倾斜--join 同时开窗去重的问题优化
spark数据倾斜企业经验
【Python】PySpark
PySpark
大数据课程K17——Spark的协同过滤法
用特定的计算方法扫描和指定目标相同的已有用户，根据给定的相似度对用户进行相似度计算，选择最高得分的用户并根据其已有的信息作为推荐结果从而反馈给用户。在已有信息中，用户3已经选择了物品1和物品5，用户2比较偏向于选择物品2和物品4，而用户1选择了物品1、物品4以及物品5。那么完全有理由相信用户1和用户
SparkSQL性能优化终极篇
随着Spark版本的不断迭代，SparkSQL底层使用了各种优化技术，无论方便性、性能都已经超越了RDD。因此SparkSQL已经是最常用的Spark开发方式，因此，这里把常用的SparkSQL性能优化技术进行汇总。
16 | Spark SQL 的 UDF（用户自定义函数）
UDF允许您定义自己的函数，以便在DataFrame或SQL查询中使用。在本教程中，我们将演示如何创建一个UDF，该UDF将字符串的长度作为输入，并返回该字符串的长度作为输出。UDF允许您定义自己的函数，并将其应用于Spark DataFrame或Dataset。：在DataFrame操作或SQL查
如何使用Spark/Flink等分布式计算引擎做网络入侵检测
如何使用Spark/Flink等分布式计算引擎做网络入侵检测
2023_Spark_实验三：基于IDEA开发Scala例子
window环境中，基于IDEA开发工具，创建一个scala项目，完成scala的hello代码。
大数据之使用Spark增量抽取MySQL的数据到Hive数据库（1）
本题来源于全国职业技能大赛之大数据技术赛项电商赛题-离线数据处理-抽取什么是全量数据、增量数据？1.全量数据：当前需要迁移的数据库系统的全部数据。2.增量数据：在数据库系统迁移过程中，对比原数据，新产生的数据即为增量数据。用于将MySQL数据库中的数据增量导入到Hive数据仓库中的指定表格中。首先，
03.DolphinScheduler资源中心
当获取到任务组资源的任务结束运行后，会释放任务组资源，释放后会检查当前任务组是否有任务等待，如果有则标记优先级最好的任务可以运行，并新建一个可以执行的event。您可在新建任务定义时，可配置对应的任务组，并配置任务在任务组内运行的优先级。【任务组名称】：任务组配置页面显示的任务组名称，这里只能看到该
Spark大数据分析与实战笔记（第一章 Scala语言基础-3）
Scala中的数组分为定长数组和变长数组，定义定长数组，需要使用new关键字，而定义变长数组时，则需要导包import scala.collection.mutable.ArrayBuffer。不可变集合类，相比之下，初始化后就永远不会改变。注：定义定长数组，需要使用new关键字，而定义变长数组时，
