spark获取hadoop服务token
spark提交作业不含hbase的相关逻辑为什么会去获取hbase服务的token
Flink实时计算框架简介
flink实时计算机框架简介
Spark---数据输出
collect算子：将RDD各个分区内的数据，统一收集到Driver中，形成一个List对象。take算子：取RDD的前N个元素，组合成list返回给你。count算子：计算RDD有多少条数据，返回值是一个数字。reduce算子：对RDD数据集按照传入的逻辑进行聚合。
Spark简介
部署Spark集群大体上分为两种模式：单机模式与集群模式大多数分布式框架都支持单机模式，方便开发者调试框架的运行环境。
大数据面试题：Spark和Flink的区别
Flink 根据用户提交的代码生成 StreamGraph，经过优化生成 JobGraph，然后提交给JobManager 进行处理， JobManager 会根据 JobGraph 生成 ExecutionGraph，ExecutionGraph 是 Flink 调度最核心的数据结构，JobMan
Spark3 新特性之AQE
Spark3 新特性之AQE
spark读取hive表字段，区分大小写问题
spark任务读取hive表，查询字段为小写，但Hive表字段为大写，无法读取数据。
hudi搭建【大数据比赛长期更新】
hudi搭建题目分析本任务需要使用root用户完成相关配置，具体要求如下：1、 从宿主机/opt目录下将maven相关安装包复制到容器Master中的/opt/software（若路径不存在，则需新建）中，将maven相关安装包解压到/opt/module/目录下（若路径不存在，则需新建）并配置ma
Python黑马程序员（Spark实战）笔记
注意：字符串返回的是['a','b','c','d','e','f','g'] 字典返回的是['key1','key2']#func(T)-->U:告知按照rdd中的哪一个数据进行排序，比如lambda x:x[1]表示按照rdd中的第二列元素进行排序。百度网盘：链接：https://pan.b
2023_Spark_实验十二：Spark高级算子使用
Spark高级算子，Scala开发，idea
spark 集成 ClickHouse 和 MySQL (读和写操作)（笔记）
【代码】spark 集成 ClickHouse 和 MySQL (读和写操作)（笔记）
spark 和 flink 的对比
的数据模型是(Resilient Distributed Dattsets)，这个内存数据结构使得spark可以通过固定内存做大批量计算。初期的 Spark Streaming 是通过(micro-batches)，即，所以严格意义上，还不能算作流式处理。
SparkSQL与Hive整合(Spark On Hive）
hive metastore元数据服务用来存储元数据，所谓元数据，即hive中库、表、字段、字段所属表、表所属库、表的数据所在目录及数据分区信息。元数据默认存储在hive自带的Derby数据库。metastore服务独立出来之后，1个或多个客户端在配置文件中添加metastore的地址，就可以同时连
ERROR SparkContext: Error initializing SparkContext. （）
在配置yarn的配置文件中设置的内存过小，不能够支持spark程序的运行所以出现了报错。在将spark程序提交到yarn中运行的时出现以下报错。
大数据课程K2——Spark的RDD弹性分布式数据集
诸如普通的集合类型，如传统的Array：（1,2,3,4,5）是一个整体，但转换成RDD后，我们可以对数据进行Partition（分区）处理，这样做的目的就是为了分布式。创建RDD的方式有多种，比如案例一中是基于一个基本的集合类型（Array）转换而来，像parallelize这样的方法还有很多，之
5 | Java Spark WordCount打成Jar 包测试
使用 Maven 或 Gradle 等构建工具，将您的项目编译并打包成一个包含依赖项的 JAR 文件。这个 JAR 文件将包含您的 WordCount 代码以及 Spark 依赖项。运行此命令将在 Spark 集群上启动 WordCount 作业，它将读取指定的输入文件，执行 WordCount 操
Spark工作原理
Spark工作原理
配置Hive使用Spark执行引擎
在Hive中，可以通过配置来指定使用不同的执行引擎。Hive执行引擎包括：默认MR、tez、spark。
2023_Spark_实验十：RDD基础算子操作
RDD基础算子操作，1. 生成RDD。2. 求交并集，去重结果。 3. cogroup,groupByKey。 4. reduceByKey。
Hive中数组array的相关应用
array_intersect(array1, array2)：返回一个包含所有同时在数组array1和数组array2中的元素的数组（数组array1和数组array2的交集元素)。split(reverse(concat_ws(delimiter,array_sort(array))),deli
