【大数据平台】基于Spark的美国新冠肺炎疫情数据分析及预测
RDD采用了惰性调用，即在RDD的执行过程中，真正的计算发生在RDD的“行动”操作，对于“行动”之前的所有“转换”操作，Spark只是记录下“转换”操作应用的一些基础数据集以及RDD生成的轨迹，即相互之间的依赖关系，而不会触发真正的计算。（1）当一个Spark应用被提交时，首先需要为这个应用构建起基
SparkContext.textFile读取文件
SparkContext.textFile读取文件
Spark RDD转换成DataFrame的两种方式
spark官方提供了两种方法实现从RDD转换到DataFrame。第一种方法是利用反射机制来推断包含特定类型对象的Schema，这种方式适用于对已知的数据结构的RDD转换；第二种方法通过编程接口构造一个 Schema ，并将其应用在已知的RDD数据中。.........
【大数据技术】Spark+Flume+Kafka实现商品实时交易数据统计分析实战（附源码）
【大数据技术】Spark+Flume+Kafka实现商品实时交易数据统计分析实战（附源码）
Spark简介
Spark简介Spark是什么新的改变Spark集群架构合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特
2022年职业院校技能大赛-大数据赛题解析
2022年职业院校技能大赛-大数据赛题解析，最新上线2022年7月20日新发布任务书1和任务书7解析。
使用 Spark 抽取 MySQL 数据到 Hive 时某列字段值出现异常（字段错位）
在问题复现这里我们可以很容易的发现问题产生的原因，在实际开发中字段特别多，而且不一定每个字段都会使用到，我这里是因为使用了发生错误的字段，所以才发现了这个问题，提醒各位在建表时需要格外注意指定的字段分隔符。可以通过上下文对比轻松发现问题，数据抽取完成后，字段值出现了异常，那么为什么会这样呢？中的逗号
Spark 内存迭代计算
Spark内存迭代计算，算子之间形成DAG，每个task根据并行度在内存中不断迭代计算
spark插入动态分区代码报错
config("hive.metastore.dml.events","false") 就好了。windows确实好了。.config("hive.exec.dynamic.partition.mode", "nonstrict")//动态分区。.config("hive.metastore.dml
实验4 RDD编程初级实践
一、实验目的（1）熟悉Spark的RDD基本操作及键值对操作；（2）熟悉使用RDD编程解决实际具体问题的方法。二、实验平台操作系统：Ubuntu16.04Spark版本：2.1.0三、实验内容和要求实验内容与完成情况：1.spark-shell交互式编程（1）该系总共有多少学生；（2）该系共开设来多
如何通过SparkUI 查看SparkSql作业
执行计划中的每个蓝色方块都有非常多的信息可以查看，如肉眼直接可以看到的Scan orc table_name ，number of output rows: 说明扫描了哪个表，这个表有多少行，我们把鼠标放在对应的信息上也会显示详细的信息，扫描的表的hdfs路径，分区，表存在的字段，等等，如下图。注：
图书推荐系统（附源码链接）
图书推荐实现了借书还书，信息修改，图书管理，用户管理等功能，使用到spark的地方响应时间较长，是一个弊端
Spark—idea
spark—ideal
Spark SQL参数调优指南
Spark SQL参数调优指南
spark- Dataframe基本操作-查询
查询相关操作.show() 显示头n 行.printSchema() 打印表概要，.count() 查询统计表中数据行数.distinct() 去重后的数据.collect()获取所有数据到数组.head(num) 以及.take(num) 获取前num行记录.sample() 采样.select(
spark-在IDEA中搭建scala编程环境
入门spark-rdd编程
类比一下，秒懂大数据模式
大数据架构模式，其实与单机开发模式一致，类比一下就会更加清晰。
hive修改spark版本重新编译，hive3.1.3 on spark3.3.0
hive修改spark版本重新编译，hive3.1.3 on spark3.3.0
一文看懂大数据生态圈完整知识体系【大数据技术及架构图解实战派】
一文看懂大数据生态圈完整知识体系
从0到1搭建大数据平台之调度系统
大数据调度系统。
