林子雨spark scala版编程小结
spark编程题
手把手带你玩转Spark机器学习-使用Spark进行数据降维
本章，我们将继续讲解无监督学习模型中降低数据维度的方法。不同于我们之前分享的回归、分类和聚类，降维方法并不是用来做模型预测的。降维方法从一个D维的数据输入提取出k维表示，k一般远远小于D。因此，降维方法本身是一种预处理方法，或者说是一种特征转换的方法，而不是模型预测的方法。降维方法中尤为重要的是，被
Spark - LeftOuterJoin 结果条数与左表条数不一致
使用 spark lefOuterJoin 寻找下发的 gap，用原始下发 rdd 左join 真实下发后发现最终的结果数与左表不一致，左表数据: 20350，最终数据: 25721。一直以来使用 Hive 都是默认 leftJoin 左表应该与结果一致，所以开始排查。......
一零一一、import spark.implicits._写完立即消失
import spark.implicits._写完立即消失
DStream窗口操作
DStream窗口操作
手把手带你玩转Spark机器学习-使用Spark构建聚类模型
本文以Covid-19新冠肺炎的公开数据为例，为大家演示如何在Spark上进行空缺值处理、异常检测、去除重复项等预处理操作。同时为了直观了解过去一段时间内新冠肺炎病例演变情况，我们还引入geopandas来画一个比较酷炫的全球新冠肺炎地理热图，并通过coding将png图像转换成一个动态图片gif，
Spark SQL案例：分组排行榜
利用Spark SQL实现分组TopN
DStream转换操作
DStream转换操作
Spark SQL
spark sql( 带源码)
Spark RDD案例：词频统计
经典案例 - 词频统计（本地运行，打包上传到集群上运行）
hive on spark报错:没有发现类
Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create Spark client for Spark session 7abab17
云计算复习索引
云计算考试复习索引，动态更新
sql记录之表的创建与删除相关操作
SQL创建表与删除
Spark-Sql RewriteDistinctAggregates
spark sql 优化规则：RewriteDistinctAggregates
创建Spark工程
期末小作业
Windows下的Spark环境配置（含IDEA创建工程--《Spark大数据技术与应用》第九章-菜品推荐项目）
文章目录前言一、下载资源二、本地配置步骤1.解压2.引入本地环境3.启动HADOOP文件4.进行Spark测试三、IDEA引入Spark项目1.idea按照scala插件2.新建scala项目3.配置项目4.新建scala类前言本文适用于《Spark大数据技术与应用》第九章-菜品推荐项目环境配置：`
数据湖（四）：Hudi与Spark整合
默认Spark操作Hudi使用表类型为Copy On Write模式。Hudi与Spark整合时有很多参数配置，可以参照https://hudi.apache.org/docs/configurations.html配置项来查询，此外，整合时有几个需要注意的点，如下:Hudi这里使用的是0.8.0版
手把手带你玩转Spark机器学习-使用Spark构建回归模型
系列文章目录手把手带你玩转Spark机器学习-专栏介绍手把手带你玩转Spark机器学习-问题汇总[持续更新]手把手带你玩转Spark机器学习-Spark的安装及使用手把手带你玩转Spark机器学习-使用Spark进行数据处理和数据转换手把手带你玩转Spark机器学习-使用Spark构建分类模型文章目
【 大数据分析Hadoop + Spark 】10分钟搭建Hadoop（伪分布式 ）+ Spark（Local模式）环境
【 大数据分析Hadoop + Spark 】10分钟搭建Hadoop（伪分布式 ）+ Spark（Local模式）环境
RDD转换为DataFrame
spark官方提供了两种方法实现从RDD转换到DataFrame。第一种方法是利用反射机制来推断包含特定类型对象的Schema，这种方式适用于对已知的数据结构的RDD转换；第二种方法通过编程接口构造一个 Schema ，并将其应用在已知的RDD数据中。（一）反射机制推断Schema在Windows系
