在Kotlin中使用Spark SQL的UDF和UDAF函数
kotlin的SparkSQL使用
PySpark特征工程(I)--数据预处理
有这么一句话在业界广泛流传：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。由此可见，特征工程在机器学习中占有相当重要的地位。在实际应用当中，可以说特征工程是机器学习成功的关键。特征工程是数据分析中最耗时间和精力的一部分工作，它不像算法和模型那样是确定的步骤，更多是工程上的经验和权
基于spark的美食餐厅分析推荐系统-附源码83884
通过这一系统，用户可以更好地发现、选择和享受美食，提升了用户的生活品质和饮食体验。总之，美食餐厅分析推荐系统将为用户提供更丰富的美食选择，促进美食文化的传播和发展，满足用户对美食的需求和期待，是一项具有广泛应用前景的系统。
基于Hadoop+Spark的去哪儿旅游出行分析推荐可视化系统【源码+文档】
基于Hadoop+Spark的去哪儿旅游出行分析推荐可视化系统【源码+文档】,支持安装部署、售后修改、代码讲解等。本设计主要从网站进行数据的爬取、清洗，然后将其放入`HDFS`可以降低MySQL的负荷。对爬取的数据进行可视化分析，从人均费用、出游方式、目的地、出游时间等方面分析人们的出行特征，以及这
大数据-101 Spark Streaming DStream转换 窗口操作状态 跟踪操作 附带多个案例
上节研究了SparkStreamingDStream转换函数，无状态转换与对应的几个案例的实现。本节研究DStream转换，窗口操作、跟踪操作，附带了几个案例。对于没有数据输入，则不会返回那些没有变化的Key的数据，即使数据量很大，checkpoint也不会像updateStateByKey那样，占
SparkSQL调优
Spark Shuffle 过程中，shuffle reduce task 的 buffer 缓冲区大小决定了 reduce task 每次能够缓冲的数据量，也就是每次能够拉取的数据量，如果内存资源较为充足，适当增加拉取数据缓冲区的大小，可以减少拉取数据的次数，也就可以减少网络传输的次数，进而提升性
【赵渝强老师】Spark中的RDD
RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，它是Spark中最基本、也是最重要的的数据模型。它由分区组成，每个分区被一个Spark的Worker从节点处理，从而支持分布式的并行计算。RDD通过检查点Checkpoint的方式提供自动容错的功能，并且具有位
大数据-105 Spark GraphX 基本概述 与 架构基础 概念详解 核心数据结构
上节研究Spark Streaming Kafka的Offsets管理，通过Redis进行管理操作。本节研究Spark GraphX 是 Spark 一个组件，专门用来表示图以及进行图的并行计算。GraphX通过重新定义了图的抽象概念来拓展了RDD：定向多图，其属性附加到每个顶点和边。为了支持图计算
Spark调优（一）Spark的特性与瓶颈
Spark作为一种高效的大数据处理框架，已经成为业界标准。其火爆程度源自其高速的数据处理能力和易用性。对Spark的调优尤为重要，可提高作业执行效率、降低资源消耗、优化内存利用和提高系统稳定性。调优涉及参数设置、数据倾斜处理、任务调度等多方面，直接影响作业性能。。
数据仓库实战：详解维度建模事实表
数据仓库实战：详解维度建模事实表
大数据-103 Spark Streaming Kafka Offset管理详解 Scala自定义Offset
上节研究了Spark Streaming 与Kafka的关系，研究了08、10版本的不同的，研究了Producer、KafkaDStream，并且附带实例代码。在 DStream 初始化的时候，需要指定每个分区的Offsets用于从指定位置读取数据读取并处理消息处理完之后存储结果数据用虚线存储和提交
大数据-106 Spark Graph X 计算学习 案例：1图的基本计算、2连通图算法、3寻找相同的用户
上节研究了SparkGraphX基本概念、基础架构等内容，本节研究Spark GraphX的案例，放了3个案例，图的基本计算、连通图算法、寻找相同的用户。图本身是递归数据结构，顶点的属性依赖于它们的邻居的属性，这些邻居的属性又依赖于自己的邻居的属性。所以需要重要的算法都是迭代的重新计算每个顶点的属性
Apache Spark详解
请注意，这只是一个高层次的示例，实际银行业务的数据处理流程会更加复杂，包括更多的数据清洗步骤、特征工程、模型选择和调优。通常是为了处理大规模数据集，执行复杂的数据分析和机器学习任务，然后将结果存储回数据库，并通过Django的Web界面或API展示这些结果。这可能需要在你的Django设置文件中配置
实验3-Spark基础-Spark的安装
PYTHONPATH环境变量主要是为了在Python3中引入Pyspark库，对于不同版本的Spark , 其py4j-0.10.7-src.zip文件名是不同的，要进入相应目录 $SPARK_HOME/python/lib/ 下具体查看确定具体名称，再对PYTHONPATH环境变量的相应值加以修改
【精选】基于Spark的国漫推荐系统（精选设计产品）
Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（larg
大数据-104 Spark Streaming Kafka Offset Scala实现Redis管理Offset并更新
上节研究了SparkStreaming Kafka的Offset管理，同时使用Scala实现了自定义的Offset管理。本节继续研究，使用Redis对Kafka的Offset进行管理。Redis 作为一个高效的内存数据库，常用于存储 Spark Streaming 中的 Kafka 偏移量。通过手动
Spark RPC框架详解
SparkContext构造过程的重要一步，就是Driver、ApplicationMaster以及Executor之间的协调和通信过程，这是基于RPC进行的。这里的Spark RPC是基于Netty的通信过程，而Netty的通信其实是基于Reactor架构进行的，Reactor架构其实是基于Jav
spark Standalone ha 集群部署
准备三台服务器，配置好对应主机的网络IP、主机名称、关闭防火墙、主机名masterslavescdh101√√cdh102√cdh103√用于Worker的Web UI用于Worker的Web UI应用程序（Driver和Executor）使用的端口5050、4040用于Executor的启动和Dr
Spark机器学习基础
不纯度 = P(X=0)(1-P(X=0)) + P(X=1)(1-P(X=1)) = 0.25 + 0.25 = 0.5。用来防止模型过拟合的参数，虽然线性模型本身是欠拟合的但是还是需要正则化系数来帮助我们调整模型。PCA使用的信息量衡量指标，就是样本方差，又称可解释性方 差，方差越大，特征所带的
