【头歌实训】Spark 完全分布式的安装和部署（新）
把 master 节点的 spark 安装包分发到 slave1 节点和 slave2 节点（通过 scp 命令）。1.Standalone：Spark 自带的简单群资源管理器，安装较为简单，不需要依赖 Hadoop；接下来来查看下 slave1 节点连接密码，首先点击 slave1 命令行窗口，再
【Spark编程基础】第7章 Structured Streaming
Structured Streaming的关键思想是将实时数据流视为一张正在不断添加数据的表可以把流计算等同于在一个静态表上的批处理查询，Spark会在不断添加数据的无界输入表上运行计算，并进行增量查询在无界表上对输入的查询将生成结果表，系统每隔一定的周期会触发对无界表的计算并更新结果表。
2023_Spark_实验三十：测试Flume到Kafka
flume监控指定文件，shell+crontab模拟实时数据，kafka存储flume生产者的数据，使用kafkatools查看kafka主题
【详解】Spark数据倾斜问题由基础到深入详解-完美理解-费元星
spark hive数据倾斜，一文从浅到深，完美理解和解决
【Spark源码分析】Spark的RPC通信二-初稿
Spark的RPC通信
Spark计算框架
Spark的诞生背景Spark 2009年诞生的一个技术，诞生的主要原因是因为Hadoop大数据解决方案存在一些弊端MR程序是基于磁盘进行运算，因此导致MR程序计算效率底下。MR程序无法计算复杂的任务，如果想要实现复杂的计算逻辑，可能编写多个MR Job，其中后续的Job依赖于前一个Job的输出，但
Spark读写Hive
使用Spark读写分布式数据仓库Hive
2023_Spark_实验二十九：Flume配置KafkaSink
flume1.9.0 配置source为exec读取shell脚本模拟产生的实时数据，配置Sink为kafkaSink，配置channel为memoryChannel
大数据编程实验：RDD编程
针对问题(6)，考虑使用嵌套形式的数据结构来存储，从该数据集中映射出课程名称和分数，对课程出现次数用字典进行统计：(课程名称, (分数, 1))使用reduceByKey方法将分数和方法加，得到新的数据：(课程名称,(总分数,总人数))于两个输入文件A和B，编写Spark独立应用程序，对两个文件进行
利用Spark构建房价分析与推荐系统：基于58同城数据的大数据实践
利用58同城爬虫获取实时房价数据。使用Pandas进行数据清洗、处理，确保数据质量。利用Spark加速大数据分析，使用Echarts创建交互式可视化图表展示房价相关信息。基于Spark构建房价预测模型，通过机器学习算法实现对未来房价的预测。实现协同过滤推荐系统，为用户提供个性化的房屋推荐。设计合适的
基于spark对美国新冠肺炎疫情数据分析
2020年美国新冠肺炎疫情是全球范围内的一场重大公共卫生事件，对全球政治、经济、社会等各个领域都产生了深远影响。在这场疫情中，科学家们发挥了重要作用，积极探索病毒特性、传播机制和防控策略，并不断推出相关研究成果。本篇论文旨在使用 Spark 进行数据处理分析，以了解2020年美国新冠肺炎疫情在该国的
Spark Machine Learning进行数据挖掘的简单应用（兴趣预测问题）
使用SparkSession中的builder()构建 后续设定appName 和master ，最后使用getOrCreate()完成构建// 定义spark对象val spark = SparkSession.builder().appName("兴趣预测").master("local[*]"
hive的引擎mapreduce、tez和spark对比
Hive 的执行引擎包括以下几种：Hive 最早使用的执行引擎是基于 Hadoop MapReduce 的。它将 Hive 查询转化为一系列的 MapReduce 任务进行并行执行。MapReduce 引擎适用于处理大规模数据集，具有良好的容错性和扩展性，但由于磁盘读写和中间结果的持久化，可能在性能
理解 Spark 写入 API 的数据处理能力
这张图解释了 Apache Spark DataFrame 写入 API 的流程。它始于对写入数据的 API 调用，支持的格式包括 CSV、JSON 或 Parquet。流程根据选择的保存模式（追加、覆盖、忽略或报错）而分岔。每种模式执行必要的检查和操作，例如分区和数据写入处理。流程以数据的最终写入
spark scala.util.matching.Regex类用法示例源码详解
spark scala.util.matching.Regex类用法示例源码详解
PySparkSQL（ DataFrame进阶，函数定义）
开窗函数的引入是为了既显示聚集前的数据，又显示聚集后的数据。即在每一行的最后一列添加聚合函数的结果。开窗用于为行定义一个窗口(这里的窗口是指运算将要操作的行的集合)，它对一组值进行操作，不需要使用 GROUP BY 子句对数据进行分组，能够在同一行中同时返回基础行的列和聚合列。●聚合函数和开窗函数聚
Spark【Spark SQL（二）RDD转换DataFrame、Spark SQL读写数据库 】
Spark SQL通过RDD转换为DataFrame的两种方式、Spark SQL读写MySQL数据库
Spark作业串行与并行提交job
在Scala中，您可以以串行和并行的方式提交Spark作业。看看如何使用for和构造对应的例子。
大数据毕业设计选题推荐-农作物观测站综合监控平台-Hadoop-Spark-Hive
随着科技的发展和全球气候变化的挑战，农业生产的效率和可持续性越来越受到人们的关注。为了提高农业生产的效率和可持续性，需要进行长期的的农作物观测和监控。传统的农作物观测站通常需要大量的人力物力进行维护，而且受到时间和空间的制约，无法做到实时的观测和监控。因此，基于大数据的农作物观测站监控平台的研究和应
【Spark基础】-- RDD、DataFrame 和 Dataset 的对比
DataFrame 支持从最流行的格式中读取数据，包括 JSON 文件、Parquet 文件、Hive 表。它可以从本地文件系统、分布式文件系统（HDFS）、云存储（S3）和通过JDBC连接的外部关系数据库系统中读取数据。此外，通过 Spark SQL 的外部数据源 API，DataFrame 可以
