Linux虚拟机环境搭建spark
大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**
spark的搭建
Spark是一个开源的大数据处理框架，它提供了一个快速、通用和易于使用的计算引擎。Spark最初由美国加州伯克利大学AMP实验室于2009年开发，是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序。具体来说，Spark的优势包括：速度快：Spark能够快速进行数据读取、处
Windows下安装Spark（亲测成功安装）_windows spark，真香
Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎 [2]。现在形成一个高速发展应用广泛的生态系统。
实时大数据流处理技术：Spark Streaming与Flink的深度对比
Flink在流处理、状态管理和低延迟方面表现更优，而Spark Streaming在批处理和微批处理场景、以及成熟的生态系统支持方面有其独到之处。由于Flink的设计更加注重流处理，它能够为需要高吞吐量和低延迟的应用提供更优的支持。由于其广泛的社区支持和成熟的生态系统，提供了大量的库和API，使得开
基于Spark中随机森林模型的天气预测系统
使用Apache Spark和随机森林算法来构建一个天气预测系统。该系统将利用历史天气数据，通过机器学习模型预测未来的天气情况，特别是针对是否下雨的二元分类问题。
大数据技术与应用（Spark），2024年最新含面试题+答案
链图片转存中…(img-d7I0zdtA-1713022181404)]
Spark参数配置不合理的情况
通常 executor 堆外内存在 executor.cores=1 的时候，1g 足够了，正常来说最大值不超过 2g；，默认的 buffer 会在 64k 到 64m 动态伸缩，没有特殊需要不需要设置，如果数据比较大，设置。算法作业绝大多数是 rdd 操作，合理设置并行度，事半功倍，后面会专门介绍
【黑马程序员】PySpark学习
功能：map算子是将RDD的数据一条条处理（处理的逻辑基于map算子中接收的处理函数），返回新的RDD。PySpark的数据计算，都是基于RDD对象来进行的，RDD对象内置丰富的：成员方法（算子）功能：针对KV型RDD，自动按照key分组，然后根据你提供的聚合逻辑，完成数据的聚合操作。功能：对rdd
Spark Standalone模式部署
准备至少2台虚拟机，装好linux系统，我装的是Ubuntu20.04。
数据仓库面试题集锦（附答案和数仓知识体系(1)
数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。1）数据仓库是用于支持决策、面向分析型数据处理；2）对多个异构的数据源有效集成，集成后按照主题进行重组，并包含历史数据，而且存放在数据仓库中的数据一般不再修改2、数据仓库和数据库的区别？从目标、用途、设计来说1）
【大数据篇】Spark转换算子（Transformations）和行动算子（Actions）详解
Apache Spark 提供了大量的算子（操作），这些算子大致可以分为两类：转换算子（Transformations）和行动算子（Actions）。转换算子用于创建一个新的RDD，而行动算子则对RDD进行操作并产生结果。
数据仓库—建模方法论—纬度建模星型模型与雪花模型
综上所述，星型模型适用于简单的分析需求和对查询性能有较高要求的场景，而雪花模型适用于复杂的业务需求和对存储空间和灵活性有较高要求的场景。可以发现数据仓库大多数时候是比较适合使用星型模型构建底层数据Hive表，通过大量的冗余来提升查询效率，星型模型对OLAP的分析引擎支持比较友好，这一点在Kylin中
Hive切换引擎(MR、Tez、Spark)
hive切换计算引擎 mr tez spark
“Spark+Hive”在DPU环境下的性能测评 | OLAP数据库引擎选型白皮书（24版）DPU部分节选
在奇点云2024年版《OLAP数据库引擎选型白皮书》中，中科驭数联合奇点云针对Spark+Hive这类大数据计算场景下的主力引擎，测评DPU环境下对比CPU环境下的性能提升效果。特此节选该章节内容，与大家共享。
spark-hive连接操作流程、踩坑及解决方法
hive安装；spark-hive兼容版本编译；spark-sql操作hive表格
【大数据】Spark使用大全:下载安装、RDD操作、JAVA编程、SQL
一文详解Spark的使用
Spark 检查点（checkpoint）
Checkpointing可以将RDD从其依赖关系中抽出来，保存到可靠的存储系统（例如HDFS，S3等)， 即它可以将数据和元数据保存到检查指向目录中。因此，在程序发生崩溃的时候，Spark可以恢复此数据，并从停止的任何地方开始。开发人员可以是来方法来设置检查点。在使用检查点之前，必须使用方法设置检
10X空间转录组空间高变基因分析之SPARK
10X空间转录组空间高变基因分析之SPARK
Hadoop+Spark大数据技术 实验8 Spark SQL结构化
示例: gradedf.selectExpr("name", "name as names" ,"upper(Name)","Scala * 10").show(3)- 示例: gradedf.select("Name", "Class","Scala").show(3,false)修改名称：gra
Spark数据倾斜定位及解决方案
因为自己编写的代码的bug，以及偶然出现的数据异常，也可能会导致内存溢出。此外，倒数第一列显示了每个task处理的数据量，明显可以看到，运行时间特别短的task只需要处理几百KB的数据即可，而运行时间特别长的task需要处理几千KB的数据，处理的数据量差了10倍。：该方案通常无法彻底解决数据倾斜，因
