Hadoop vs Spark
Spark和Hadoop比较
Spark面试高频真题二--数据倾斜
数据倾斜是数仓面试必问题，属于数据开发基本功，但从发现、定位、处理、预防全面准确的回答才能让面试官感受到深度的思考，体现出候选人对于组件原理与应用的专业性。下面是总结的数据倾斜相关的面试问题和答案参考。一定对你有所启发。
【Pyspark-驯化】一文搞懂Pyspark中表连接的使用技巧
在数据处理和分析中，表连接（Join）是一种常用的操作，用于将两个或多个表中满足特定条件的数据行组合在一起。PySpark提供了多种连接函数，允许用户根据不同的键进行内连接、外连接、左连接和右连接。PySpark中的连接函数是处理和分析数据集的重要工具。通过本博客的代码示例，我们学习了如何使用不同的
Spark-Job启动、Stage划分
1、线性解析程序中的代码，遇到Action算子调用SparkContext的runJob()，有几个Action算子就会产生几个Job2、转交给DAGScheduler提交Job3、DAGScheduler先为调用Action算子的RDD创建一个ResultStage。
Apache Spark：Spark项目实战：大数据分析案例
Spark Streaming 的核心概念是 DStream（Discretized Stream），它是 Spark Streaming 中数据流的抽象表示，可以看作是随时间推移的 RDD 序列。在大数据分析中，Apache Spark 提供了 Spark SQL 模块，它允许用户以 SQL 的形
Windows系统下的Spark环境配置
在 Windows 系统上配置 Spark 环境涉及到几个步骤，包括安装 Java、下载和解压 Spark、配置环境变量以及验证安装。
spark-python
在讨论spark的架构角色时,首先先回顾一下yarn的架构角色.这一节比较重要,但是这里仍然不搭建,笔记会详细记录.
Spark-ShuffleManager
中我们讲到了ShuffleMapTask中会对这个Stage的结果进行磁盘的写入，并且从SparkEnv中得到了ShuffleManager，且调用了它的getWriter方法并在这个Stage的入口处（也就是RDD的迭代器数据源处）调用了它的getReader，下面我们来详细分析下ShuffleM
Spark在YARN上运行图解（资源调度+任务调度）及案例
Spark集群配置YARN、client与cluster提交流程图解、编写spark程序在yarn上执行（计算圆周率）
0基础学习spark
0基础学习spark的一些笔记和总结
Spark 中repartition和coalesce的区别
在Apache Spark中，和coalesce是两种用于重新分区RDD或DataFrame的转换操作。它们的主要区别在于它们对分区数量的处理方式和使用场景。repartition 是 coalesce shuffle为True的实现。两者使用的场景。首先，repartition 的shuffle比
spark入门
Spark是一种快速、通用、可扩展的大数据分析引擎，其核心优势在于内存计算和高效的数据处理能力。Spark是在Hadoop基础上的改进，是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有H
Scala与Spark：大数据处理的完美组合
函数式编程：支持高阶函数、不可变数据结构等。面向对象编程：支持类和对象的定义，并具备继承、多态等特性。与Java兼容：可以与Java代码互操作，方便使用现有的Java库。表达能力强：代码简洁，能够用更少的代码实现更多功能。Apache Spark是一个开源的分布式计算框架，用于处理大规模数据集。内存
超细学学 lateral view (侧视图) + explode 炸裂函数 + 日期数据补全
lateral view (侧视图) + explode 炸裂函数 + 日期数据补全
STM32控制机械臂与传感器：整合ESP32通讯、Spark与人工智能优化的智能制造解决方案（代码说明）
本项目构建了一套基于STM32、ESP32、Spark和人工智能的智能制造系统。通过STM32控制机械臂与传感器，实现高效精确的机械动作和实时数据采集；ESP32则利用蓝牙和Wi-Fi实现设备间的无线通信，确保数据传输的实时性与可靠性。采集到的数据被上传至云平台，使用Spark进行大数据处理，快速分
全国职业院校技能大赛（大数据）2024
大数据应用
数据仓库系列17：元数据管理在数据仓库中的作用是什么?
元数据,顾名思义,就是"关于数据的数据"。它是描述、解释和定位数据的结构化信息。在数据仓库环境中,元数据扮演着至关重要的角色,它就像是数据的"身份证",记录了数据的来源、格式、含义、关系和使用方法等信息。让我们通过一个简单的例子来理解元数据:date DATE,表名: sales_data列名及其数
数据仓库中的表设计模式：全量表、增量表与拉链表
全量表通过保存完整的数据快照确保数据的一致性，增量表则通过记录数据的变化部分优化性能和存储效率，而拉链表则通过维护数据的历史版本满足复杂的分析和审计需求。总的来说，全量表、增量表和拉链表是数据仓库中常见的表设计模式，它们各自针对不同的数据更新场景提供了解决方案，能够有效管理数据的变化并维护历史记录。
大数据知识总结（七）：Spark重要知识汇总
Spark Core（实现了 Spark 的基本功能，包含RDD、任务调度、内存管理、错误恢复、与存储系统交互等模块。数据结构：RDD）Spark SQL（可以使用 SQL操作数据。数据结构：Dataset/DataFrame = RDD + Schema）（用来操作数据流的 API。数据结构：DS
代表性大数据技术：Hadoop、Spark与Flink的框架演进
本文回顾了大数据技术发展的几个重要里程碑，从MapReduce编程模型的提出到Hadoop、Spark和Flink等大数据框架的涌现。
