Flink Shuffle、Spark Shuffle、Mr Shuffle 对比
Flink Shuffle、Spark Shuffle、Mr Shuffle 对比
Spark的timestamp 数据时间问题
使用Spark来处理国际业务数据，涉及到数据时区转换，在实际项目中出现时区转换问题。但在实际Cluster 去run job的时候，如果给一个eff_dt为的时间，但是往往会出现df_eff_dt为20240131的日期。
Iceberg从入门到精通系列之二十四：Spark Structured Streaming
Iceberg 使用 Apache Spark 的 DataSourceV2 API 来实现数据源和目录。Spark DSv2 是一个不断发展的 API，在 Spark 版本中提供不同级别的支持。
Spark 提交命令和参数介绍
参考：spark官网配置介绍：Configuration - Spark 3.5.0 Documentationspark-sql参数一、提交命令 参数名格式参数说明--packages包含在driver和executor的classpath下的jar包逗号分隔的”groupId:artifac
实战：使用Docker和Spark构建大数据分析系统
1.背景介绍1. 背景介绍大数据分析是现代企业和组织中不可或缺的一部分，它有助于提取有价值的信息和洞察，从而支持决策过程。然而，构建高效的大数据分析系统是一项复杂的任务，涉及多种技术和工具。Docker是一个开源的应用容器引擎，它使用一种名为容器的虚拟化方法来隔离软件应用的运行环境。这使得开发人员可
深度干货｜谈谈阿里云AnalyticDB Spark如何构建低成本数据湖分析
本文将分享AnalyticDB MySQL Spark助力构建低成本数据湖分析的最佳实践。
【Spark精讲】一文讲透SparkSQL物理执行计划
【Spark精讲】一文讲透SparkSQL物理执行计划，SparkPlan，LeafExecNode类型，BinaryExecNode类型
合并spark structured streaming处理流式数据产生的小文件
为了解决上述问题，Databricks 提供了小文件自动合并功能，在每次向 Delta 表中写入数据之后，会检查 Delta 表中的表文件数量，如果 Delta 表中的小文件（size < 128MB 的视为小文件）数量达到阈值，则会执行一次小文件合并，将 Delta 表中的小文件合并为一个新的大文
数据仓库安全与隐私：保护措施与实践
1.背景介绍数据仓库安全与隐私是当今数据驱动经济的关键问题之一。随着数据的积累和分析的重要性不断提高，数据仓库的安全和隐私保护成为了企业和组织的重要议题。数据仓库安全与隐私的保护措施涉及到数据的收集、存储、处理和传输等各个环节，需要采取相应的技术手段和管理措施来确保数据的安全和隐私不被滥用。在这篇文
大数据 - Spark系列《八》- 闭包引用
本文将深入探讨闭包引用的原理和应用。首先，我们将介绍闭包引用的概念及其副本的形成机制。随后，通过两个实例代码演示闭包引用在 Spark 中的具体应用场景。接下来，我们将讨论使用 Source.fromFile 和 sc.textFile 两种方法读取数据的差异和适用场景。最后，我们会总结闭包引用的注
spark为什么比mapreduce快？
因为mapreduce计算模型只能包含一个map和一个reduce,所以reduce完后必须进行落盘，而DAG可以连续shuffle的，也就是说一个DAG可以完成好几个mapreduce，所以dag只需要在最后一个shuffle落盘，就比mapreduce少了，总shuffle次数越多，减少的落盘次
SparkUI任务启动参数介绍（148个参数）
SparkUI中有很多任务启动参数，需要对参数有一个深入了解才能进一步调优，资源优化
Spark SQL和Hive SQL 的对比
总结来说，Hive SQL更侧重于构建大数据仓库解决方案，而Spark SQL则在保持与Hive兼容的基础上，提升了查询性能并增加了更多高级功能，如支持更丰富的数据源连接、实时处理能力以及与Scala/Java/Python API的高度集成。用户可以根据实际需求选择或结合使用两者来满足不同的数据分
spark内存管理模型
本文主要粗略的介绍了spark使用的两种内存模型
spark基础
spark python java scala
Spark在AI与机器学习中的应用
1.背景介绍1. 背景介绍Apache Spark是一个开源的大规模数据处理框架，它可以处理批量数据和流式数据，并提供了一个易于使用的编程模型。Spark在AI和机器学习领域的应用非常广泛，它可以处理大量数据，提高训练和预测的速度，并提供了许多机器学习算法的实现。在本文中，我们将讨论Spark在AI
Spark大数据分析与实战笔记（第三章 Spark RDD 弹性分布式数据集-05）
Spark的任务调度是指Spark集群中的任务如何被调度和执行。Spark的任务调度主要基于两个概念：DAG和RDD。DAG是有向无环图（Directed Acyclic Graph）的简称，用来描述Spark作业中的任务依赖关系。在Spark中，作业被划分为多个阶段（Stage），每个阶段包含一组
2024.2.10 HCIA - Big Data笔记
MRS提供租户完全可控的一站式企业级大数据集群云服务,完全兼容开源接口,结合华为云计算,存储优势及大数据行业经验,为客户提供高性能,低成本,灵活易用的全栈大数据平台,为客户提供高性能、低成本、灵活易用的全栈大数据平台，轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件，
Spark编程实验六：Spark机器学习库MLlib编程
通过Spark机器学习库MLlib编程实验掌握基本的MLLib编程方法；掌握用MLLib解决一些常见的数据分析问题，包括数据导入、成分分析和分类和预测等。
macos安装local模式spark
c. 添加以下三条连接，使得spark能够找到对应的hadoop和相应的包。2. 打开sparkshell。然后执行并生效系统环境变量。然后执行并生效系统环境变量。可以看到很多输出，最后找到。b. 其次替换配置文件。
