Spark on YARN
Spark 在 YARN 上运行是一种常见的部署方式，特别是在企业环境中。这种方式充分利用了 YARN 的资源管理和调度能力，同时让 Spark 应用程序能够高效地运行在 Hadoop 集群上。如果你需要进一步的帮助或有关于具体配置的问题，请随时提问！
Spark-driver和executor启动过程
1、代码中根据SparkConf构建SparkContext2、创建任务调度器并启用3、StandaloneSchedulerBackend 和 CoarseGrainedSchedulerBackend 的 start() 启动4、DriverEndpoint 创建 等待其他Endpoint发送
Spark的Web界面
已提交的作业不同阶段RDDs（弹性分布式数据集）Apache Spark UI中的"Executors"页面，该页面提供了关于Spark应用程序中执行器的详细信息。执行器是Spark应用程序中负责执行任务的进程。
Apache Uniffle 学习 —— ShuffleManagerGrpcService
ShuffleManager service 是启动在计算引擎的 Application Master 中，为这个 Application 处理 RSS 特定的逻辑。// 当 Fetch 数据失败时，汇报 fetch 失败，由 ShuffleManagerGrpcService 决定是否要进行 st
【大数据分析工具】使用Hadoop、Spark进行大数据分析
Hadoop是一个开源的分布式计算框架，最初由Apache基金会开发。Hadoop分布式文件系统（HDFS）：负责存储大规模数据，提供高吞吐量的数据访问。MapReduce：一种编程模型，用于处理和生成大规模数据集，运行在分布式集群上。YARN：Hadoop的资源管理器，用于调度系统资源，支持多种数
【大数据】MapReduce的“内存增强版”——Spark
在大数据时代，数据处理和分析成为企业竞争的重要手段。Hadoop作为大数据处理的基石，其核心组件MapReduce在众多场景中发挥了巨大作用。但是随着业务数据变多业务变复杂，MapReduce在处理速度、迭代计算等方面逐渐暴露出局限性
Hadoop完全分布式+spark（python）
这是因为在根据master主机克隆的同时把主机名也克隆了，这就导致slave1主机和slave2主机的主机名也为master，因此要进行配置，在slave1,slave2上分别执行。做完以上操作后系统的准备工作就做好了，但实际在操作主机时是不会真的在主机上操作，而通常是通过一个远程连接软件来操作主机
Hadoop实时数据处理框架Spark技术教程
SparkSQL是Apache Spark框架中的一个模块，它提供了用于处理结构化和半结构化数据的编程接口。SparkSQL不仅能够处理传统的SQL查询，还能够处理更复杂的数据类型，如JSON和XML。它通过DataFrame和Dataset API，使得开发者能够以面向对象的方式处理数据，同时保持
spark之时间序列预测(商品销量预测)
本案例使用前1913天的数据作为训练数据，来预测1914天到1941天的销量。以上数据下载后放入resources/advanced下，并在properties.properties中配置一下文件名和路径，以供程序读取和处理数据。2.模型的训练及预测利用python lightgbm进行操作，见ti
快手自研Spark向量化引擎正式发布，性能提升200%
通过引入细粒度的FailBack机制，Blaze在翻译过程中遇到暂无Native实现的算子、单个表达式或UDF时，支持算子/单个表达式粒度的回退，能够灵活回退到Spark原生执行。Spark原生执行流程主要依赖于Java虚拟机（JVM）进行任务的执行，尽管JVM在提供跨平台、内存管理等方面有着卓越的
大数据之Spark RDD 持久化
大数据之Spark RDD 持久化
《基于 Spark 的平替药品智能推荐方法》
本篇文章将介绍，基于 Kafka + Spark + Redis 等技术，在药品开单的过程中，实现一种智能推荐平替药品的方案。💗 后续会逐步分享企业实际开发中的实战经验，有需要交流的可以联系博主。
【Hadoop Spark 大数据】豆瓣电子图书推荐系统，4个步骤实现数据驱动的图书推荐
亲爱的同学们，如果你也对大数据技术在电子图书推荐系统中的应用感兴趣，或者对我们的课题有任何想法和建议，欢迎在评论区留言交流。让我们一起探讨，共同进步！期待你的声音，让我们在评论区见！👇🏻 精选专栏推荐 👇🏻 欢迎订阅关注！大数据实战项目PHP|C#.NET|Golang实战项目微信小程序|安
Hadoop vs Spark
Spark和Hadoop比较
Spark面试高频真题二--数据倾斜
数据倾斜是数仓面试必问题，属于数据开发基本功，但从发现、定位、处理、预防全面准确的回答才能让面试官感受到深度的思考，体现出候选人对于组件原理与应用的专业性。下面是总结的数据倾斜相关的面试问题和答案参考。一定对你有所启发。
【Pyspark-驯化】一文搞懂Pyspark中表连接的使用技巧
在数据处理和分析中，表连接（Join）是一种常用的操作，用于将两个或多个表中满足特定条件的数据行组合在一起。PySpark提供了多种连接函数，允许用户根据不同的键进行内连接、外连接、左连接和右连接。PySpark中的连接函数是处理和分析数据集的重要工具。通过本博客的代码示例，我们学习了如何使用不同的
Spark-Job启动、Stage划分
1、线性解析程序中的代码，遇到Action算子调用SparkContext的runJob()，有几个Action算子就会产生几个Job2、转交给DAGScheduler提交Job3、DAGScheduler先为调用Action算子的RDD创建一个ResultStage。
Apache Spark：Spark项目实战：大数据分析案例
Spark Streaming 的核心概念是 DStream（Discretized Stream），它是 Spark Streaming 中数据流的抽象表示，可以看作是随时间推移的 RDD 序列。在大数据分析中，Apache Spark 提供了 Spark SQL 模块，它允许用户以 SQL 的形
Windows系统下的Spark环境配置
在 Windows 系统上配置 Spark 环境涉及到几个步骤，包括安装 Java、下载和解压 Spark、配置环境变量以及验证安装。
spark-python
在讨论spark的架构角色时,首先先回顾一下yarn的架构角色.这一节比较重要,但是这里仍然不搭建,笔记会详细记录.
