快手自研Spark向量化引擎正式发布，性能提升200%
通过引入细粒度的FailBack机制，Blaze在翻译过程中遇到暂无Native实现的算子、单个表达式或UDF时，支持算子/单个表达式粒度的回退，能够灵活回退到Spark原生执行。Spark原生执行流程主要依赖于Java虚拟机（JVM）进行任务的执行，尽管JVM在提供跨平台、内存管理等方面有着卓越的
大数据之Spark RDD 持久化
大数据之Spark RDD 持久化
《基于 Spark 的平替药品智能推荐方法》
本篇文章将介绍，基于 Kafka + Spark + Redis 等技术，在药品开单的过程中，实现一种智能推荐平替药品的方案。💗 后续会逐步分享企业实际开发中的实战经验，有需要交流的可以联系博主。
【Hadoop Spark 大数据】豆瓣电子图书推荐系统，4个步骤实现数据驱动的图书推荐
亲爱的同学们，如果你也对大数据技术在电子图书推荐系统中的应用感兴趣，或者对我们的课题有任何想法和建议，欢迎在评论区留言交流。让我们一起探讨，共同进步！期待你的声音，让我们在评论区见！👇🏻 精选专栏推荐 👇🏻 欢迎订阅关注！大数据实战项目PHP|C#.NET|Golang实战项目微信小程序|安
Hadoop vs Spark
Spark和Hadoop比较
Spark面试高频真题二--数据倾斜
数据倾斜是数仓面试必问题，属于数据开发基本功，但从发现、定位、处理、预防全面准确的回答才能让面试官感受到深度的思考，体现出候选人对于组件原理与应用的专业性。下面是总结的数据倾斜相关的面试问题和答案参考。一定对你有所启发。
【Pyspark-驯化】一文搞懂Pyspark中表连接的使用技巧
在数据处理和分析中，表连接（Join）是一种常用的操作，用于将两个或多个表中满足特定条件的数据行组合在一起。PySpark提供了多种连接函数，允许用户根据不同的键进行内连接、外连接、左连接和右连接。PySpark中的连接函数是处理和分析数据集的重要工具。通过本博客的代码示例，我们学习了如何使用不同的
Spark-Job启动、Stage划分
1、线性解析程序中的代码，遇到Action算子调用SparkContext的runJob()，有几个Action算子就会产生几个Job2、转交给DAGScheduler提交Job3、DAGScheduler先为调用Action算子的RDD创建一个ResultStage。
Apache Spark：Spark项目实战：大数据分析案例
Spark Streaming 的核心概念是 DStream（Discretized Stream），它是 Spark Streaming 中数据流的抽象表示，可以看作是随时间推移的 RDD 序列。在大数据分析中，Apache Spark 提供了 Spark SQL 模块，它允许用户以 SQL 的形
Windows系统下的Spark环境配置
在 Windows 系统上配置 Spark 环境涉及到几个步骤，包括安装 Java、下载和解压 Spark、配置环境变量以及验证安装。
spark-python
在讨论spark的架构角色时,首先先回顾一下yarn的架构角色.这一节比较重要,但是这里仍然不搭建,笔记会详细记录.
Spark-ShuffleManager
中我们讲到了ShuffleMapTask中会对这个Stage的结果进行磁盘的写入，并且从SparkEnv中得到了ShuffleManager，且调用了它的getWriter方法并在这个Stage的入口处（也就是RDD的迭代器数据源处）调用了它的getReader，下面我们来详细分析下ShuffleM
Spark在YARN上运行图解（资源调度+任务调度）及案例
Spark集群配置YARN、client与cluster提交流程图解、编写spark程序在yarn上执行（计算圆周率）
0基础学习spark
0基础学习spark的一些笔记和总结
Spark 中repartition和coalesce的区别
在Apache Spark中，和coalesce是两种用于重新分区RDD或DataFrame的转换操作。它们的主要区别在于它们对分区数量的处理方式和使用场景。repartition 是 coalesce shuffle为True的实现。两者使用的场景。首先，repartition 的shuffle比
spark入门
Spark是一种快速、通用、可扩展的大数据分析引擎，其核心优势在于内存计算和高效的数据处理能力。Spark是在Hadoop基础上的改进，是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有H
Scala与Spark：大数据处理的完美组合
函数式编程：支持高阶函数、不可变数据结构等。面向对象编程：支持类和对象的定义，并具备继承、多态等特性。与Java兼容：可以与Java代码互操作，方便使用现有的Java库。表达能力强：代码简洁，能够用更少的代码实现更多功能。Apache Spark是一个开源的分布式计算框架，用于处理大规模数据集。内存
超细学学 lateral view (侧视图) + explode 炸裂函数 + 日期数据补全
lateral view (侧视图) + explode 炸裂函数 + 日期数据补全
STM32控制机械臂与传感器：整合ESP32通讯、Spark与人工智能优化的智能制造解决方案（代码说明）
本项目构建了一套基于STM32、ESP32、Spark和人工智能的智能制造系统。通过STM32控制机械臂与传感器，实现高效精确的机械动作和实时数据采集；ESP32则利用蓝牙和Wi-Fi实现设备间的无线通信，确保数据传输的实时性与可靠性。采集到的数据被上传至云平台，使用Spark进行大数据处理，快速分
全国职业院校技能大赛（大数据）2024
大数据应用
