一篇文章教你如何搭建scala和spark（超详细）
Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People Lab）开发的通用内存并行计算框架Spark得到了众多大数据公司的支持，这些公司包括Hortonworks、IBM、Intel、Clo
spark on k8s两种方式的原理与对比
Spark on k8s Operator 更适合大规模、需要自动化和集中管理的场景。它利用 Kubernetes 的原生功能，实现自动化管理和配置集中化，虽然增加了一些复杂性，但在动态和多租户环境中表现出色。Spark on k8s 适合简单、直接的 Spark 作业提交和管理场景，特别是对于那些
基于Spark的电商推荐系统（高分毕设）
今天分享的是一套基于SSM技术+spark技术的电影推荐系统包含了爬虫、电影网站（前端和后端）、后台管理系统以及推荐系统（Spark）。
Spark转化算子
这个操作是非常昂贵的，最好用aggregateByKey 和reduceByKey代替。就是在shuffle前先进行计算，这样可以减少shuffle的数据。map和mapPartitions及mapPartitionsWithIndex区别。
Spark核心知识要点（三）
Spark核心知识要点（三）
Scala和Spark的介绍
Spark最初由美国加州伯克利大学( UC Berkelcy)的AMP实验室于2009年开发，是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序。
一文详解数据仓库、数据湖、湖仓一体和数据网格
本文对数据仓库、数据湖、湖仓一体、数据网格四个技术概念进行了辨析，并对它们的优势和局限给出了对比介绍。
pyspark自定义UDF函数
当遇到一些复杂特殊的计算场景时，只通过pyspark的内置函数无法达到我们想要实现的效果，此时，可通过自定义函数然后注册为UDF函数，就能够很好的解决复杂计算场景问题，且计算效率非常快速。计算5000多万数据，仅需一分钟不到，效率非常高。
【图解大数据技术】流式计算：Spark Streaming、Flink
Flink 和 Spark Streaming 不一样，Flink 一开始设计就是为了做实时流式计算的。它可以监听消息队列获取数据流，也可以用于计算存储在 HDFS 等存储系统上的数据（Flink 把 这些静态数据当做数据流来进行处理）。然后 Flink 计算后生成的结果流，也可以发送到其他存储系统
Spark累加器、广播变量、案例需求
很自然地想到组合rdd的算子join，但是join只能组合相同的key，如果一个商品只有点击没有下单，那么使用join是不会出现在最终结果的，同理leftOuterJoin和rightOuterJoin也是类似的，不能实现相应的功能。1）已经从原始日志文件中读出了商品的点击数量rdd、下单数量rdd
【Spark】【翻译】RDD Programming Guide
Spark官方文档翻译系列，RDD编程指南（RDD Programming Guide）
大数据处理：大数据处理框架Hadoop、Spark
大数据处理是当代信息技术领域的一个重要分支，它涉及到海量数据的存储、管理和分析。为了高效地应对大数据处理的挑战，多种框架被开发出来，其中Hadoop和Spark是最为知名和广泛应用的两种。以下将详细介绍这两种框架以及它们在大数据处理中的应用和优势。
【毕业设计】基于Spark的在线音乐平台设计与实现
SpringBoot是一个开源的轻量级框架。它基于约定优于配置的原则，减少开发人员编写样板化配置的需求，从而提高开发效率和项目周期。SpringBoot不是用来替代Spring框架的解决方案，而是与之紧密结合，提升开发者体验的工具。SpringBoot的特点包括：创建独立的Spring应用程序：允许
Spark 作业的 commit 提交机制 - Spark并发更新ORC表失败的问题原因与解决方法
该问题的原因是spark不支持对同一张ORC/PARQUET非分区表或ORC/PARQUET分区表的同一个分区的并发更新，甚至也不支持以静态分区模式并发更新 ORC/PARQUET分区表的不同分区，其底层细节跟 spark作业两阶段提交机制的实现算法有关，详情见后文。
Apache Spark：SparkGraphX图数据处理技术教程
SparkGraphX 是 Apache Spark 中用于图数据处理和图算法执行的模块。它提供了高效、灵活的图并行计算框架，适用于大规模图数据集的分析。通过理解 SparkGraphX 的核心概念和算法，你可以开始在你的大数据项目中应用图计算技术。请注意，上述代码示例和配置假设你已经熟悉 Spar
spark 动态资源分配dynamicAllocation
动态资源分配，主要是spark在运行中可以相对合理的分配资源。
spark常见面试题
首先会为最后 一个 RDD 创建一个 Stage，然后继续倒推，如果发现对某个 RDD 是宽依赖，那 么就会将宽依赖的那个 RDD 创建一个新的 Stage，那个 RDD 就是新的 Stage的最后一个 RDD。Spark streaming 内部的基本工作原理是：接受实时输入数据流，然后将数据拆
大数据核心面试题（Hadoop，Spark，YARN）
Hadoop是一个用于存储和处理大规模数据集的开源框架。用于分布式存储数据。用于分布式数据处理的计算框架。用于资源管理和作业调度。回答：负责管理HDFS的元数据，包括文件目录结构、文件到块的映射以及每个块的副本位置。它是HDFS的单点故障。负责存储实际的数据块，并定期向NameNode报告其存储的块
摸鱼大数据——Spark SQL——Spark on Hive部署
spark.sql("""insert into spark_demo.stu values(1,'张三'),(2,'李四')""")spark-sql>insert into spark_demo.stu values(1,'张三'),(2,'李四');（1）检查hive中 hive-site
【Spark快速大数据分析】四、键值对操作 - Pair RDD的转化操作
键值对：rdd ={(1,2), (3,4), (3,6)};other={(3,9)}在为每个键计算全局的总结果之前，先自动在每台机器上进行本地合并，
