摸鱼大数据——Spark Structured Steaming——Spark 和 Kafka 整合
Spark天然支持集成Kafka, 基于Spark读取Kafka中的数据, 同时可以实施精准一次（仅且只会处理一次）的语义, 作为程序员, 仅需要关心如何处理消息数据即可, 结构化流会将数据读取过来, 转换为一个DataFrame的对象, DataFrame就是一个无界的DataFrame, 是一个
基于python+django的Spark的国漫推荐系统的设计与实现
随着国漫的崛起和受众群体的不断扩大，为用户提供个性化的国漫推荐服务变得愈发重要。基于 Python + Django 的 Spark 的国漫推荐系统应运而生，旨在为动漫爱好者打造一个专属的国漫发现平台。该系统充分发挥 Python 的灵活性和强大的库支持。利用 Python 编写爬虫程序，从多个动漫
Spark高级用法-数据源的读取与写入
使用read和write实现数据导入导出读取mysql数据库的原始数据表在将读取到的数据导入数仓中。
【小白的大数据进阶之路】2024小白入门大数据，进阶成大牛，需要学习哪些技术？
2024小白入门大数据，进阶成大牛，需要学习哪些技术？每个技术在大数据领域的应用场景是啥？一个完整的大数据项目涉及到哪些流程环节，整个技术框架是怎样的？想要在2024年从小白进阶成大数据领域的大牛，你需要系统地学习一系列技术，并了解它们在大数据领域的应用场景。以下是一个详细的学习路线和每个技术的应用
Spark 运行架构
Spark 框架的核心是一个计算引擎，整体来说，它采用了标准的 master-slave 结构。上图中的 Driver 表示 master ，负责管理整个集群中的作业任务调度；Executor 则是 slave，负责实际执行任务；
【大数据】Spark Executor内存分配原理与调优
我们都知道 Spark 能够有效的利用内存并进行分布式计算，其内存管理模块在整个系统中扮演着非常重要的角色。为了更好地利用 Spark，深入地理解其内存管理模型具有非常重要的意义，这有助于我们对 Spark 进行更好的调优；在出现各种内存问题时，能够摸清头脑，找到哪块内存区域出现问题。
全面解析数据仓库：发展历程、核心作用与未来趋势
数据湖与数据仓库相结合，可以实现数据的全生命周期管理，既满足数据仓库对高质量数据的需求，又具备数据湖对原始数据的灵活存储和处理能力。在当今信息化社会，数据已经成为企业最重要的资产之一，而数据仓库作为一种能够有效存储、管理和分析大量数据的技术，已经成为各行各业的重要支撑。本文将深入探讨数据仓库的发展历
Spark 的 Skew Join 详解
数据倾斜指的是当某些key关联了异常大量的数据，而其他key关联的数据量较少时，数据分布的不均衡会导致计算瓶颈。例如，在JOIN操作中，如果表 A 中某个key具有大量的数据，而表 B 中同样的key也有大量数据，当这两个表基于这个key进行JOIN时，由于该key被分配到一个或少数几个分区，相关的
基于Spark 的零售交易数据挖掘分析与可视化
我们使用了 PySpark 来处理一个电商数据集，数据存储在 HDFS 上。通过 SQL 和 RDD 操作实现了多个业务需求分析，并最终将结果保存为 JSON 文件，用于前端展示。后端 Web 服务采用 Bottle 框架，提供静态文件服务和页面展示。
大数据处理框架Spark和Flink的功能、应用场景、性能有哪些差异？
Spark更适合大规模的批处理任务和离线数据分析。Flink则适合需要实时流处理、低延迟和高级复杂事件处理的场景。
Spark-ShuffleWriter-UnsafeShuffleWriter
ShuffleMapTask向调度器返回的结果。包括任务存储shuffle文件的块管理器地址，以及每个reducer的输出大小，以便传递给reduce任务。当调度器发现这个ShuffleMapTask执行完成，就会执行下一个ShuffleMapTask或者ResultTask。
Apache Iceberg 与 Spark整合-使用教程（Iceberg 官方文档解析）
spark & iceberg
Spark-RDD（Resilient Distributed Dataset）图文详解
Spark-RDD概述
django基于spark的电力能耗数据分析系统的设计与实现
Django-Admin来自django.contrib也就是Django的标准库，默认被配置好，只需要激活启用即可，它的优势在于可以快速对数据库的各个表进行增删改查，一行代码即可管理一张数据库表，相比于手动后台1个模型一般需要4个urls，4个视图函数和4个模板，可以说Django完成了一个程序编
Spark原理及调优
spark 的原理及优化
深入浅出：Eclipse 中配置 Maven 与 Spark 应用开发全指南
安徽省大数据与人工智能应用竞赛备战资料--spark
大数据组件详解：Spark、Hive、HBase、Phoenix 与 Presto
随着大数据技术的快速发展，各种大数据处理框架和工具也应运而生。其中，Spark、Hive、HBase、Phoenix 和 Presto 是广泛应用于大数据领域的几款核心组件，它们各自擅长处理不同类型的大数据任务。本文将详细介绍这些技术的特点、应用场景以及它们之间的区别和联系。
【DataSophon】DataSophon1.2.1 整合Zeppelin并配置Hive|Trino|Spark解释器
Zeppelin是Apache基金会下的一个开源框架，它提供了一个数据可视化的框架，是一个基于web的notebook。后台支持接入多种数据引擎，比如jdbc、spark、hive等。同时也支持多种语言进行交互式的数据分析，比如Scala、SQL、Python等等。本文从安装和使用两部分来介绍Zep
100道Spark面试八股文（答案、分析和深入提问）整理
是针对Pair RDD的，用于按键聚合；而reduce是针对普通RDD，进行全局聚合。返回的是一个Pair RDD，而reduce返回的是一个单一的值。涉及数据Shuffle，而reduce在每个分区内进行局部聚合。引入时间是Spark早期版本的主要入口点，而是Spark 2.0引入的新概念。功能集
基于Kubernetes部署Spark：spark on kubernetes
spark是一种基于内存的快速、通用、可扩展的的数据分析计算引擎。基于kubernetes的spark搭建
