Spark概述
结构化数据：即行数据,存储在数据库里,可以用二维表结构来逻辑表达实现的数据。非结构化数据：不方便用数据库二维逻辑表来表现的数据，包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。5.MapReduce和Spark的区别（1）Spark的速度比MapReduce
大数据之 Spark 常用的端口号
7077，这是 Spark 在 Standalone 模式下的主节点（Master）与 Worker 节点通信的服务端口，客户端提交应用时也会连接此端口。：18080，历史服务器提供已完成作业的持久化存储和查询功能，用户可以在此端口下查看过去运行过的所有 Spark 应用的相关统计信息。：默认为 8
基于Spark的气象数据处理与分析
本实验采用Python语言，从网页爬取气象数据，并使用大数据处理框架Spark对气象数据进行处理分析，并对分析结果进行可视化。
Spark RDD 基本操作
下面以例子的方式详细介绍Spark RDD的这两种操作涉及的函数。
速速上车学Spark+Scala部署安装步骤
一、Spark是什么？sparkSpark是当今大数据领域最活跃、最热门、最高效的大数据通用计算平台之一。Hadoop之父指出：大数据项目的MapReduce引擎的使用将下降，由取代。二、了解Spark的特点作为新一代轻量级大数据处理平台，SparkSpark是基于内存运行的而MapReduce是基
Spark内容分享(十八)：70个Spark面试题
Spark是一个快速、通用的大数据处理框架，它提供了丰富的核心组件和功能，用于处理和分析大规模数据集。Spark Core：Spark的核心组件，提供了分布式任务调度、内存管理和错误恢复等基本功能。它还定义了RDD（弹性分布式数据集）的概念，RDD是Spark中的基本数据结构，用于表示可并行处理的数
使用Spark清洗统计业务数据并保存到数据库中
1）打开SpringBoot项目：BigData-Etl-KongGuan创建StreamingContext，设置拉取流的时间，准备读取Kafka数据。本地开发时Spark配置使用local[*]方式，设置成本地运行模式，放到集群中运行时需要修改为Yarn模式。该分支是，这里会用到一个类Spark
Spark-Scala语言实战（2）（在IDEA中安装Scala，超详细配图）
对一个真正想深入学习Scala的人来说，今天我会给大家带来如何在IDEA中安装Scala，了解IDEA。望在本篇文章中，大家有所收获。也欢迎朋友们到评论区下一起交流学习，共同进步。
数据仓库概述
数据仓库是一种面向商务智能 (BI) 活动（尤其是分析）的数据管理系统，它仅适用于查询和分析，通常涉及大量的历史数据。在实际应用中，数据仓库中的数据一般来自应用日志文件和事务应用等广泛来源。数据仓库能够集中、整合多个来源的大量数据，借助数据仓库的分析功能，企业可从数据中获得宝贵的业务洞察，改善决策。
带你深入了解spark（重生之最牛逼最详细版）
MapReduce和Spark都是用于大数据处理的框架，但们在设计和功能上有一些区别。MapReduce是一种编程模型，用于处理大规模数据集的并行计算。它由Google提出，并被Apache Hadoop项目采纳。MapReduce将计算任务分为两个阶段：Map阶段和Reduce阶段。在Map阶段，
（超详细）Spark on Yarn安装配置
（超详细）Spark on Yarn安装配置，附有详细步骤，详细代码，注意事项提示
她看了这篇文章后竟让霸总怒甩八百万——Spark？？
Hadoop是目前应用最为广泛的分布式大数据处理框架，其具备可靠、高效、可伸缩等特点。Hadoop的核心组件是HDFS、MapReduce。MapReduce是一个分布式运算程序的编程框架，其核心功能为把用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在Hadoop集群上
【Spark Graphx 系列】Pregel PeriodicCheckpointer原理场景示例源码详解
[【Spark Graphx 系列】Pregel PeriodicCheckpointer原理场景示例源码详解]
hive sql 和 spark sql的区别
总体而言，Spark SQL 在性能和灵活性上相对于 Hive SQL 有一些优势，特别是在需要处理实时数据或采用交互式查询的场景中。然而，选择使用哪个工具还取决于具体的业务需求、数据规模和现有的基础设施。Hive Metastore 或其他元数据管理工具。
spark大数据技术与应用
但是，如果计算过程中涉及数据交换，Spark 也是会把 shuffle 的数据写磁盘的！有一个误区，Spark 是基于内存的计算，所以快，这不是主要原因，要对数据做计算，必然得加载到内存，Hadoop 也是如此，只不过 Spark 支持将需要反复用到的数据给 Cache 到内存中，减少数据加载耗时，
Hadoop与Spark的x86和ARM混合集群部署【环境搭建篇】
笔者在完成课程设计时，突然想到把大数据框架同时部署到PC端虚拟机以及ARM架构的Linux板上，这篇博客记录集群部署流程以及例程测试。运行环境：PC方面，使用两台Ubuntu 20.04 LTS Focal Fossa虚拟机ARM板子则使用香橙派5（RK3588S），系统是香橙派官方适配的Ubun
spark 数据序列化和内存调优（翻译）
由于大多数Spark计算的内存性质，Spark程序可能会被集群中的任何资源瓶颈：CPU、网络带宽或内存。大多数情况下，如果数据能放在内存，瓶颈是网络带宽，但有时，您还需要进行一些调整，例如以序列化形式存储RDD，以减少内存使用。本指南将涵盖两个主要主题：数据序列化，这对良好的网络性能至关重要，也可以
Spark Streaming 计算窗口的理解
spark streaming 窗口操作
Spark 核心API
这两个函数是 PairRDDFunctions 的匿名类中的函数，从 PairRDDFunctions 的名称中可以知道，PairRDDFunctions 是真的键值对的，也就是说 RDD 中的数据是键值对的时候，我们可以调 PairRDDFunctions 的函数，scala 这个功能好像类的被动
数据仓库保存历史数据方法之拉链表
在20170101~20170102期间内10003的job为mysql，在20170102~20170103期间内10003的job为mongodb，在20170103~30001231期间内10003的job为hive。个人所接触项目经验，如果极端采用某一种架构，最后数仓项目成功概率都很低，因此
