Hadoop（伪分布式）+Spark（local模式）搭建Hadoop和Spark组合环境
一、安装Hadoop二、安装Spark
hadoop 3.x大数据集群搭建系列4-安装Spark
hadoop大数据平台搭建之 Spark搭建Spark集群Spark standaloneSpark Yarn
Spark框架概述
定义：Apache Spark是用于处理的。弹性分布式数据集RDD是一种分布式内存抽象，其使得程序员能够在大规模集群中做内存运算，并且有一定的容错方式。而这也是整个Spark的核心数据结构，Spark整个平台都围绕着RDD进行。简而言之，Spark借鉴了MapReduce 思想发展而来，保留了其分布
Spark中的Shuffle
一、Spark Shuffle 概述 大多数Spark作业的性能主要就是消耗在了shuffle环节，因为该环节包含了大量的磁盘IO、序列化、网 络数据传输等操作。因此，如果要让作业的性能更上一层楼，就有必要对shuffle过程进行调优。但是也 必须提醒大家的是，影响一个Spark作业性能
Apache Flink 实时计算在美的多业务场景下的应用与实践
美的集团实时数据负责人、资深数据架构师董奇，在 Flink Forward Asia 2022 主会场的分享。
Spark环境搭建安装及配置详细步骤（保姆教程）
Spark环境搭建安装及配置详细步骤
Pyspark交互式编程
大数据学习笔记02Pyspark交互式编程有该数据集Data01.txt 该数据集包含了某大学计算机系的成绩，数据格式如下所示：Tom,DataBase,80Tom,Algorithm,50Jim,DataBase,90Jim,Algorithm,60......根据给定的数据集，在pyspark中
4、安装部署Spark(Spark on Yarn模式)
执行ls -l命令会看到下面的图片所示内容，这些内容是Spark包含的文件：4.2.1.2在文件末尾添加如下内容；保存、退出4.2.1.3重新编译文件，使环境变量生效4.3验证Spark安装4.3.1修改${HADOOP_HOME}/etc/Hadoop/yarn-site.xml；说明：在mast
spark读取数据写入hive数据表
pyspark 从已有数据表读取数据写入目标hive表的代码模板
Spark Shuffle
Spark ShuffleSpark Shuffle是发生在宽依赖(Shuffle Dependency)的情况下，上游Stage和下游Stage之间传递数据的一种机制。Shuffle解决的问题是如何将数据重新组织，使其能够在上游和下游task之间进行传递和计算。如果是单纯的数据传递，则只需要将数据
spark性能调优(二):内存
spark性能调优
Spark-序列化、依赖关系、持久化
Spark-序列化、依赖关系、持久化
Delta Lake 是什么？
Delta Lake 是一个开源项目，它可以运行在你现有的数据湖之上，可以在数据湖上构建湖仓一体架构，并且与 Apache Spark API 完全兼容。
【Hive|Spark】spark写入hive表存储格式问题
The format of the existing table default.student is `HiveFileFormat`. It doesn't match the specified format `OrcFileFormat`.;
【spark大数据】spark大数据处理技术入门项目--购物信息分析
spark入门实战项目，加深对处理流程的理解。
如何将spark程序打jar包并上传至本地集群环境运行
如何将spark程序打jar包，并上传至本地集群环境运行
Spark大数据处理讲课笔记2.1 初识Spark
1. 了解什么是Spark计算框架；2. 了解Spark计算框架的特点；3. 了解Spark计算框架的应用场景；4. 理解Spark框架与Hadoop框架的对比
Java面向对象课程设计项目__文件管理器
Java面向对象课程设计项目演示项目需求:实现一个能够对文件和文件夹进行各种基本操作的文件管理器窗口程序。功能要求功能较完善的文1)新建、删除、修改、复制、粘贴文件功能管理器2)新建、删除、修改目录3)具有对某个文件进行压缩打包的功能4)要求实现多文档界面5)要求界面美观、功能布局合理文件管理器演示
IDEA中Spark配置
Spark快速配置
zookeeper的安装配置（详细步骤）
配置前准备将apache-zookeeper-3.7.0-bin.tar.gz安装包上传到xshell在xshell上解压缩包输入解压命令：cd zookeepertar -zxvf apache-zookeeper-3.7.0-bin.tar.gz配置1、配置环境变量vim .bashrc在文件末
