2023年Spark大数据处理讲课笔记

文章目录

一、Scala语言基础

1. Spark大数据处理讲课笔记1.1 搭建Scala开发环境
2. Spark大数据处理讲课笔记1.2 Scala变量与数据类型
3. Spark大数据处理讲课笔记1.3 使用Scala集成开发环境
4. Spark大数据处理讲课笔记1.4 掌握Scala运算符
5. Spark大数据处理讲课笔记1.5 掌握Scala内建控制结构
6. Spark大数据处理讲课笔记1.6 掌握Scala数据结构
7. Spark大数据处理讲课笔记1.7 掌握Scala类、对象、抽象类与特质
8. Spark大数据处理讲课笔记1.8 掌握Scala函数

二、Spark基础

1. Spark大数据处理讲课笔记2.1 初识Spark
2. Spark大数据处理讲课笔记2.2 搭建Spark开发环境
3. Spark大数据处理讲课笔记2.3 Spark运行架构与原理
4. Spark大数据处理讲课笔记2.4 IDEA开发词频统计项目

三、Spark RDD弹性分布式数据集

1. Spark大数据处理讲课笔记3.1 掌握RDD的创建
2. Spark大数据处理讲课笔记3.2 掌握RDD算子
3. Spark大数据处理讲课笔记3.3 掌握RDD分区
4. Spark大数据处理讲课笔记3.4 理解RDD依赖
5. Spark大数据处理讲课笔记3.5 RDD持久化机制
6. Spark大数据处理讲课笔记3.6 RDD容错机制
7. Spark大数据处理讲课笔记3.7 Spark任务调度
8. Spark大数据处理讲课笔记3.8 Spark RDD典型案例

四、Spark SQL结构化文件数据处理

1. Spark大数据处理讲课笔记4.1 Spark SQL概述、数据帧与数据集
2. Spark大数据处理讲课笔记4.2 Spark SQL数据源 - 基本操作
3. Spark大数据处理讲课笔记4.3 Spark SQL数据源 - Parquet文件
4. Spark大数据处理讲课笔记4.4 Spark SQL数据源 - JSON数据集
5. Spark大数据处理讲课笔记4.5 Spark SQL数据源 - Hive表
6. Spark大数据处理讲课笔记4.6 Spark SQL数据源 - JDBC
7. Spark大数据处理讲课笔记4.7 Spark SQL内置函数
8. Spark大数据处理讲课笔记4.8 Spark SQL典型案例