【大数据】2024年大数据新手学习路线图【更新中】

大数据（big data）

IT行业术语，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据分析通俗的讲就是将海量混杂的数据，通过利用各类手段统一协调成一个有机整体，然后以不同的可视化分析工具直观呈现给用户，让其通俗易懂的发现数据中的一些关键因素点。以保障相关人员提升工作效率及分析数据核心指标，并且为企业带来收益价值点。

对于“大数据”（Big data）研究机构Gartner给出了定义，“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据的5V特点（IBM提出）

Volume（大量）

Velocity（高速）

Variety（多样）

Value（低价值密度）

Veracity（真实性）。

为什么要学习大数据技术

1.数据分析现在是顶级组织的优先事项

随着市场竞争的加剧,顶级组织正在转向数据分析,以确定其服务和产品的新市场机会。目前, 77%的顶级组织认为数据分析是业务绩效的关键组成部分。这意味着大数据专业人员对公司政策和营销策略产生巨大影响。

2.增加就业机会

随着公司开始意识到他们无法全面收集,解读和使用数据,他们开始寻找可以这样做的专家。如果您查看所有主要的就业机会平台,您将看到越来越多的职位发布寻找数据分析师和顾问。具有这一特殊技能的专业人士的需求正在上升,而供应仍然很低。这为这一-领域的个人创造了巨大的就业机会。

3.增加数据分析专业人员的工资

随着需求稳步增长,供应依然低迷,数据分析专家越来越多地得到报酬。在印度，像现在这样,数据分析专业人士的平均支付比其他IT专业人士的平均水平高出50%。随着越来越多的公司意识到这些专业人员对组织的重要性,这一-趋势在全球显而易见。

4.大数据分析无处不在

正如现在在当今工作场所使用计算机一样,使用数据分析专业人士来促进增长是缓慢的。DataAnalytics几乎没有任何部门保持不变。

5.你会有不同的职业选择

数据分析专家拥有广泛的职称和领域。由于大数据几乎每天都在使用,你可以选择以下几个方向:

• 指标和分析专员
• 数据分析师
• 大数据工程师
• 数据分析顾问

这些只是您可以在大型组织(如IBM , ITrend , Opera, Oracle等)中掌握的一-些职位,并且可能性是巨大的。

6.您将成为公司决策的核心

7.大数据分析的采用率很高

8.数据分析正在快于预期

9.它代表完美的自由职业机会

10.开发新的收入来源

第1阶段-数据仓库基

** 1.MysQL关系型数据库**

（MySQL介绍、MySQL安装、MySQL基础语法、MySQL高级语法、MySQL系统架构、MySQL存储引擎、MySQL索引、MySQL备份恢复、MySQL主从、主主复制、MySQL存储过程、MySQL分库分表、MySQL综合案例、MySQL性能优化）

2.Python编程技术

（Python基础语法、Python循环、Python集合、Python函数、Python面向对象、Python操作各种数据库介绍）

【大数据学习笔记】最全Python连接各种数据库及对应的CRUD操作-CSDN博客

python学习之一百实例收集-CSDN博客

第2阶段-Linux &Hadoop

1.Hadoop

（大数据介绍、Hadoop三件套、HDFS系统架构、HDFS之Block、HDFS之FSImage和Edits
HDFS之Checkpoint、HDFS的读和写流程、HDFS的Shell操作、YARN系统架构、YARN的资源调度策略、YARN的调度配置、基于YARN的作业提交）

请参考以下文章：

【大数据进阶第二阶段之Hadoop学习笔记】Hadoop 概述-CSDN博客

【大数据进阶第二阶段之Hadoop学习笔记】Hadoop 运行环境搭建-CSDN博客

【大数据进阶第二阶段之Hadoop学习笔记】Hadoop 运行模式-CSDN博客

2.Linux操作系统

（命令操作、权限管理、软件安装、系统内核剖析）

【Linux学习笔记】解析Linux系统内核：架构、功能、工作原理和发展趋势-CSDN博客

【Linux学习笔记】Linux 基础知识，值得收藏，已备后续使用-CSDN博客

【Liunx笔记】Linux常用命令，值得收藏-CSDN博客

【Linux学习笔记】Linux下nginx环境搭建-CSDN博客

【Linux学习笔记】Linux设置jar包开机自启动-CSDN博客

3.Shell脚本编程

（shell介绍、Shell基础语法、Shell高级语法、Shell编程案例）

【Linux Shell学习笔记】Linux Shell基本流程和基本语法-CSDN博客

【Linux Shell学习笔记】Linux Shell的流控制-CSDN博客

Windows环境安装和运行shell脚本，值得收藏！-CSDN博客

【Linux Shell学习笔记】Linux Shell的位置参数与函数-CSDN博客

第3阶段-数据仓库与ETL技术

1.Hive

（Hive的介绍、Hive安装部署、Hive元数据、Hive内外部表、Hive数据类型、Hive基础SQL、Hive分区、Hive分桶、Hive高级SQL、Hive常用自带函数、Hive窗口函数、Hive自定义函数）

【大数据进阶第三阶段之Hive学习笔记】Hive安装-CSDN博客

【大数据进阶第三阶段之Hive学习笔记】Hive常用命令和属性配置-CSDN博客

【大数据进阶第三阶段之Hive学习笔记】Hive基础入门-CSDN博客

【大数据进阶第三阶段之Hive学习笔记】Hive查询、函数、性能优化-CSDN博客

2.Datax

（DataX30概览、DataX3.0框架设计、DataX3.0插件体系、DataX3.0核心架构DataX3.0六大优势、DataX的Reader插件、DataX的Writer插件、DataX数据同步案例、DataX数据同步优化）

【大数据进阶第三阶段之Datax学习笔记】阿里云开源离线同步工具Datax概述

【大数据进阶第三阶段之Datax学习笔记】阿里云开源离线同步工具Datax快速入门

【大数据进阶第三阶段之Datax学习笔记】阿里云开源离线同步工具Datax类图

【大数据进阶第三阶段之Datax学习笔记】使用阿里云开源离线同步工具Datax实现数据同步

3.Hue

（Hue概述、Hue系统架构、Hue连接器、Hue编辑器、Hue操作）

【大数据进阶第三阶段之Hue学习笔记】Hue简介和架构介绍-CSDN博客

【大数据进阶第三阶段之Hue学习笔记】Hue的安装和使用-CSDN博客

4.ClickHouse

（特征与性能、集群安装部署、集群基础操作、数据类型、ClickHouse的库表引擎、ClickHouse常见函数、Column、Field和DataType、Block与Block流、Parser与lnterpreter、分片与副本、客户端工具）

【大数据进阶第三阶段之ClickHouse学习笔记】ClickHouse的简介和使用-CSDN博客

5.DolphinScheduler

（DolphinScheduler介绍、DolphinScheduler特性、DolphinScheduler系统架构、DolphinScheduler启动流程、DolphinScheduler架构设计思想、DolphinScheduler安装部署、DolphinScheduler调度项目、DolphinScheduler调度任务）

【大数据进阶第三阶段之DolphinScheduler学习笔记】深度解析DolphinScheduler(海豚调度)-CSDN博客

【大数据进阶第三阶段之DolphinScheduler学习笔记】DolphinScheduler(海豚调度)的部署指南-CSDN博客

【大数据进阶第三阶段之DolphinScheduler学习笔记】DolphinScheduler快速上手-CSDN博客

6.数据仓库技术

（数据仓库概述、数据仓库架构、数据建模、事实表和维度表、主题域与主题、拉链表、多维体系结构、数据仓库规范、元数据管理、离线与实时数据仓库）

【大数据进阶第三阶段之数据仓库技术学习笔记】数据仓库技术-CSDN博客

7.零售数据仓库项目

（项目介绍、技术架构、项目架构、项目流程、项目实施与部署）

8.Flume

（Flume介绍、Flume系统架构、Flume组件、Flume的Source、Flume的Channel、Flume的Sink、Flume的拦截器、Flume的选择器、Flume案例、Flume优化）

9.SparkSQL

（Spark介绍、SparkSQL介绍、SparkSQL的数据抽象、SparkSQL数据装载、SparkSQL数据落地、SparkSQL自带函数、SparkSQL自定义函数、SparkSQL与Hive整合、SparkSQL底层运行流程）

第4阶段-BI数据分析与可视化

1.零售BI数据平台项

（项目介绍、项目技术、项目流程、项目研发与实施）

2.Superset

（Superset概览、Superset安装部署、Superset数据源、Superset的Charts、Superset的Dashboards、Superset的SOL-Lab、Superset地图可视化、Superset报表案例、Superset大屏案例、Superset权限管理）

3.FineBI&FineReport

（帆软介绍、安装部署与启动、初始化设置、初识FineBI、FineBI俗语、FineBI与数据源整合、数据加工、构建图表与数据分析、仪表板及其分享、函数应用、数据分析模型、数据处理与计算、表格与图表组件交互与组件联动、数据跳转与钻取、数据切片与筛选）

第5阶段-项目自研

1.自研数据仓库项目

（自研数据仓库项目、云学习大数据平台项目、云学习用户画像项目、电商大数据平台项目、问答大数据平台）

** 第6阶段-专题拓展**

1.数据质量与治理专题

（数据质量介绍、数据治理介绍、元数据管理介绍、数据血缘介绍、基于DolphinScheduler的质量案例、基于Atlas的数据质量与治理案例）

2.阿里云大数据服务专题

（阿里云大数据服务介绍、DataWorks和MaxCompute组件、阿里云数据集成与其它常用组件、离线数据开发、任务调度）