大数据存储架构学习摘要：数据仓库、数据集市、数据湖、数据网格、湖仓一体

整体思维导图

数据仓库

数据仓库是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合。

数据仓库的主要目标是提供一致、可靠、易于访问的数据，以支持企业的决策制定和分析。它可以帮助企业了解自己的业务、市场以及客户，并提供决策支持和预测分析的能力。数据仓库在商业智能和数据分析领域有着广泛的应用。

数据库 VS 数据仓库

OLTP vs OLAP

数据仓库分层

数据仓库建模

数据集市

数据集市是一个专门针对特定业务部门或主题领域的数据仓库子集。
它集中于存储公司在更大的存储系统中选定的一小部分数据，并且从比数据仓库更少的数据来源中获取数据。

如果把数据仓库看作是全公司的数据集合的话，数据集市可以看作是其中一个部门的，这个部门只负责处理特定业务的数据。

数据集市 VS 数据仓库

数据仓库（Data Warehouse）是一个用于整个企业的存储库，包含来自不同业务、系统和部门的集成数据。它基于整个企业的数据模型建立，面向企业范围内的主题。
数据仓库的特点包括：
（1）覆盖全企业：数据仓库为整个企业的各个部门和运作提供决策支持。
（2）集成数据：数据仓库汇集来自多个业务、系统和部门的数据，通过数据清洗、整合和转换，以满足企业的分析和报告需求。
（3）企业级架构：数据仓库是一个企业级的解决方案，通常由专业团队负责设计、构建和维护。
（4）面向企业主题：数据仓库的主题是与整个企业运营相关的，如销售、客户、供应链等。

数据集市（Data Mart）是一个面向特定业务领域或功能单元的主题化数据存储库。它通常是部门级的，为某个局部范围内的管理人员提供决策支持。
数据集市的特点包括：
（1）部门级应用：数据集市主要为某个特定部门或功能单元的业务需求服务，提供针对该部门的数据分析和报告。
（2）面向部门主题：数据集市的主题是与特定业务或功能单元相关的，如销售业绩、市场营销、财务等。
（3）数据来源：数据集市的数据来源可以是从数据仓库获取的（从属数据集市），也可以来自各个生产系统（独立数据集市）。
（4）相对较小规模：数据集市的规模通常是几十GB的数量级，相对于数据仓库来说较小。

数据仓库和数据集市的区别：

数据湖

数据湖是一个存储大规模、多样化数据的组织方法，可以存储结构化、非结构化和半结构化的数据，是一个大型、灵活的数据存储仓库，可以将企业的所有数据源整合起来。结构化、半结构化和非结构化数据是不同类型的数据分类。

1、结构化数据
结构化数据是指可以使用关系型数据库表示和存储的数据，通常以二维表的形式呈现。结构化数据具有以下特点：
（1）数据以行为单位，每行数据表示一个实体的信息，且每行的属性是相同的；
（2）数据可以用统一的结构表示，如数字、符号等；
（3）数据可以用二维表结构逻辑表达实现，包含属性和元组。例如，成绩单可以作为属性，而90分可以作为对应的元组；
（4）存储和排列有一定的规律，便于查询和修改等操作；

2、半结构化数据
半结构化数据是结构化数据的一种形式，它不完全符合关系型数据的规范。半结构化数据具有以下特点：
（1）半结构化数据既有数据又有结构，但结构不是严格固定的；
（2）半结构化数据可以使用各种数据表示格式，例如XML、JSON等；
（3）数据的结构可能在不同的记录中有所变化，但仍具有一定的可解析性和组织性；
（4）半结构化数据常见于Web数据、日志文件、配置文件等场景；

3、非结构化数据
非结构化数据是指没有固定结构和格式的数据，通常无法以关系型数据库的形式进行存储和表示。非结构化数据具有以下特点：
（1）数据没有明确的组织结构，可能是自由文本、图像、音频、视频等形式的数据；
（2）非结构化数据不适合使用传统的关系型数据库进行存储和管理；
（3）非结构化数据的分析和处理需要采用特定的技术和工具，如自然语言处理、图像处理、音频处理等；
（4）非结构化数据常见于社交媒体内容、电子邮件、文档、多媒体文件等；

综上所述，结构化数据是具有固定结构和规律排列的数据，半结构化数据是介于结构化数据和非结构化数据之间的数据形式，而非结构化数据则是没有明确结构和格式的数据。这些不同类型的数据在分析和处理时需要采用不同的方法和工具来处理和管理。

数据仓库 vs 数据湖

数据网格

数据网格（DataMesh）是一个新兴的概念，旨在帮助组织更好地管理和利用分散在不同系统和应用程序中的数据资产。它强调将数据资产转化为可重用、可组合、可交互的数据元素，以支持组织内部和跨组织的业务创新和数字化转型。

数据网格的核心理念是基于事件驱动的架构，通过将业务事件和数据元素相结合，将数据资产转化为可编程的、可组装的服务和功能。这种方法可以帮助组织更好地理解和利用其数据资产，并支持更高效、更灵活的业务流程和数据处理。

数据网格还强调数据治理和数据安全，以确保数据的准确性、可靠性和安全性。它提供了一组数据管理和治理工具，以帮助组织更好地管理其数据资产，并确保符合法规和标准的要求。

数据仓库 VS 数据网格

湖仓一体

湖仓一体是一个全新的开放式数据架构，它将数据湖和数据仓库的优势组合在一起，提供了数据湖的灵活性、可扩展性以及数据仓库的数据管理功能。

这个架构是在数据湖较低成本的数据存储基础设施上构建的，它不仅保留了数据湖的特点，如存储非结构化数据和半结构化数据，还可以支持事务、数据治理和数据模型化等功能，这些特点是数据仓库所具备的。

数据仓库 VS 湖仓一体

总结

数据库、数据仓库、数据集市、数据湖、数据网格和湖仓一体是数据管理和存储的不同解决方案：
1、数据库（Database）是一个存储相关数据的地方，用于捕获特定情况的数据。它可以是结构化、关系型、非结构化或NoSQL数据库。数据库主要用于在线事务处理（OLTP），处理实时的事务数据，并具有特定的目的和应用。
2、数据仓库（Data Warehouse）是组织的核心分析系统，用于存储历史数据和支持数据分析。数据仓库与操作数据存储（Operational Data Store，ODS）一起工作，将各种数据库中的数据捕获并统一存储在一个位置。数据仓库采用提取-转换-加载（Extract-Transform-Load，ETL）或类似的ELT过程，将数据从数据库中提取出来，经过转换和清洗后加载到数据仓库中。数据仓库通常使用SQL查询数据，并使用表、索引、键、视图和数据类型进行数据组织和完整性。数据仓库主要用于在线分析处理（OLAP），支持企业内部的数据分析和商业智能。
3、数据集市（Data Mart）是数据仓库的子集，为特定的业务部门或业务单元提供数据支持。数据集市通常是针对特定需求进行建立的，以满足某个部门的数据分析和决策需求。数据集市包含在数据仓库中，其中的数据集是为了实时分析和行动结果而使用。
4、数据湖（Data Lake）是一个用于存储原始数据的大型存储库，可以存储结构化、半结构化和非结构化数据。数据湖接收来自不同来源的数据，而不对其进行特定格式的转换和处理。数据湖存储的数据可以在需要时进行处理和分析。数据湖适用于需要存储大量原始数据，并进行灵活的数据分析和探索的场景。
5、数据网格（DataMesh）是一种数据组织和架构的概念，旨在实现数据的自治和共享。DataMesh鼓励将数据所有权和管理责任下放给数据所有者，以便更好地支持跨组织和跨团队的数据共享和协作。
6、湖仓一体（LakeHouse）是将数据湖和数据仓库集成在一起的解决方案。它结合了数据湖的灵活性和数据仓库的结构化分析能力，使得用户可以同时进行原始数据探索和历史数据分析。

综上所述，数据库主要用于在线事务处理，数据仓库用于存储历史数据和支持数据分析，数据集市是数据仓库的子集，满足特定业务部门的需求，数据湖存储原始数据并支持灵活的数据分析，数据网格鼓励数据自治和共享，湖仓一体则是将数据湖和数据仓库集成在一起的解决方案。