1.入门及库表操作
1.1 数据仓库概述
时间：2024.2.29
（一）数据仓库的定义
数据仓库是一种面向商务智能 (BI) 活动（尤其是分析）的数据管理系统，它仅适用于查询和分析，通常涉及大量的历史数据。在实际应用中，数据仓库中的数据一般来自应用日志文件和事务应用等广泛来源。
数据仓库能够集中、整合多个来源的大量数据，借助数据仓库的分析功能，企业可从数据中获得宝贵的业务洞察，改善决策。同时，随着时间推移，它还会建立一个对于数据科学家和业务分析人员极具价值的历史记录。得益于这些强大的功能，数据仓库可为企业提供一个“单一信息源”。
（二）数据仓库的要素
一个用于存储和管理数据的关系数据库
一个用于分析前数据准备的提取、加载和转换 (ELT) 解决方案
统计分析、报告和数据挖掘功能
用于数据可视化和展现的客户端分析工具
（三）数据仓库的优势
面向主题：数据仓库可以高效分析关于特定主题或职能领域（例如销售）的数据。
集成：数据仓库可在不同来源的不同数据类型之间建立一致性。
相对稳定：进入数据仓库后，数据将保持稳定，不会发生改变。
反映历史变化：数据仓库分析着眼于反映历史变化。
（四）数据仓库的架构特点
数据仓库的架构取决于企业的需求。通用数据仓库架构具有以下特点：
简单：所有数据仓库都采用同一基本设计，将元数据、概要数据和原始数据全部存储在中央信息库中。信息库一端由数据源馈送信息，另一端则供最终用户访问，以便进行分析、报告和数据挖掘。
通过暂存区简化数据准备：将操作型数据置入数据仓库之前，必须首先进行清理和处理。这一步骤可通过编程方式完成，但很多数据仓库会创建一个暂存区来简化数据准备工作。
星型结构：通过在中央信息库和最终用户之间创建数据集市，企业可以对数据仓库进行自定义，灵活满足各种业务线的需求。换言之，准备就绪后，数据不会立即进入数据仓库，而是会被移至适当的数据集市。
沙盒：沙盒可提供一个专有的安全区域，帮助企业快速、非正式地探索新的数据集或新的数据分析方式，而无需遵守或遵循数据仓库的正式规则和协议。
（五）数据仓库的进化
从数据分析到 AI 和机器学习
数据仓库首次出现于 20 世纪 80 年代末，其最初目的是帮助数据从操作系统“流入”决策支持系统 (DSS)。
早期的数据仓库需要大量冗余：大多数企业为了满足各种用户的需求而采用多个 DSS 环境，虽然各个 DSS 环境使用的数据大部分相同，但通常还是要分别执行数据收集、清理和集成。
而后，随着效率不断提升，数据仓库也从服务传统 BI 平台的信息存储库变成了服务一系列广泛应用（例如运营分析和绩效管理）的分析基础设施。
如今，经过长期迭代，数据仓库取得了长足的发展，企业级数据仓库 (EDW) 能够为企业创造越来越多的价值。
（六）云数据仓库
云数据仓库使用云技术来提取和存储不同数据源的数据。
云数据仓库可提供以下优势：
提供弹性的可扩展支持，可满足大型或可变计算或存储需求 简单易用 易于管理 节约成本
（七）现代数据仓库
现代数据仓库包括：
融合数据库，可简化所有数据类型的管理并支持多种数据使用方法
自助式数据提取和转换服务
支持 SQL、机器学习、图形和空间处理
多种分析选项，可轻松使用数据而无需移动数据
自动化流程，可简化供应、扩展和管理
现代数据仓库可高效简化数据工作流，任何其他仓库都无法企及。这意味着从分析师、数据工程师到数据科学家和 IT 团队的每一个人都可以更加有效地开展工作和创新，从而推动企业发展，而不会发生不计其数的延迟和复杂性
（八）如何设计一个数据仓库
在开始设计数据仓库前，您首先需要明确业务需求，就业务范围达成一致并拟定概念设计，然后为数据仓库创建逻辑和物理设计。其中，逻辑设计关注对象之间的关系，物理设计则关注如何以最佳方式存储和检索对象。当然，物理设计还包含传输、备份和恢复流程。
任何数据仓库设计都必须解决以下问题： 具体的数据内容、各数据组内部及相互之间的关系、 支撑数据仓库的系统环境、数据转换类型、数据刷新频率。
云数据仓库不仅具有本地数据仓库的杰出特性，同时又有云计算的强大优势，例如出色的灵活性、可扩展性、敏捷性和安全性，以及更低的成本。利用云数据仓库，企业可以专注挖掘数据价值，而不必耗费时间和精力去构建、管理相关的硬件和软件基础设施。
（九）数据湖
数据湖适用于存储大量迥然不同、未经筛选的数据以供未来特定目的使用。从业务线应用、移动应用、社交媒体、IoT 设备等来源捕获的数据将作为原始数据存储在数据湖中，分析人员只有在分析时才获取各种数据集的结构、完整性、集合和格式。当需要低成本地存储多个来源的无格式、非结构化数据时，数据湖是您的理想选择。
版权归原作者 nuonuo234 所有， 如有侵权，请联系我们删除。