离线数据仓库

一、数据仓库

1.数据仓库的概念

1）数据仓库的特点：

• 面向主题的：对数据进行整合、分析和归类的抽象
• 集成的：将不同数据源的数据（业务数据、外部系统数据、埋点日志）经过统一编码、规范命名、字段类型转换等操作，整合到仓库
• 相对稳定的：根据业务场景实时更新、一般会被长期保留，不进行修改删除的操作
• 反映历史变化的数据集合：通过变更时间等记录变更日期

2）数据仓库整个数据流向

• 数据获取
• 数据存储
• 数据访问

3）ETL

• 数据抽取
• 数据清洗和转换
• 数据加载

2.离线数据仓库和实时数据

该架构需要维护两套代码：离线架构代码和实时架构代码

3.数据仓库的建模流程和方法

1）流程

• 概念模型设计：对不同数据源及数据内容和数据组织分布情况分析，确定范围、主题域
• 逻辑模型设计：主题域分析（注意涉及的实体定义）、数据粒度划分（数据细化和综合程度的级别）、数据分割（时间线、地理位置、组织结构划分&