数据仓库系列17：元数据管理在数据仓库中的作用是什么?
元数据,顾名思义,就是"关于数据的数据"。它是描述、解释和定位数据的结构化信息。在数据仓库环境中,元数据扮演着至关重要的角色,它就像是数据的"身份证",记录了数据的来源、格式、含义、关系和使用方法等信息。让我们通过一个简单的例子来理解元数据:date DATE,表名: sales_data列名及其数
数据仓库中的表设计模式：全量表、增量表与拉链表
全量表通过保存完整的数据快照确保数据的一致性，增量表则通过记录数据的变化部分优化性能和存储效率，而拉链表则通过维护数据的历史版本满足复杂的分析和审计需求。总的来说，全量表、增量表和拉链表是数据仓库中常见的表设计模式，它们各自针对不同的数据更新场景提供了解决方案，能够有效管理数据的变化并维护历史记录。
Hive数仓总结
数据仓库(Data Warehouse)，简称DW。数据仓库顾名思义，是⼀个很⼤的数据存储集合，出于企业的分析性报告和决策⽀持⽬的⽽创建，对多样的业务数据进⾏筛选与整合。它为企业提供⼀定的BI（商业智能）能⼒，指导业务流程改进。 Hive是Facebook为了解决海量日志数据的统计分析而开发的基于H
数据仓库系列10：如何处理维度表中的变化类型?
在深入探讨维度表的变化类型之前,我们需要先明确维度表的定义和作用。维度表是数据仓库中的一种重要表类型,它用于存储与事实表中的数值度量相关的描述性信息。事实表可能包含销售金额、数量等数值信息维度表则可能包含客户信息、产品详情、时间等描述性数据包含描述性属性通常数据量相对较小与事实表形成星型或雪花模型用
数据人，需要了解的数据要素、数据资产、数据治理、数据产品、数据共享、主数据、元数据
一文略讲数据要素、数据资产、数据治理、数据产品、数据共享、主数据、元数据
大数据基础：数仓架构演变
但是很快，他们也发现自己陷入了某种困境：随着数据集市的不断增多，这种架构的缺陷也逐步显现，公司内部独立建设的数据集市由于遵循不同的标准和建设原则，以致多个数据集市的数据混乱和不一致，解决以上问题，还需回归到范式建模。在Lambda架构中，为了计算一些实时指标，就在原来的离线数仓基础之上增加了一个实时
使用beeline连接hive
使用beeline连接hive的前提是hive已经部署完毕，Hive单机部署可以看：http://t.csdnimg.cn/54WMQ。
离线数仓之Hive的基础操作
hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本
7个领先数据仓库和数据库的深入比较
此定价模式与AmazonRedshift一致，并确保您按实际使用量付费，使其成为寻求经济实惠的数据分析且不牺牲性能的各种规模公司的有吸引力的选择。在当今的数字时代，数据仓库和数据湖已成为存储和分析大量数据的核心，为各种数据管理挑战提供可扩展的解决方案。这对于依赖数据做出明智决策的企业至关重要。简而言
一文读懂数据仓库、数据湖、湖仓一体
一个数据湖可以存储结构化数据（如关系型数据库中的表），半结构化数据（如CSV、日志、XML、JSON），非结构化数据（如电子邮件、文档、PDF）和二进制数据（如图形、音频、视频）。这套架构，以数据湖为中心，把数据湖作为中央存储库，再围绕数据湖建立专用“数据服务环”，环上的服务包括了数仓、机器学习、大
数据仓库实战：详解维度建模事实表
数据仓库实战：详解维度建模事实表
第十一章 数据仓库和商务智能 10分
(1) 确定数据仓库/商务智能技术架构。(2) 确定数据仓库/商务智能管理流程。
数据仓库系列8：如何设计一个高性能的数据仓库模型?
基于需求分析,我们可以确定以下核心事实表和维度表:销售事实表(Sales_Fact)客户行为事实表(Customer_Behavior_Fact)库存事实表(Inventory_Fact)时间维度(Time_Dim)产品维度(Product_Dim)客户维度(Customer_Dim)地理维度(Ge
数仓建模：范式建模、维度建模、实体建模
数仓建模在哪层建，怎么建，三种维度建模法：范式建模法，维度建模法，实体建模法，三种维度建模模式：星型模型，雪花模型，星座模型
hive数据采集零点漂移
这个时候数据写入的目录就和系统时间有关系。解决方案是采用自定义flume的拦截器，将数据中的 事件时间(也就是数据生成的实际时间)解析出来，存储到headers里面，key是timestamp，value是解析出来的事件时间，将useLocalTimeStamp配置为false， 最终数据就会写入事
数据仓库基础理论—数仓分层
在国内主流的数据仓库设计中，通常会采用多层架构来管理和组织数据，常见的层次：ODS（操作数据存储）、DWD（数据仓库明细层）、DWS（数据仓库汇总层）、DIM（维度模型层）和ADS（应用数据服务层）。
ETL工具Kettle使用总结
好久没有发布文章了，就用最近工作常用的kettle工具做为素材写一下随笔，方便以后碰到相同的问题快速解决。kettle的简介我就不介绍了，大家随便百度一下就可以查到，主要作用就是用于从一个或多个数据源中提取数据，对数据进行转换和清洗（这个过程就是ETL），然后加载到目标数据存储中，以支持数据分析、报
数据仓库-离线数据仓库架构-002
切分多个Task之后，DataX Job会调用Scheduler模块，根据配置的并发数据量，将拆分成的Task重新组合，组装成TaskGroup(任务组)。对于sqoop和datax，如果只是单纯的数据同步，其实两者都是ok的，但是如果需要集成在大数据平台，还是比较推荐使用datax，原因就是支持流
企业数字化转型建设思路、本质、数字化架构、数字化规划蓝图
原文《企业数字化规划蓝图、数字化企业架构、数字化转型战略规划方案》PPT格式，共76页。企业数字化转型是一场深刻而复杂的变革，需要企业高层领导的坚定决心、全体员工的积极参与以及科学合理的规划与实施。通过明确建设思路、把握转型本质、构建数字化架构、制定规划蓝图，企业可以稳步推进数字化转型进程，最终实现
开源数据仓库对比
随着大数据时代的到来，企业对高效、可扩展的数据存储和分析需求日益增长。开源数据仓库技术因其灵活性、成本效益和强大的社区支持而受到广泛欢迎。本文将对比分析几款主流的开源数据仓库解决方案，包括Apache Hadoop Hive、Apache Spark SQL、ClickHouse、Greenplum
