离线数仓-数据仓库系统
数据模型就是数据组织和存储方法，它强调从业务、数据存取和使用角度合理存储数据。只有将数据有序的组织和存储起来之后，数据才能得到高性能、低成本、高效率、高质量的使用。高性能：良好的数据模型能够帮助我们快速查询所需要的数据。低成本：良好的数据模型能减少重复计算，实现计算结果的复用，降低计算成本。高效率：
Hive调优总结
概述:hive的参数配置, 就是在那里配置hive的参数信息, 根据配置地方不同, 作用范围也不一样.配置方式:1. set方式进行设置.2. 命令行方式进行设置.3. 配置文件方式进行设置.优先级问题:set方式 > 命令行方式 > 配置文件方式作用范围:set方式 < 命令行方式 < 配置文件方
如何在Lambda Architecture中实现数据仓库与OLAP
1.背景介绍数据仓库和OLAP技术在现代数据分析和业务智能领域发挥着重要作用。随着数据规模的增长，传统的数据仓库和OLAP技术面临着挑战，需要更高效、可扩展的架构来支持大规模数据处理。Lambda Architecture 是一种新型的大数据处理架构，它结合了实时处理和批处理的优点，提供了一种有效的
Hive 数据类型
Hive 中的基本数据类型也称为原始类型，包括整数、小数、文本、布尔、二进制以及时间类型。整数:TINYINT、SMALLINT、INT、BIGINT小数: FLOAT、DOUBLE、DECIMAL文本: STRING、CHAR、VARCHAR布尔:BOOLEAN进制:BINARY时间: DATE、
数据仓库——设计
数据仓库需求只有在已经装载部分数据并开始使用时才能弄清楚数据仓库是在启发方式下建造的。
数据仓库的数据源与数据集成：实践与挑战
1.背景介绍数据仓库是企业和组织中的一个关键技术，它能够帮助企业和组织更有效地进行数据分析和决策。数据仓库的核心是数据源和数据集成。数据源是数据仓库中的基本数据来源，数据集成是将不同数据源集成到数据仓库中的过程。在本文中，我们将讨论数据仓库的数据源与数据集成的实践与挑战。我们将从以下几个方面进行讨论
【hive】hive中row_number() rank() dense_rank()的用法
主要是配合over()窗口函数来使用的，通过over(partition by order by )来反映统计值的记录。
数据仓库（数仓）详细介绍
数据仓库（数仓）的详细介绍
OLAP与数据仓库和数据湖
本文阐述了OLAP、数据仓库和数据湖方面的基础知识以及相关论文。同时记录了我如何通过ChatGPT以及类似产品（通义千问、文心一言）来学习知识的。通过这个过程让我对于用AI科技提升学习和工作效率有了实践经验和切身感受。
数据仓库—建模方法论—范式建模
不知道读者们有没有发现，以上所介绍的范式的最终目的都是为了减少我们的工作量呢？所以说，尽管范式是一种很好的指导规范，但在实际应用中，我们也不需要太局限在范式中，更多的是应该从项目中出发，设计出合理的表结构。以下是本篇三范式的简单总结：第一范式（1 NF）：字段不可再拆分。第二范式（2 NF）：表中任
Kimball维度模型之构建数据仓库先决条件
成功的DW/BI项目通常共享上述一系列关键特征，而失败的项目则往往面临各种问题，其中一些问题可以总结自数据仓库专家Kimball的观点。失败的DW/BI项目因素：失败的项目往往出现在业务发起人缺乏深刻业务理解或技术发起人无法有效沟通业务需求的情况下。成功的项目通常建立在业务和技术团队紧密协作的基础上
educoder中Hive综合应用案例 — 用户搜索日志分析
Hive综合应用案例 — 用户搜索日志分析
Hive数据导出的四种方法
介绍hive四种数据导出方法：Insert语句导出、Hadoop命令导出、Hive shell命令导出、Export语句导出
数据仓库实验一：数据仓库建立实验
数据仓库与数据挖掘实验一：数据仓库建立实验。
设置hive表生命周期并自动进行数据清理
数据生命周期管理，通常我们在写数仓设计时候，就对表进行规划，在命名规则上对于一些业务即可做一些标识要求，例如临时表增加"_tmp"的标识，另外在ETL开发过程中，也可以对分区数据做清理的要求，例如数据写入完成后，对临时表进行drop table操作，对历史N天前分区数据进行drop partitio
大数据开发-数据仓库简介
数据仓库简介、数据仓库架构分析
数据仓库——雪花模式以及层次递归
通常在维度中确定多重层次结构，每一个层次结构包含维度的所有属性，但将属性组织起来的方式不同。查询事实时，通过在层级的下一个级别中添加一个维度属性来完成向下钻取，上钻即通过去除当前层次结构级别的属性而开展的。可以完全不用借助层次结构来添加维度细节信息的两个特性使之成为可能，首先，属性的基数或者给定的实
数据仓库的两种建模方法
范式建模和维度建模
银行数据仓库体系实践（10）--汇总指标层和集市模型设计
建立多层次的数据访问服务体系，有力提升数据仓库的价值。基于指标汇总层、集市层、可以提供面向业务人员的即席数据查询、以及面向应用开发者的数据接口、应用访问接口，满足不同类型应用的需要。
如何构建Hive数据仓库Hive 、数据仓库的存储方式 以及hive数据的导入导出
官方定义：数据仓库是面向主题的、集成的、不可更新的、随时间的变化而不断变化的，这些特点决定了数据仓库的系统设计不能采用同开发传统的OLTP数据库一样的设计方法。（1）安装hive常规配置，这里不记录安装过程唯一需要注意的地方是有一个hive.metastroe.dirname属性需要配置配置的值是h
