数据仓库之Lambda架构
Lambda架构是一种设计大规模数据处理系统的架构模式，它结合了批处理和实时处理的优点，以应对大数据的多样性、速度和规模问题。该架构主要由三个层次组成：批处理层（Batch Layer）、速度层（Speed Layer）和服务层（Serving Layer）。
Hive - 分区表
Hive中的分区就是把一张大表的数据按照业务需要分散的存储到多个目录，每个目录就称为该表的一个分区。在查询时通过where子句中的表达式选择查询所需要的分区，这样的查询效率会提高很多。将一张大表按照某个字段进行划分 划分到多个文件夹中每个文件夹内部存储一部分表内容这样的表结构就被称之为分区表分区的好
PostgreSQL 怎样处理数据仓库中维度表和事实表的不一致性对查询的影响？
维度表和事实表之间的不一致性是数据仓库中一个常见的问题，它会对查询结果的准确性、查询性能和数据分析产生严重的影响。PostgreSQL 提供了多种解决方案来处理不一致性问题，包括数据清洗、数据同步、使用视图和使用约束等。通过这些解决方案，我们可以有效地保证数据的质量和一致性，提高查询性能和数据分析的
数据仓库实践：使用 SQL 计算材料BOM成本单价
初始化时使用核价和成本单间仍然不能完全覆盖企业内使用的所有的材料，尤其是BOM结构复杂、材料料号过多的情况下。所以一般情况下，企业会使用BOM关系，将材料的单价汇总计算到上阶材料。数据仓库实践：使用SQL汇总BOM数据分析维度 http://t.csdnimg.cn/gZ1pS部分 dim_bom
HIVE无法启动问题
HIVE无法启动问题
《数据仓库与数据挖掘》自测
1. 数据仓库的主要特征不包括以下哪一项？A. 数据量大B. 异构数据整合C. 事务处理D. 支持决策分析2. OLAP的核心功能是：A. 事务处理B. 多维数据分析C. 数据清洗D. 数据转换3. 以下哪个不是元数据的分类？A. 数据源元数据B. 数据模型元数据C. 数据仓库映射元数据D. 数据备
数据开发/数仓工程师上手指南(一)数仓概念总览
数据库设计用于支持日常业务操作和事务处理。数据结构高度规范化，注重数据的一致性和实时性。优化事务处理性能，处理频繁的读写操作。数据仓库设计用于支持数据分析和决策支持系统。数据结构非规范化，存储大量的历史数据。优化查询性能，支持复杂的多维分析和大规模数据处理。数据库(Database)数据仓库(Dat
Hive窗口函数
在 Apache Hive 中，窗口函数是一种特殊类型的函数，它允许你在查询中对分区数据执行复杂的分析。窗口函数在标准 SQL 中可用，Hive 作为 Apache Hadoop 的一个组件，也支持这些功能。以下是一些常见的窗口函数以及如何在 Hive 中使用它们的示例。
数据仓库之离线数仓
离线数据仓库（Offline Data Warehouse）是一种以批处理方式为主的数据仓库系统，旨在收集、存储和分析大量历史数据。离线数据仓库通常用于定期（如每日、每周、每月）更新数据，以支持各种业务分析、报表生成和数据挖掘任务。
图书馆数据仓库
主机名 数据库。图书类别表 dim_books_type 5条。用户表 t_user_info 38条数据。借书表 t_borrow_info,hdfs上的数据库位置。包含 图书表 t_book_info,-- sqoop导出数据到mysql。导入dim_books
HIVE基本数据类型
HIVE基本数据类型
Hive 函数
UDF（User-Defined-Function） 普通函数，一进一出；例如：round 这样的函数；UDAF（User-Defined Aggregation Function）聚合函数，多进一出；例如：count、sum 这样的函数；UDTF（User-Defined Table-Genera
数据仓库中的数据治理
数据仓库中的数据治理，包括定义和流程，并探讨为什么数据治理对于数据仓库的成功至关重要。
Hive自定义函数编写方法（含源代码解读，超详细，易理解）
Hive创建自定义函数的逻辑并不难，只需继承相关类，实现相关方法，打成jar包上传集群即可。但在代码编写阶段有一定难度，需要一定的java基础。t=N7T8。
hive之full outer join（全连接）使用
hive之full outer join（全连接）使用
数据仓库之StarRocks
Palo，中国的互联网公司百度开发并开源的，后更名为doris。StarRocks是一款由doris的一个分支演化而来的、开源分布式列式存储数据库。旨在提供高性能、高可靠性和低延迟的大数据分析和查询服务。
hive数据仓库项目练习
hive数据仓库项目练习
Hive数据仓库建模理论
粒度定义意味着对各事实表行实际代表的内容给出明确的说明。粒度传递了同事实表度量值相联系的细节所达到的程度方面的信息。它给出了后面这个问题的答案:“如何描述事实表的单个行?粒度定义是不容轻视的至关重要的步骤。在定义粒度时应优先考虑为业务处理获取最有原子性的信息而开发维度模型。原子型数据是所收集的最详细
数仓工具—Hive语法之数组函数用法和示例
之后，您可以使用数组操作函数来操作数组类型。数组函数将自然语言文本的字符串分割成单词和句子，每个句子在适当的句子边界处断开，并作为单词数组返回。函数根据数组元素的自然排序对输入数组进行升序排序并返回。例如，考虑以下示例对数组字符串进行排序并返回排序后的数组。例如，以下示例仅从键值对 map 类型中返
一文看懂：数据湖、数据仓库、数据中台，浅显直白！
数据湖是一种用于存储大量原始数据的存储系统，它可以容纳各种类型的数据，包括结构化数据、半结构化数据和非结构化数据。数据湖的设计目的是为了能够存储大规模的数据，并且能够支持多种数据处理和分析工具的访问和使用。数据湖通常不会对数据进行预先的清洗、转换和整合，而是以原始的形式存储数据。这使得数据湖能够更好
