数据仓库面试总结
概念存储数据的仓库, 主要是用于存储过去既定发生的历史数据, 对这些数据进行数据分析的操作, 从而对未来提供决策支持四大特征面向于主题的: 面向于分析, 分析的内容是什么 什么就是我们的主题集成性: 数据是来源于各个数据源, 将各个数据源数据汇总在一起非易失性(稳定性): 存储在数据仓库中数据都是过
数据仓库和数据库有什么区别？
数据仓库和数据库是两种不同类型的数据存储解决方案，它们在设计、用途和功能上存在显著差异。首先，数据库主要用于事务处理系统，它们支持日常操作，如数据的插入、更新和删除。数据库通常具有高度规范化的结构，以减少数据冗余并确保数据一致性
数据仓库实践：数仓分层
数据仓库的分层依现状而定，并没有一个最佳实践，但即使数据的情况千千万万，也会至少有相互接近的实践方式，以减少实践成本。
数据仓库面试题（一）
1. 简述数据仓库架构 ？2. 简述数仓架构设计的方法和原则 ？3. 简述数据仓库分层（层级划分），每层做什么？分层的好处 ？4. 简述数据分层是根据什么 ？5. 简述数仓分层的原则与思路 ？6. 数仓建模常用模型吗？区别、优缺点？
Hive字符串匹配函数 LIKE 和 RLIKE 使用示例
LIKELIKE 函数用于在Hive中进行简单的模式匹配，通常用于匹配固定模式的字符串。语法： column_nameLIKE‘pattern’示例： SELECT * FROM table_name WHERE column_nameLIKE‘abc%’在 LIKE 中，通配符表示匹配任意数量的字
HBase与Hive:数据仓库和OLAP
1.背景介绍1. 背景介绍HBase 和 Hive 是 Apache Hadoop 生态系统中两个重要的组件。HBase 是一个分布式、可扩展、高性能的列式存储系统，主要用于存储大量结构化数据。Hive 是一个基于 Hadoop 的数据仓库解决方案，主要用于处理和分析大规模数据。HBase 和 Hi
数仓工具—Hive语法之排除特定列
Apache Hive是一个基于Hadoop HDFS的数据仓库框架，用于存储和分析大量数据。Apache Hive支持大多数关系数据库功能，如对大型表进行分区和根据分区列存储值。现在，问题是如何从SELECT查询结果中排除Hive分区列？有一种方法可以用来排除分区列。这个在我们需要表中大量列的时候
[数仓]三、离线数仓（Hive数仓系统）
Hive引擎包括：默认MR、tez、sparkHive on Spark：Hive既作为存储元数据又负责SQL的解析优化，语法是HQL语法，执行引擎变成了Spark，Spark负责采用RDD执行。Spark on Hive: Hive只作为存储元数据，Spark负责SQL解析优化，语法是SparkS
计算效率提升 30 倍、存储资源节省 90%，雨润集团基于 Apache Doris 的统一实时数据仓库建设实践
作者：石公星，雨润集团基础数据平台架构师导读：数字化转型的浪潮中，高效准确的数据分析能够帮助雨润集团快速洞察市场动态、优化供应链管理、提高生产效率。雨润集团引入了 Apache Doris 构建了统一实时数据仓库，实现了计算效率提升 30 倍、存储资源节省 90%、成本降低超 100 万、人员效率提
Hive常用日期函数,时间函数
Hive常用日期函数,时间函数。
Hive常用函数_20个字符串处理
1.CONCAT()2.SUBSTR()3.UPPER()4.LOWER()5.TRIM()6.LENGTH()7.REPLACE()8.SPLIT()9.INSTR()10.REGEXP_EXTRACT()11.REGEXP_REPLACE()12.REVERSE()13.LPAD()14.RPA
数据仓库之Lambda架构
Lambda架构是一种设计大规模数据处理系统的架构模式，它结合了批处理和实时处理的优点，以应对大数据的多样性、速度和规模问题。该架构主要由三个层次组成：批处理层（Batch Layer）、速度层（Speed Layer）和服务层（Serving Layer）。
Hive - 分区表
Hive中的分区就是把一张大表的数据按照业务需要分散的存储到多个目录，每个目录就称为该表的一个分区。在查询时通过where子句中的表达式选择查询所需要的分区，这样的查询效率会提高很多。将一张大表按照某个字段进行划分 划分到多个文件夹中每个文件夹内部存储一部分表内容这样的表结构就被称之为分区表分区的好
PostgreSQL 怎样处理数据仓库中维度表和事实表的不一致性对查询的影响？
维度表和事实表之间的不一致性是数据仓库中一个常见的问题，它会对查询结果的准确性、查询性能和数据分析产生严重的影响。PostgreSQL 提供了多种解决方案来处理不一致性问题，包括数据清洗、数据同步、使用视图和使用约束等。通过这些解决方案，我们可以有效地保证数据的质量和一致性，提高查询性能和数据分析的
数据仓库实践：使用 SQL 计算材料BOM成本单价
初始化时使用核价和成本单间仍然不能完全覆盖企业内使用的所有的材料，尤其是BOM结构复杂、材料料号过多的情况下。所以一般情况下，企业会使用BOM关系，将材料的单价汇总计算到上阶材料。数据仓库实践：使用SQL汇总BOM数据分析维度 http://t.csdnimg.cn/gZ1pS部分 dim_bom
HIVE无法启动问题
HIVE无法启动问题
《数据仓库与数据挖掘》自测
1. 数据仓库的主要特征不包括以下哪一项？A. 数据量大B. 异构数据整合C. 事务处理D. 支持决策分析2. OLAP的核心功能是：A. 事务处理B. 多维数据分析C. 数据清洗D. 数据转换3. 以下哪个不是元数据的分类？A. 数据源元数据B. 数据模型元数据C. 数据仓库映射元数据D. 数据备
数据开发/数仓工程师上手指南(一)数仓概念总览
数据库设计用于支持日常业务操作和事务处理。数据结构高度规范化，注重数据的一致性和实时性。优化事务处理性能，处理频繁的读写操作。数据仓库设计用于支持数据分析和决策支持系统。数据结构非规范化，存储大量的历史数据。优化查询性能，支持复杂的多维分析和大规模数据处理。数据库(Database)数据仓库(Dat
怎么建设数据中台？详解数据中台架构内的三大平台
在数字化与信息化高速发展的时代，FineBI——市场占有率第一的BI数据分析软件，旨在帮助企业的业务人员充分了解和利用他们的数据，加速企业数字化转型，提升市场竞争力。得益于FineBI强劲的大数据引擎，用户只需简单拖拽便能制作出丰富多样的数据可视化信息，自由地对数据进行分析和探索，让数据释放出更多未
Hive窗口函数
在 Apache Hive 中，窗口函数是一种特殊类型的函数，它允许你在查询中对分区数据执行复杂的分析。窗口函数在标准 SQL 中可用，Hive 作为 Apache Hadoop 的一个组件，也支持这些功能。以下是一些常见的窗口函数以及如何在 Hive 中使用它们的示例。
