HiveSQL题——array_contains函数
HiveSQL题——array_contains函数
抖音集团基于 Apache Doris 的实时数据仓库实践
在直播、电商等业务场景中存在着大量实时数据，这些数据对业务发展至关重要。而在处理实时数据时，我们也遇到了诸多挑战，比如实时数据开发门槛高、运维成本高以及资源浪费等。此外，实时数据处理比离线数据更复杂，需要应对多流 JOIN、维度表变化等技术难题，并确保系统的稳定性和数据的准确性。本文将分享基于的实时
数据仓库面试总结
概念存储数据的仓库, 主要是用于存储过去既定发生的历史数据, 对这些数据进行数据分析的操作, 从而对未来提供决策支持四大特征面向于主题的: 面向于分析, 分析的内容是什么 什么就是我们的主题集成性: 数据是来源于各个数据源, 将各个数据源数据汇总在一起非易失性(稳定性): 存储在数据仓库中数据都是过
数据仓库和数据库有什么区别？
数据仓库和数据库是两种不同类型的数据存储解决方案，它们在设计、用途和功能上存在显著差异。首先，数据库主要用于事务处理系统，它们支持日常操作，如数据的插入、更新和删除。数据库通常具有高度规范化的结构，以减少数据冗余并确保数据一致性
数据仓库实践：数仓分层
数据仓库的分层依现状而定，并没有一个最佳实践，但即使数据的情况千千万万，也会至少有相互接近的实践方式，以减少实践成本。
数据仓库面试题（一）
1. 简述数据仓库架构 ？2. 简述数仓架构设计的方法和原则 ？3. 简述数据仓库分层（层级划分），每层做什么？分层的好处 ？4. 简述数据分层是根据什么 ？5. 简述数仓分层的原则与思路 ？6. 数仓建模常用模型吗？区别、优缺点？
Hive字符串匹配函数 LIKE 和 RLIKE 使用示例
LIKELIKE 函数用于在Hive中进行简单的模式匹配，通常用于匹配固定模式的字符串。语法： column_nameLIKE‘pattern’示例： SELECT * FROM table_name WHERE column_nameLIKE‘abc%’在 LIKE 中，通配符表示匹配任意数量的字
HBase与Hive:数据仓库和OLAP
1.背景介绍1. 背景介绍HBase 和 Hive 是 Apache Hadoop 生态系统中两个重要的组件。HBase 是一个分布式、可扩展、高性能的列式存储系统，主要用于存储大量结构化数据。Hive 是一个基于 Hadoop 的数据仓库解决方案，主要用于处理和分析大规模数据。HBase 和 Hi
数仓工具—Hive语法之排除特定列
Apache Hive是一个基于Hadoop HDFS的数据仓库框架，用于存储和分析大量数据。Apache Hive支持大多数关系数据库功能，如对大型表进行分区和根据分区列存储值。现在，问题是如何从SELECT查询结果中排除Hive分区列？有一种方法可以用来排除分区列。这个在我们需要表中大量列的时候
[数仓]三、离线数仓（Hive数仓系统）
Hive引擎包括：默认MR、tez、sparkHive on Spark：Hive既作为存储元数据又负责SQL的解析优化，语法是HQL语法，执行引擎变成了Spark，Spark负责采用RDD执行。Spark on Hive: Hive只作为存储元数据，Spark负责SQL解析优化，语法是SparkS
计算效率提升 30 倍、存储资源节省 90%，雨润集团基于 Apache Doris 的统一实时数据仓库建设实践
作者：石公星，雨润集团基础数据平台架构师导读：数字化转型的浪潮中，高效准确的数据分析能够帮助雨润集团快速洞察市场动态、优化供应链管理、提高生产效率。雨润集团引入了 Apache Doris 构建了统一实时数据仓库，实现了计算效率提升 30 倍、存储资源节省 90%、成本降低超 100 万、人员效率提
Hive常用日期函数,时间函数
Hive常用日期函数,时间函数。
Hive常用函数_20个字符串处理
1.CONCAT()2.SUBSTR()3.UPPER()4.LOWER()5.TRIM()6.LENGTH()7.REPLACE()8.SPLIT()9.INSTR()10.REGEXP_EXTRACT()11.REGEXP_REPLACE()12.REVERSE()13.LPAD()14.RPA
数据仓库之Lambda架构
Lambda架构是一种设计大规模数据处理系统的架构模式，它结合了批处理和实时处理的优点，以应对大数据的多样性、速度和规模问题。该架构主要由三个层次组成：批处理层（Batch Layer）、速度层（Speed Layer）和服务层（Serving Layer）。
Hive - 分区表
Hive中的分区就是把一张大表的数据按照业务需要分散的存储到多个目录，每个目录就称为该表的一个分区。在查询时通过where子句中的表达式选择查询所需要的分区，这样的查询效率会提高很多。将一张大表按照某个字段进行划分 划分到多个文件夹中每个文件夹内部存储一部分表内容这样的表结构就被称之为分区表分区的好
PostgreSQL 怎样处理数据仓库中维度表和事实表的不一致性对查询的影响？
维度表和事实表之间的不一致性是数据仓库中一个常见的问题，它会对查询结果的准确性、查询性能和数据分析产生严重的影响。PostgreSQL 提供了多种解决方案来处理不一致性问题，包括数据清洗、数据同步、使用视图和使用约束等。通过这些解决方案，我们可以有效地保证数据的质量和一致性，提高查询性能和数据分析的
数据仓库实践：使用 SQL 计算材料BOM成本单价
初始化时使用核价和成本单间仍然不能完全覆盖企业内使用的所有的材料，尤其是BOM结构复杂、材料料号过多的情况下。所以一般情况下，企业会使用BOM关系，将材料的单价汇总计算到上阶材料。数据仓库实践：使用SQL汇总BOM数据分析维度 http://t.csdnimg.cn/gZ1pS部分 dim_bom
HIVE无法启动问题
HIVE无法启动问题
《数据仓库与数据挖掘》自测
1. 数据仓库的主要特征不包括以下哪一项？A. 数据量大B. 异构数据整合C. 事务处理D. 支持决策分析2. OLAP的核心功能是：A. 事务处理B. 多维数据分析C. 数据清洗D. 数据转换3. 以下哪个不是元数据的分类？A. 数据源元数据B. 数据模型元数据C. 数据仓库映射元数据D. 数据备
数据开发/数仓工程师上手指南(一)数仓概念总览
数据库设计用于支持日常业务操作和事务处理。数据结构高度规范化，注重数据的一致性和实时性。优化事务处理性能，处理频繁的读写操作。数据仓库设计用于支持数据分析和决策支持系统。数据结构非规范化，存储大量的历史数据。优化查询性能，支持复杂的多维分析和大规模数据处理。数据库(Database)数据仓库(Dat
