如何预防数据打架？数据仓库如何保持指标数据一致性开发指南（持续更新）
大数据开发人员最经常遇到尴尬和麻烦的事是，指标开发好了，以为万事大吉了。被业务和运营发现这个指标在不同地方数据打架，显示不同的数值。为了保证指标数据一致性，要从整个开发流程做好。
大数据之数据仓库的分层：ODS/DWD/DWS/ADS
ETL层（Extract-Transform-Load）：数据清洗层，存原始数据；ODS层（Operational Data Store）：操作数据源层；CDM层（Common Dimensional Model）：公共维度模型层，主要包括DWD层（Data Warehouse Detail 数据明
大数据-220 离线数仓 - 数仓基本概念 数仓特征 与数据库进行对比
面向主题的数据组织方式，就是在较高层次上对分析对象的数据的一个完整、一致的描述，能完整、统一地刻画各个分析对象所涉及的企业的各项数据，以及数据之间的联系。数据仓库中的数据是分析服务的，而分析需要多种广泛的不同数据源以便进行比较、鉴别，数据仓库中的数据会从多个数据源中获取，这些数据源包括多种类型数据库
hive之greatest和least函数
greatest(col_a, col_b, ..., col_n)比较n个column的大小，过滤掉null或对null值进行处理，当某个column中是string，而其他是int/double/float等时，返回null；
DBeaver工具连接Hive
DBeaver工具连接Hive首先解压安装包dbeaver-ce-latest-x86_64-setup.zip，并安装dbeaver-ce-latest-x86_64-setup.exe；安装Kerberos客户端4.1-amd64.msi；查看集群节点/etc/hosts文件内容，并追加到C:\
第六章：数据工程（6.3数据治理和建模--6.4数据仓库和数据资源）
把数据转化成可流通的数据要素，重点包含。主题库建设可采用多层级体系结构，即。点击专栏订阅(持续更新~~~)衡量数据质量的指标体系包括。数据质量描述:数据质量可以。数据标准化阶段的具体。确定模型的数据结构，
Hive-4.0.1版本部署文档
由于4.0.1版本已经废弃hive CLI，所以只能通过beeline连接，上述配置是允许使用未知用户连接。创建 Hive 的元数据库。确保数据库驱动已放置在。
大数据-222 离线数仓 - 数仓 数仓模型 事实表 维度表 雪花模型 事实星座 元数据
但是它们之间也有着不同，周期快照事实记录的确定的周期的数据，而积累快照事实记录的不确定的周期的数据。事实数据通常包含大量的行，事实数据表的主要特点是包含数字数据（事实），并且这些数字信息可以汇总，以提供有关单位作为历史的数据，事实表的粒度决定了数据仓库中数据的详细程度。在大数据平台中，元数据贯穿大数
大数据-221 离线数仓 - 数仓 数据集市 建模方法 数仓分层 ODS DW ADS
数据仓库层次的划分不是固定不变的，可以根据实际需求进行适当裁剪或者是添加，如果业务相对简单和独立，可以将DWD、DWS进行合并。数据仓库（DW）是一种反映主题的全局性数据组织，但全局性数据仓库往往太大，在实际应用中他们按部门或业务分别建立反映各个子主题的局部性数据组织，即数据集市（Data Mart
Linux系统部署Hive数据仓库
启动前面配置好的hdfs 以及YARN，然后再使用命令bin/hive(完整路径：/export/server/hive/bin/hive)启动Hive。修改/export/server/hadoop/etc/hadoop路径下core-site.xml文件，新增如下配置。切换为hadoop用户，在
Hive中分区（Partition）和分桶（Bucket）区别
Hive中分区（Partition）和分桶（Bucket）区别
我们如何构建 ClickHouse 内部的数据仓库【Part1】
在过去的一年里，我们基于开源技术构建了一个广受用户好评的数据仓库（DWH）。尽管该系统已让用户能轻松处理和分析数据，但我们也认识到许多可以进一步优化的地方。我们相信，ClickHouse Cloud 的使用验证了它在构建可靠数据仓库中的潜力。
通过Flink读写云原生数据仓库AnalyticDB PostgreSQL版（ADB PG）数据
本文介绍如何通过阿里云实时计算Flink版实时读写云原生数据仓库AnalyticDB PostgreSQL版数据。是一种大规模并行处理（MPP）数据仓库服务，可提供海量数据在线分析服务。是基于Apache Flink构建的⼀站式实时大数据分析平台，内置丰富上下游连接器，满足不同业务场景的需求，提供高
Hive 必知必会
Hive是一个基于Hadoop的数据仓库工具，可以将sql转为MR或Spark任务进行运算，又可以说是MapReduce或Spark sql的客户端；由于直接使用MR进行开发的难度大，学习成本高，所以采用了类sql语法的hive。支持的计算引擎：MR、Tez、Spark，暂不展开。
数据仓库构建的两种方法：自上向下、自下向上
数据仓库是在统一模式下组织的数据源异构集合。构建数据仓库有两种方法： 自上而下法和自下而上法解释如下。
Hive基础
Hive是构建在Hadoop之上的数据仓库工具，它提供了一种机制来查询和管理PB级别的分布式存储数据。Hive使用类似于SQL的查询语言——HiveQL，使得熟悉SQL的用户能够轻松地进行大数据处理。通过Hive，可以将复杂的MapReduce任务简化为简单的查询语句，极大地提高了开发效率。Hive
一文详解开源ETL工具Kettle!
一、Kettle 是什么一、Kettle 是什么Kettle 是一款开源的 ETL（Extract - Transform - Load）工具，用于数据抽取、转换和加载。它提供了一个可视化的设计环境，允许用户通过简单的拖拽和配置操作来构建复杂的数据处理工作流，能够处理各种数据源和目标之间的数据集成任
【中项】系统集成项目管理工程师-第6章 数据工程-6.4数据仓库和数据资产
随着“数字中国”等国家战略持续深化，以及各类组织数字化转型的全面实施和持续推进，数据资产逐步成为各类组织的重要资产类型，也是组织高质量发展和可持续竞争优势建设的关键。
Hive复杂数据类型之array数组
懂底层原理，懂来龙去脉，你才是真的懂。
Hive集群出现报错信息解决办法
解决办法：上述产生的报错原因是在我重新安装Hive后出现的，经过分析发现是HDFS的目录文件有问题，删除。解决办法：1.删除mysql中的元数据库（metastore，查看你的元数据名称。
