数据仓库保存历史数据方法之拉链表
在20170101~20170102期间内10003的job为mysql，在20170102~20170103期间内10003的job为mongodb，在20170103~30001231期间内10003的job为hive。个人所接触项目经验，如果极端采用某一种架构，最后数仓项目成功概率都很低，因此
HIVE搭建教程
拷贝master安装包到beeline客户端机器上（任意一个节点即可）
数据仓库hive的安装说明
在hive-env.sh文件中加入下列配置信息： export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_231。# 不重启mysql服务而使修改的内容直接生效。写入下列信息： export HIVE_HOME=/usr/local/hive。将bind-address
数据仓库【指标体系】
指标体系可以帮助我们整体理解业务、全面了解问题、快速定位问题、迅速落地方案，我们说的指标体系不止是指标，还有指标管理和指标监控。
第二章 hive环境配置
rw-r--r--. 1 root root 609556480 3 月 21 15:41 mysql-5.7.28- 1.el7.x86_64.rpm-bundle.tar。libaio.so.1(LIBAIO_0.1)(64bit) 被 mysql-community-server-5.7.28
（头哥）Hive的安装与配置
(必须在第一关基础上执行）
HIVE:分科求平均分
在这个实战中，我们使用了Hive框架来处理学生的月考成绩数据。首先，我们准备了三个文本文件，分别包含了语文、数学和英语的月考成绩数据。这些数据被上传到HDFS的指定目录。接着，我们启动了Hive Metastore服务，并通过Hive客户端连接到Hive。在Hive中，我们创建了一个分区表stude
数据仓库——环境
数据仓库是一个面向主题的、集成的、非易失的、随时间变化的用来支持管理人员决策的数据集合。
Data Warehousing数据仓库
What Is Data Warehousing? • Enterprise level data management — used in business intelligence (BI) • Includes copied transactional data • Used to monit
hive常用函数
/根据年龄倒序排序。partToExtract的选项包含[HOST,PATH,QUERY,REF,PROTOCOL,FILE,AUTHORITY,USERINFO]第一个分隔符为map元素之间的分隔符，第二个分隔符是键值对之间的分隔符。
Apache Doris 2.1.0 版本发布：开箱盲测性能大幅优化，复杂查询性能提升 100%
亲爱的社区小伙伴们，我们很高兴地向大家宣布，在 3 月 8 日我们引来了的正式发布，欢迎大家下载使用。在 2.1.0 版本的研发过程中，后续我们将会持续敏捷发版来响应所有用户对功能和稳定性的更高追求，欢迎大家在使用过程中给予我们更多反馈。
途家数据仓库源治理平台
github: www.hanyusen.Tujia.com二、平台概述2.1 平台目标构建一个统一、可扩展的指标管理体系，整合旅游业相关数据资源。提供用户友好的界面，简化指标查询和分析过程。支持多维度的数据分析和灵活的报表生成。确保数据的安全性和完整性，提供权限管理和审计功能。2.2 平台架构平台
深入理解Hive：探索不同的表类型及其应用场景
在本文中，我们深入探讨了Hive数据仓库中的表类型，包括内部表、外部表、分区表、桶表、视图以及临时表。每种表类型都有其独特的特性和适用场景，它们共同构成了Hive强大的数据管理能力。内部表和外部表主要根据数据存储位置和生命周期管理来区分。内部表的数据与Hive的元数据紧密关联，而外部表则允许数据在H
数据仓库原理（二）
本文介绍数据仓库的概念模型、逻辑模型和物理模型。
HIVE伪分布安装
五、安装元数据库 Hive 高版本启动时，需要配置元数据库，如果采用其它数据库，请酌情替换对应步骤，这里采用 MYSQL 作为元数据库。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，类似于RDBMS(关系型数据库，如MySQL、Oracle、PgSQL)，并提供类
[自研开源] MyData 数据集成的任务流程 v0.7.1
MyData的后端由3个子服务组成，分别是管理服务、任务服务、业务数据服务；任务主要包括：项目环境、数据标准、应用API、任务类型、字段映射、任务周期；
从数据仓库搭建到BI报表落地，帆软《企业数据化建设知识地图》全览
企业数据化建设从来不只是IT部门的事情，它需要每一个管理者、每一个部门都紧密合作，它需要全员从意识到行动的全面参与。可数据领域涉及到的技术很广，而且各种新概念、新技术层出不穷，如果一味的埋头苦干很容易一条路走到黑，到头来发现趋势变了就很尴尬。这份图谱很好地帮您梳理数据分析全流程框架，助企业数字化转型
数据仓库数据分层详解
原始数据层（Raw Data Layer）：这是数仓中最底层的层级，用于存储从各个数据源获取的原始数据。这些数据通常是未经处理和清洗的，包括来自数据库、日志文件、传感器等的数据。原始数据层的目的是保留数据的完整性和可追溯性，以备后续的数据处理和分析。数据清洗层（Data Cleansing Laye
数据库与数据仓库关联和区别
数据库（Database）和数据仓库（Data Warehouse）都是用于存储和管理数据的重要工具，但它们之间存在明显的区别和用途。
(12)Hive调优——count distinct去重优化
Hive调优——count distinct替换
