Hive数据加载方式（load、insert；普通表、分区表）
Hive数据加载方式（load、insert；普通表、分区表）
[hive] 窗口函数 ROW_NUMBER()
在 Hive SQL 中，是一个用于生成行号的窗口函数。它可以为。以下是子句可选，用于指定，它将结果集划分为不同的分区。每个分区内的行都会有独立的行号计数，即行号从1开始重新计数。ORDER BY子句用于指定，它决定了如何对分区内的行进行排序。行号将根据指定的排序顺序进行分配。函数可以与其他窗口函数
Hive创建分区表并插入数据
静态分区在插入数据时要指定分区名，支持load、insert两种插入方式，主要用于分区少，分区名可以确定的情况。
[shell,hive] 在shell脚本中将hiveSQL分离出去
将Hive SQL语句写在单独的.hql文件中，然后在shell脚本中调用这些文件来执行Hive查询。这样可以将SQL语句与shell脚本分离，使代码更加清晰和易于维护。
2023.11.22 数据仓库2-维度建模
事实表: 指的主题,要统计的主题是什么, 对应事实就是什么, 而主题所对应的表, 其实事实表事实表一般是一堆主键(外键)的聚集事实表一般是反应了用户某种行为表比如说:事实表分类:事务事实表 : 最初始确定的事实表 其实就是事务事实表周期快照事实表: 指的对数据进行提前聚合后表, 比如将事实表按照天
Hive 动态分区以及分区以及中文分区字段
hive 提供了一个动态分区功能，其可以基于查询参数的位置去推断分区的名称，从而建立分区。
数据仓库架构之详解Kappa和Lambda
数据仓库架构 Kappa架构 Lambda架构 Lambda和Kappa对比
Hive复杂数据类型(array类型、map类型、struct类型)
一、array类型建表语句：create table 表名(要素1 类型，要素2 类型，要素3 array) row format delimited fileds terminated by '\t' collection items terminated by ',';
数据仓库——原理+实战（一）
（1）数据仓库是一个面向主题的、集成的、非易失的且随时间变化的数据集合。（2）主要用于组织积累的历史数据，并使用分析方法（OLAP、数据分析）进行分析整理，进而辅助決策，为管理者、企业系统提供数据支持，构建商业智能。
数据仓库-数据模型建设方法总结（全）
数据建模、数据仓库
[Hive] 查询结果保存
此外，还可以使用INSERT INTO语句来将查询结果追加到表或分区中，而不是覆盖现有的数据。上述示例将从表table_name中选择满足条件的数据，并将结果以文件的形式覆盖输出到指定的目录/path/to/directory。需要注意的是，使用INSERT OVERWRITE DIRECTORY语
一百八十八、Hive——HiveSQL查询表中的日期是星期几（亲测，附截图）
HiveSQL查询表中的日期是星期几（亲测，附截图）
【Hive进阶】-- 导出 hive 表数据的几种方式
在日常的工作中，常常会有导出 hive 表数据的需求。在此，我整理了如下几种方式，供大家参考。然后使用 hdfs 命令下载。
Hive内部表（管理表）和外部表的区别【重点】
一、内部表和外部表的区别： 内部表和外部表的区别可以从三方面讨论，创建表时、删除表时、选择表时： ...
第1关：Hive 的 Alter Table 操作
Alter 表/列第1关：Hive 的 Alter Table 操作
数据仓库-日期维度表的设计与实现
本文基于python的chinese_calendar和pymysql库编写了一个生成日期维表（日期-工作日-节假日维度表），用于对业务主题表进行维度建模，实现方式简单，一键生成，数据可靠。
大数据处理架构详解：Lambda架构、Kappa架构、流批一体、Dataflow模型、实时数仓
面对海量异构数据,如何设计高效可靠的大数据处理架构?本文全方位解析大数据处理的典型架构模式。想知道兼具低延迟和批处理能力的Lambda架构和Kappa架构有何区别?简单高效的流批一体架构如何实现?灵活的Dataflow数据流模型的原理是什么?实时数仓如何做到毫秒级分析?本文通过详细的原理分析和业界案
2023.11-9 hive数据仓库,概念,架构,元数据管理模式
当然，这个低是有条件的，即数据规模较小，当数据规模大到超过数据库的处理能力的时候，Hive 的并行计算显然能体现出优势。数据库可以用在 Online 的应用中，但是 Hive 是为数据仓库而设计的，清楚这一点，有助于从应用角度理解 Hive 的特性。由于 Hive 是针对数据仓库应用设计的，而数据仓
【hive】列转行—collect_set()/collect_list()/concat_ws()函数的使用场景
【hive】列转行—collect_set()/collect_list()/concat_ws()函数的使用场景
Airflow环境搭建
Airflow环境搭建
