【大数据】Docker部署HMS(Hive Metastore Service)并使用Trino访问Minio
团队要升级大数据架构，需要摒弃hadoop，底层使用Minio做存储，应用层用trino火spark访问minio。在使用trino访问minio时，需要使用hive的metastore service，经过调查HMS(Hive Metastore Service)是可以独立于hive组件的，即不需
HIVE数据抽样
hive中分桶其实就是根据某一个字段Hash取模，放入指定数据的桶中，比如将表table按照ID分成100个桶，其算法是hash(id) % 100，这样，hash(id) % 100 = 0的数据被放到第一个桶中，hash(id) % 100 = 1的记录被放到第二个桶中。sort by 提供了单
sparksql源码系列 | 一文搞懂Show create table 执行原理
这篇文章主要介绍了show create table命令执行的源码流程，弄清楚了sparksql是怎么和hive元数据库交互，查询对应表的metadata，然后拼接成最终的结果展示给用户的
实验五 熟悉 Hive 的基本操作
（8）查询 stocks 表中收盘价(price_close)比开盘价(price_open)高得最多的那条记录的交易所 (exchange)、股票代码(symbol)、日期(ymd)、收盘价、开盘价及二者差价。（9）从 stocks 表中查询苹果公司（symbol=AAPL）年平均调整后收盘价(p
hive的安装配置笔记
hive的安装配置笔记
ubuntu22.04安装MySQL、Hive及Hive连接MySQL操作
ubuntu22.04安装MySQL、Hive及Hive连接MySQL操作
Hive insert插入数据与with子查询
当在hive中同时使用insert into(overwrite) table xx 与with子查询时候，需要将insert放在with as子查询后面（区分：与StarRocks不同，insert放在with as子查询前面）insert into 与 insert overwrite 都可以向
Flink Hive Catalog操作案例
在此对Flink读写Hive表操作进行逐步记录，需要指出的是，其中操作Hive分区表和非分区表的DDL有所不同，以下分别记录。
Sqoop将hive处理的数据导出到MySQL
sqoop将hive数据导出到mysql
Hive double类型强转string类型并解决科学计数法问题
Hive double类型强转string类型并解决科学计数法问题
hive sql，年月日 时分秒格式的数据，以15分钟为时间段，找出每一条数据所在时间段的上下界限时间值（15分钟分区）
使用时，将’2023-10-17 10:32:45’ 替换为你的时间字段，比如data_time即可，上面的sql语句可以直接执行查看结果，用作测试。date_format(时间字段, ‘yyyy-MM-dd HH:mm:ss’) 将时间字段转为 2023-10-18 18:14:16 这种格式。我
hive和presto的求数组长度函数区别及注意事项
hive和presto的求数组长度函数区别及注意事项
[hive]中的字段的数据类型有哪些
整数类型（Integers）：包括TINYINT（1字节整数）、SMALLINT（2字节整数）、INT或INTEGER（4字节整数）、BIGINT（8字节整数）。浮点数类型（Floating-Point Numbers）：包括FLOAT（单精度浮点数）和DOUBLE（双精度浮点数）。除了上述常见的数
Hive表锁机制原理以及各种场景的解决方案
hive 锁机制(S锁,X锁) 是由hive的事务管理器出发，锁的原理是 一张表简称A表，我们对A表做查询操作的时候，就会获取到A表的S锁(共享锁), 如果对A表做alter 等其他操作就会获取A表的X锁(排他锁) 如果A表同时拥有S锁和X锁，A表就会死锁。死锁后的现象就是做drop truncat
Hive数据加载方式（load、insert；普通表、分区表）
Hive数据加载方式（load、insert；普通表、分区表）
[hive] 窗口函数 ROW_NUMBER()
在 Hive SQL 中，是一个用于生成行号的窗口函数。它可以为。以下是子句可选，用于指定，它将结果集划分为不同的分区。每个分区内的行都会有独立的行号计数，即行号从1开始重新计数。ORDER BY子句用于指定，它决定了如何对分区内的行进行排序。行号将根据指定的排序顺序进行分配。函数可以与其他窗口函数
Hive创建分区表并插入数据
静态分区在插入数据时要指定分区名，支持load、insert两种插入方式，主要用于分区少，分区名可以确定的情况。
[shell,hive] 在shell脚本中将hiveSQL分离出去
将Hive SQL语句写在单独的.hql文件中，然后在shell脚本中调用这些文件来执行Hive查询。这样可以将SQL语句与shell脚本分离，使代码更加清晰和易于维护。
Hive 动态分区以及分区以及中文分区字段
hive 提供了一个动态分区功能，其可以基于查询参数的位置去推断分区的名称，从而建立分区。
