Hive的安装及集成Tez为执行引擎
主要是yarn.nodemanager.vmem-check-enabled以及yarn.nodemanager.pmem-check-enabled这两项配置。切换Tez执行引擎后，hive启动以及HQL执行的日志较多，可参考前面第11步，将日志打印级别设为WARN或者ERROR。Tez介绍：ht
大数据基础编程、实验和教程案例（实验六）
本实验对应第 8 章的内容。
Hive3.1.3安装及部署
目录1 下载地址2 安装部署2.1 安装Hive2.2 启动并使用Hive2.3 MySQL安装2.3.1 安装MySQL2.3.2 配置MySQL2.3.3 卸载MySQL说明2.4 配置Hive元数据存储到MySQL2.4.1 配置元数据到MySQL2.4.2 验证元数据是否配置成功2.4.3
hive表向es集群同步数据20230830
报错原因分析：仔细看这行Error: java.lang.ClassNotFoundException: org.apache.commons.httpclient.HttpConnectionManager，原因是缺少httpclient.的jar包导致的。报错原因分析：我之前做的时候，将解压的所
各大数据组件数据倾斜的原因和解决办法
在处理大规模数据时，数据倾斜是一个常见的问题。数据倾斜指的是在分布式环境中处理数据时，某些节点上的任务会比其他节点更加繁重，这可能导致性能下降、资源浪费等问题。数据倾斜可能会出现在不同层次的数据处理过程中，例如 map 阶段、reduce 阶段、join 操作等。数据倾斜的背景可以从以下几个方面来解
2.Hive创建数据库
介绍了数据库和数据表的增删改查
【数据开发】大数据平台架构，Hive / THive介绍
什么是Hive？Hive是一个基于Hadoop的数据仓库工具。它提供了一个类似于SQL的查询语言，称为HiveQL，用于查询和分析大规模数据集。Hive将结构化数据映射到Hadoop的分布式文件系统和Hadoop的分布式处理引擎上，允许用户使用类似于SQL的语言查询数据，并将数据转换为其他格式，例如
【大数据】Docker部署HMS(Hive Metastore Service)并使用Trino访问Minio
团队要升级大数据架构，需要摒弃hadoop，底层使用Minio做存储，应用层用trino火spark访问minio。在使用trino访问minio时，需要使用hive的metastore service，经过调查HMS(Hive Metastore Service)是可以独立于hive组件的，即不需
HIVE数据抽样
hive中分桶其实就是根据某一个字段Hash取模，放入指定数据的桶中，比如将表table按照ID分成100个桶，其算法是hash(id) % 100，这样，hash(id) % 100 = 0的数据被放到第一个桶中，hash(id) % 100 = 1的记录被放到第二个桶中。sort by 提供了单
sparksql源码系列 | 一文搞懂Show create table 执行原理
这篇文章主要介绍了show create table命令执行的源码流程，弄清楚了sparksql是怎么和hive元数据库交互，查询对应表的metadata，然后拼接成最终的结果展示给用户的
实验五 熟悉 Hive 的基本操作
（8）查询 stocks 表中收盘价(price_close)比开盘价(price_open)高得最多的那条记录的交易所 (exchange)、股票代码(symbol)、日期(ymd)、收盘价、开盘价及二者差价。（9）从 stocks 表中查询苹果公司（symbol=AAPL）年平均调整后收盘价(p
hive的安装配置笔记
hive的安装配置笔记
ubuntu22.04安装MySQL、Hive及Hive连接MySQL操作
ubuntu22.04安装MySQL、Hive及Hive连接MySQL操作
Hive insert插入数据与with子查询
当在hive中同时使用insert into(overwrite) table xx 与with子查询时候，需要将insert放在with as子查询后面（区分：与StarRocks不同，insert放在with as子查询前面）insert into 与 insert overwrite 都可以向
Flink Hive Catalog操作案例
在此对Flink读写Hive表操作进行逐步记录，需要指出的是，其中操作Hive分区表和非分区表的DDL有所不同，以下分别记录。
Sqoop将hive处理的数据导出到MySQL
sqoop将hive数据导出到mysql
Hive double类型强转string类型并解决科学计数法问题
Hive double类型强转string类型并解决科学计数法问题
hive sql，年月日 时分秒格式的数据，以15分钟为时间段，找出每一条数据所在时间段的上下界限时间值（15分钟分区）
使用时，将’2023-10-17 10:32:45’ 替换为你的时间字段，比如data_time即可，上面的sql语句可以直接执行查看结果，用作测试。date_format(时间字段, ‘yyyy-MM-dd HH:mm:ss’) 将时间字段转为 2023-10-18 18:14:16 这种格式。我
hive和presto的求数组长度函数区别及注意事项
hive和presto的求数组长度函数区别及注意事项
