SQL使用技巧(6)HIVE开窗函数
先想明白自己要实现什么样的功能，然后再去实践。没有目的的尝试段不可取，会难以理解各开窗函数的真正用法。
Hive 的角色和权限控制
的权限模型中，用户可以拥有多个角色，一个角色可以包含多个用户。管理员可以根据需要创建和管理角色，并为这些角色分配相应的权限。中的角色控制是通过角色的概念来实现的，角色可以理解为一组用户的集合，可以对这个集合中的用户进行权限的管理。用户可以根据自己的需求创建和管理角色，并为这些角色分配相应的权限。中的
Hive 的安装与配置
hive的详细安装与配置
Kafka实时数据即席查询应用与实践
在实际应用中，Kafka实时数据即席查询可以用于多种场景，如实时监控、实时报警、实时统计、实时分析等。数据质量：Kafka实时数据即席查询需要保证数据质量，避免数据重复、丢失或错误等问题，需要进行数据质量监控和调优。系统复杂性：Kafka实时数据即席查询需要涉及到多个系统和组件，包括Kafka、数据
Hive自定义UDF函数及使用
UDF全称：User-Defined Functions，即用户自定义函数，在Hive SQL编译成MapReduce任务时，执行java方法，类似于像MapReduce执行过程中加入一个插件，方便扩展。
阿里云大数据实战记录10：Hive 兼容模式的坑
解决 MaxCompute 不支持这个语法`DATE_FORMAT(string, string)`的方法本文提供了两种：方法1：开启 Hive 兼容模式方法2：显性修改传入`FROM_UNIXTIME(1672538400)`返回的数据类型另外，传递给`DATE_FORMAT()`的参数如果是 D
Hive的安装及集成Tez为执行引擎
主要是yarn.nodemanager.vmem-check-enabled以及yarn.nodemanager.pmem-check-enabled这两项配置。切换Tez执行引擎后，hive启动以及HQL执行的日志较多，可参考前面第11步，将日志打印级别设为WARN或者ERROR。Tez介绍：ht
大数据基础编程、实验和教程案例（实验六）
本实验对应第 8 章的内容。
Hive3.1.3安装及部署
目录1 下载地址2 安装部署2.1 安装Hive2.2 启动并使用Hive2.3 MySQL安装2.3.1 安装MySQL2.3.2 配置MySQL2.3.3 卸载MySQL说明2.4 配置Hive元数据存储到MySQL2.4.1 配置元数据到MySQL2.4.2 验证元数据是否配置成功2.4.3
hive表向es集群同步数据20230830
报错原因分析：仔细看这行Error: java.lang.ClassNotFoundException: org.apache.commons.httpclient.HttpConnectionManager，原因是缺少httpclient.的jar包导致的。报错原因分析：我之前做的时候，将解压的所
各大数据组件数据倾斜的原因和解决办法
在处理大规模数据时，数据倾斜是一个常见的问题。数据倾斜指的是在分布式环境中处理数据时，某些节点上的任务会比其他节点更加繁重，这可能导致性能下降、资源浪费等问题。数据倾斜可能会出现在不同层次的数据处理过程中，例如 map 阶段、reduce 阶段、join 操作等。数据倾斜的背景可以从以下几个方面来解
2.Hive创建数据库
介绍了数据库和数据表的增删改查
【数据开发】大数据平台架构，Hive / THive介绍
什么是Hive？Hive是一个基于Hadoop的数据仓库工具。它提供了一个类似于SQL的查询语言，称为HiveQL，用于查询和分析大规模数据集。Hive将结构化数据映射到Hadoop的分布式文件系统和Hadoop的分布式处理引擎上，允许用户使用类似于SQL的语言查询数据，并将数据转换为其他格式，例如
【大数据】Docker部署HMS(Hive Metastore Service)并使用Trino访问Minio
团队要升级大数据架构，需要摒弃hadoop，底层使用Minio做存储，应用层用trino火spark访问minio。在使用trino访问minio时，需要使用hive的metastore service，经过调查HMS(Hive Metastore Service)是可以独立于hive组件的，即不需
HIVE数据抽样
hive中分桶其实就是根据某一个字段Hash取模，放入指定数据的桶中，比如将表table按照ID分成100个桶，其算法是hash(id) % 100，这样，hash(id) % 100 = 0的数据被放到第一个桶中，hash(id) % 100 = 1的记录被放到第二个桶中。sort by 提供了单
sparksql源码系列 | 一文搞懂Show create table 执行原理
这篇文章主要介绍了show create table命令执行的源码流程，弄清楚了sparksql是怎么和hive元数据库交互，查询对应表的metadata，然后拼接成最终的结果展示给用户的
实验五 熟悉 Hive 的基本操作
（8）查询 stocks 表中收盘价(price_close)比开盘价(price_open)高得最多的那条记录的交易所 (exchange)、股票代码(symbol)、日期(ymd)、收盘价、开盘价及二者差价。（9）从 stocks 表中查询苹果公司（symbol=AAPL）年平均调整后收盘价(p
hive的安装配置笔记
hive的安装配置笔记
ubuntu22.04安装MySQL、Hive及Hive连接MySQL操作
ubuntu22.04安装MySQL、Hive及Hive连接MySQL操作
