基于国产服务器使用hive -testbench-hdp3工具测试hive的TPCDS

基于hive -testbench-hdp3测试hive的TPC-DS数据,通过调整、设置。按照步骤能够成功完成测试,并将结果进行展示。

HiveSQL题——数据炸裂和数据合并

HiveSQL题——数据炸裂和数据合并

HiveSQL题——前后函数(lag/lead)

HiveSQL题——前后函数(lag/lead)

Hive导入数据的五种方法

介绍Hive表导入数据的五种方法:Load加载数据、insert插入数据、As Select加载数据、Location加载数据、Import加载数据

Hive 表权限授权

3.查看指定用户在指定表的权限:show grant user {userName} on table {dbName}.{tableName};语法:revoke {authority_name} on database {dbName} from user {userName};语法:grant

Hive3.1.3版本安装部署

至此hive组件就已经安装完成了,相对于hadoop集群部署来说还是比较简单的,需要配置的地方也没那么多,但目前hive底层运行的执行引擎还是mapreduce,如果想要hive运行的更加高效,可以开启多个hiveserver2或者切换到hive on spark来加速任务的执行速度,由于篇幅有限,

Hive Case When与IF的用法(嵌套、混合使用)

Hive Case When与IF的用法(嵌套、混合使用)——case when与if语句使用详解

【Hive-Sql】Hive 处理 13 位时间戳得到年月日时分秒(北京时间)

【代码】【Hive-Sql】Hive 处理 13 位时间戳得到年月日时分秒(北京时间)

JDK8 和 JDK17 下基于JDBC连接Kerberos认证的Hive(代码已测试通过)

打开了debug后,如果是正常情况,我们能观察到控制台会打印到krb5.conf相关内容信息,出现问题优先根据debug日志查看,如果没有打印出krb5文件内容,去看看路径/文件权限。之前自研平台是基于jdk8开发的,连接带Kerberos的hive也是jdk8,现在想升级jdk到17,发现过Ker

大数据技术之Hive(三)hive常用函数

hive自带了一些函数,比如max/min等。但是数量有限,自己可以通过UDF来方便的扩展。当hive提供的内置函数无法满足业务需求时,就可以考虑用户自定义函数UDF根据用户自定义函数类别分为以下三种:UDF一进一出UDAF用户自定义聚合函数,多进一出类似于:count/max/minUDTF用户自

Hive 的 安装与使用

hive的元数据是存在 MySql 里的,如果不使用元数据服务的话,hive直接会操作MySql里的元数据,使用元数据服务的话,hive会操作元数据服务,元数据服务再去操作 MySql 里的元数据。用于列出系统中已安装的所有软件包的名称,CentOS 6系统自带的数据库 MySql,CentOS 7

Hive学习(13)lag和lead函数取偏移量

在数据处理和分析中,窗口函数是一种重要的技术,用于在数据集中执行聚合和分析操作。Hive作为一种大数据处理框架,也提供了窗口函数的支持。在Hive中,Lag函数是一种常用的窗口函数,可以用于计算前一行或前N行的值。

Hive-函数总结

Hive函数总结,简单实用,举例

2024.1.5 Hadoop阶段,各组件工作原理,八股文,面试题

leader宕机后启动: 每一个leader当老大的时候,都会产生新纪元epoch,且每次操作完节点数据都会更新事务id(高32位_低32位) ,当leader宕机后,剩下的follower就会综合考虑几个因素选出最新的leader,先比较最后一次更新数据事务id(高32位_低32位),谁的事务id

大数据环境搭建(一)-Hive

Hive安装部署

【hive】- 使用insert into/insert overwrite插入数据到静态分区、动态分区、动静态分区

使用insert into/insert overwrite插入数据到静态分区、动态分区、动静态分区

hiveSql解析DolphinScheduler调度系统7位crontab表达式

先说下我们数仓大致的数据链路。各个业务系统的数据库 -> hive -> doris -> 报表/邮件/系统hive里ods层几乎所有的数据都依赖于从业务库拉取,但是偶尔也难以避免的会遇到拉取失败或者集群(主要是业务库)宕机的情况,导致ods层数据大批量的拉取失败,从而影响到dwd层、dws层、ad

Hive权限管理

基于存储的授权 - 可以对Metastore中的元数据进行保护,但是没有提供更加细粒度的访问控制(例如:列级别、行级别)。基于SQL标准的Hive授权 - 完全兼容SQL的授权模型,推荐使用该模式。hive默认授权 - 设计目的仅仅只是为了防止用户产生误操作,而不是防止恶意用户访问未经授权的数据。

[hive] sql中distinct的用法和注意事项

在 Hive SQL 中,DISTINCT用于去重查询结果中的行。它返回唯一的行,消除结果集中的重复项。以下是DISTINCT。

Dbeaver,Hudi,Hive,Spark,Presto应用问题及解决措施梳理

Dbeaver,Hudi,Hive,Spark,Presto应用问题及解决措施梳理

登录可以使用的更多功能哦! 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号:deephub-imba

...
奕凯

公众号:奕凯的技术栈