Hive实战:分科汇总求月考平均分

上传数据到hdfs、从hdfs加载数据到hive

Hive字符串截取函数substr详解

Hive中的substr函数可以用来截取字符串的一部分,并返回截取后的结果。该函数有三个参数:第一个参数是要截取的字符串,第二个参数是截取的起始位置(从1开始),第三个参数是截取的长度。注意,如果截取的长度超过了字符串的实际长度,Hive会返回整个字符串。举个例子,假设有一个字符串。

保姆级连接FusionInsight MRS kerberos Hive

本文将介绍在华为云 FusionInsight MRS(Managed Relational Service)的Kerberos环境中,如何使用Java和DBeaver实现远程连接Hive的方法。

HiveSql语法优化二 :join算法

SMB Map Join同Bucket Map Join一样,同样是利用两表各分桶之间的关联关系,在分桶之间进行join操作,不同的是,分桶之间的join操作的实现原理。SMB Map Join要求,参与join的表均为分桶表,且需保证分桶内的数据是有序的,且分桶字段、排序字段和关联字段为相同字段,

Hive之set参数大全-1

是 Apache Hive 中的一个配置属性,用于控制是否允许在需要时按需加载用户定义函数(UDF)。在 Hive 中,UDFs是用户编写的自定义函数,可以在 Hive SQL 查询中使用。这个配置属性的目的是在查询执行期间动态加载UDFs,而不是在Hive服务器启动时就加载所有UDFs,从而减小启

Hive实战:学生信息排序

本次实战利用Hive处理HDFS中学生信息数据,通过创建外部表、执行SQL查询及排序操作,展示了Hive对结构化大数据的高效处理能力,包括按年龄降序和性别升序复合排序。该过程旨在深入教学Hive在数据建模、查询与分析中的应用价值。

大数据——数据从Hive导入MySQL

首先,Hive MySQL Hadoop 要确保没问题,若有小伙伴对这个有疑问,可以在评论区提问。目录可以根据实际情况进行修改,下面的表名“user_action"同理;现在可以进入浏览器Hadoop的web页面查看 数据表 是否导入到。先启动Hadoop集群,为之后获取Hive数据表做准备。将刚刚

数仓工具—Hive进阶之StorageHandler(23)

当在Apache Hive中定义和操作表时,涉及到的数据的输入和输出以及数据的序列化和反序列化都需要明确定义,这就是 InputFormat、OutputFormat 和 SerDe 的作用。存储处理程序通过指定合适的 InputFormat、OutputFormat 和 SerDe,定义了与特定存

解决Hive在DataGrip 中注释乱码问题

COLUMNS_V2 表中的 COMMENT 字段存储了 Hive 表所有字段的注释,TABLE_PARAMS 表中的 PARAM_VALUE 字段存储了所有表的注释。数据库中的字符都是通过编码存储的,写入时编码,读取时解码。修改字段编码并不会改变此前数据的编码方式,依然为默认的 latin1,此时

Hive实战:词频统计

在本次实战中,我们任务是在大数据环境下使用Hive进行词频统计。首先,我们在master虚拟机上创建了一个名为test.txt的文本文件,内容包含一些关键词的句子。接着,我们将该文本文件上传到HDFS的目录,作为数据源。随后,我们启动了服务和Hive客户端,为数据处理做准备。在Hive客户端中,我们

【HIVE】数据的定义与操作

Hive作为数据仓库,用来存放企业的海量数据,Hive提供了丰富的数据类型,如关系型数据库,且提供了关系型数据库不支持的数据类型。

Hive-concat_ws 详解

该函数将使用指定的分隔符将所有提供的字符串或字符串数组连接在一起。它接受任意数量的参数,并且可以用于连接单个字符串或字符串数组。是 Hive 中的一个函数,用于在给定分隔符的情况下连接字符串数组或字符串。的参数中有 NULL 值,那么连接的结果中将会忽略这些 NULL 值。在上面的示例中,我们使用逗

Hive内核调优(一)

注:CPU时间:表示运行程序所占用服务器CPU资源的时间。用户等待耗时:记录的是用户从提交作业到返回结果期间用户等待的所有时间。

Spark内容分享(二十六):Hive SQL 迁移 Spark SQL 在网易传媒的实践

回顾整个方案的设计过程,实际上没有太多选择的余地,在没法在spark引擎层做兼容的前提,和以脚本提交任务的现状下,只能选择基于git版本管理的自动化迁移流程。方案能这么顺利实施,主要因为任务代码是以脚本的形式存在,这样我们可以很方便的用各种程序处理脚本源代码,避免了大量重复性的工作,特别是用git进

Hive01_安装部署

上传mysql jdbc驱动到hive安装包lib下。在hdfs创建hive存储目录(如存在则不用操作)解决Hive与Hadoop之间guava版本差异。

【湖仓一体尝试】MYSQL和HIVE数据联合查询

爬了两天大大小小的一堆坑,今天把一个简单的单机环境的流程走通了,记录一笔

HIVE笔记

返回两个表中满足关联条件的记录。

虚拟机安装单机hive以及简单使用hive

hive是我打算了解的有一个大数据方面的一个技术栈,上一篇介绍了Hadoop和hbase,有兴趣的朋友可以点击“文章”浏览,今天要介绍的hive也是要基于hadoop的,安装hive也要提前安装好hadoop。刚了解这块的朋友肯定就会疑问这三者之间的关系是什么呢,从我这段时间对它们的简单了解,我的理

Hive DDL语法

Hive的语法和MySQL大部分都相同。

登录可以使用的更多功能哦! 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号:deephub-imba

...
奕凯

公众号:奕凯的技术栈