hive解决了什么问题

也就是说,hive sql通过将sql转换成map reduce任务,使得开发人员可以通过编写sql来替代写map reduce代码,由于sql是通用的,很多数据分析人员都有此技术栈,相对写map reduce代码要容易上手很多。对于同样一个取数需求,hive sql编写方式的不同,会导致Map R

HIVE中PST, UTC, PRC(CST)时区转换

以上是把PST时间转成PRC时间,其它同理。

hive数据load到redis

hive数据传到redis

Hive连接异常:无法通过JDBC连接打开客户端传输(JDBC Uri: jdbc:hive2:// 大数据)

总结起来,当遇到"Hive连接报错:Could not open client transport with JDBC Uri: jdbc:hive2:// 大数据"的问题时,我们可以先检查网络连接是否正常,然后确保Hive服务器的配置正确,并确认服务器正在运行。通过提供正确的JDBC连接URI(如

Hive中数组array的相关应用

array_intersect(array1, array2):返回一个包含所有同时在数组array1和数组array2中的元素的数组(数组array1和数组array2的交集元素)。split(reverse(concat_ws(delimiter,array_sort(array))),deli

Hive 中 sort by 和 order by 的区别

在 Hive 中,SORT BY和ORDER BY都用于对查询结果进行排序,但它们在实现方式和适用场景上有一些区别。

配置开启Hive远程连接

使用IDEA工具远程连接Hive,首先需要配置开启Hive远程连接支持,主要有2种方式来配置开启Hive远程连接。

Hive的基本SQL操作(DDL篇)

Hive SQL(HQL)与SQL的语法大同小异,基本上是相通的,学过SQL的使用者可以无痛使用Hive SQL。只不过在学习HQL语法的时候,特别要注意Hive自己特有的语法知识点,今天我们就来学习下Hive SQL的DDL语句

hive--给表名和字段加注释

增加之后的注释,会在元数据库(一般在MySQL 中的 hive 库)中的 TABLE_PARAMS 表中显示,该表存储 表/视图 的属性信息。注意:comment一定要是小写的,不能是COMMENT,且必须要加单引号!4.字段名修改添加注释。

【hive】hive分桶表的学习

每一个表或者分区,hive都可以进一步组织成桶,桶是更细粒度的数据划分,他本质不会改变表或分区的目录组织方式,他会改变数据在文件中的分布方式。

探索数据湖中的巨兽:Apache Hive分布式SQL计算平台浅度剖析!

对数据进行统计分析,SQL是目前最为方便的编程工具大数据体系中充斥着非常多的统计分析场景,所以,使用SQL去处理数据,在大数据中也是有极大的需求的MapReduce支持程序开发(Java、Python等),但不支持SQL开发Apache Hive是一款分布式SQL计算的工具将SQL语句 翻译成Map

Hive 处理 13 位时间戳,得到年月日时分秒(北京时间)

Hive 处理 13 位时间戳,得到年月日时分秒(北京时间)使用 Hive 自带函数 将 13位 时间戳: 1682238448915 转成 今天的时间(北京时间),格式样例:'2023-04-23 16:27:28'

【Hive/Spark】常见参数配置

(用于spark3中字段类型不匹配(例如datetime无法转换成date),消除sql中时间歧义,将Spark .sql. LEGACY . timeparserpolicy设置为LEGACY来恢复Spark 3.0之前的状态来转化)(4)set spark.sql.finalStage.adap

【大数据之Hive】二十五、HQL语法优化之小文件合并

小文件优化可以从两个方面解决,在Map端输入的小文件合并,在Reduce端输出的小文件合并。

Hive 的 UDF 函数(Python 版本)

Python 实现 Hive 的 UDF 函数其实非常的简单

Hive 和 HDFS、MySQL 之间的关系

Hive 使用 HDFS 作为其底层数据存储,将数据存储在 HDFS 中的文件和目录中,然后执行查询以从 HDFS 中检索和处理数据。在大数据环境中,MySQL 可能用于存储与 Hive 相关的元数据,例如 Hive 表的定义、分区信息和其他元数据。当用户将数据加载到 Hive 表时,数据通常会存储

Hive 数据仓库介绍

hive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将SQL语句转变成MapReduce任务来执行。

基于华为云的在线拍卖数据分析

基于华为云服务器,实现在线数据拍卖分析萌新初次使用云服务器搭建Hadoop文件系统,使用Hive操作数据库,进行数据预测

Zeppelin(0.10.1版本)安装及创建hive解释器

在zepplin 使用hive解释器

hive/spark数据倾斜解决方案

数据倾斜主要表现在,mapreduce程序执行时,reduce节点大部分执行完毕,但是有一个或者几个reduce节点运行很慢,导致整个程序的处理时间很长,这是因为某一个key的条数比其他key多很多(有时是百倍或者千倍之多),这条Key所在的reduce节点所处理的数据量比其他节点就大很多,从而导致

登录可以使用的更多功能哦! 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号:deephub-imba

...
奕凯

公众号:奕凯的技术栈