Hive on Spark 配置

Hive引擎包括:MR(默认)、tez、spark。Hive on Spark:Hive既作为存储元数据又负责 SQL 的解析优化,语法是 HQL 语法,执行引擎变成了 Spark,Spark 负责采用 RDD 执行。Spark on Hive:Hive 只作为存储元数据,Spark负责SQL解析优

hive正则函数regexp_extract()提取字符串

分析:将a.STEP_ID 按照[_/,;]来分割,如果匹配上了就提取[_/,;]右侧的字符串,没有的话返回‘NA’;例子:nvl(REGEXP_SUBSTR('005/06','[^_/,;本例中分隔符之前只有数字和字母,且分隔符至多一个。

Hive常见的日期函数

UNIX 时间戳转日期语法:fom_unixtime(bigint unixtime[, string format]);返回类型:string。

Hive中文乱码的解决方法

解决Hive中文乱码问题

(15)Hive调优——数据倾斜的解决指南

Hive调优——数据倾斜指南

hive客户端连接

主题:是一个抽象的概念,数据综合体,一个分析的主题可以对应多个数据源,在数仓的开展分析中,首先确定分析的主题,然后基于主题寻找,采集跟主题相关的数据。特点:服务于分析,要能应对海量数据的存储和数据计算,对于响应速度要求不高没我们很少修改数据,所以也不需要对数据的一致性,安全性进行考虑。ODS:源数据

hive解析json_hive json解析函数

发知识点,真正体系化!**

Hive 之 UDF 运用(包会的)

Hive 支持两种 UDF 函数自定义操作,分别是:GenericUDF(通用UDF):用于实现那些可以处理任意数据类型的函数。它们的输入和输出类型可以是任意的,但需要在函数内部处理类型转换和逻辑,可以实现更复杂的逻辑处理。UDF:用于实现那些只能处理特定数据类型的函数。每个 UDF 都明确指定了输

hive表基本语法

hive表基本语法

Hive中的复杂数据类型 - array、map、struct

Hive中的复杂数据类型,学会如何使用,如何指定字段为struct类型?如何向struct类型的字段中插入数据?如何取出struct字段中的值?

hive:insert into/overwrite插入分区详解

最近在做数据清洗的工作,从ods层到dwd层对数据进行标准化。有多张表需要汇入主题表,因为表中的字段比较多,况且也不统一,需要从指定字段拿数据,并且清洗,最后汇入主题表。PS:又结束了一天忙碌的工作,祝愿大家开心生活每一天。

hive的安装

hive的安装

Hive学习

Hive 通过给用户提供的一系列交互接口,接收到用户的指令(SQL),使用自己的 Driver, 结合元数据(MetaStore),将这些指令翻译成 MapReduce,提交到 Hadoop 中执行,最后,将 执行返回的结果输出到用户交互接口。Hive 中的元数据通常包含表名、列、分区及其相关属性,

hive内置函数--floor,ceil,rand三种取整函数

返回一个0到1范围内的随机数。如果指定种子seed,则会返回固定的随机数。返回等于或者小于该double变量的最大的整数。返回等于或者大于该double变量的最小的整数。

两种方法把数据导入到Hive

本地数据导入到hdfs,hdfs数据导入到hive

hadoop学习---基于Hive的聊天数据分析报表可视化案例

聊天平台每天都会有大量的用户在线,会出现大量的聊天数据,通过对。

Hive3.1.3详细安装配置教程及安装时问题解决

可能会出现错误 Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;原因是hive/lib中的gua

HIVE总结(看完这篇,别说你不会HIVE)

HIVE总结(看完这篇,别说你不会HIVE)

在虚拟机中进入hive出现ConnectException拒绝连接

如果输入进入hive的命令后出现以下问题。

如果出现HIveServer2启动异常的解决方法

今天遇到了特别尴尬的事,hadoop集群没启动,今天启动hive的时候HiveServer2一直启动异常,试了好多遍都是这样,当时在网上搜了一下解决问题,有的是没配置hive启动脚本导致启动不成功,想了一下才知道启动hive的时候hadoop集群忘记启动了哈哈。有可能hadoop集群没开,也有可能没

登录可以使用的更多功能哦! 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号:deephub-imba

...
奕凯

公众号:奕凯的技术栈