Hive on Spark 配置
Hive引擎包括:MR(默认)、tez、spark。Hive on Spark:Hive既作为存储元数据又负责 SQL 的解析优化,语法是 HQL 语法,执行引擎变成了 Spark,Spark 负责采用 RDD 执行。Spark on Hive:Hive 只作为存储元数据,Spark负责SQL解析优
hive正则函数regexp_extract()提取字符串
分析:将a.STEP_ID 按照[_/,;]来分割,如果匹配上了就提取[_/,;]右侧的字符串,没有的话返回‘NA’;例子:nvl(REGEXP_SUBSTR('005/06','[^_/,;本例中分隔符之前只有数字和字母,且分隔符至多一个。
Hive常见的日期函数
UNIX 时间戳转日期语法:fom_unixtime(bigint unixtime[, string format]);返回类型:string。
Hive中文乱码的解决方法
解决Hive中文乱码问题
(15)Hive调优——数据倾斜的解决指南
Hive调优——数据倾斜指南
hive客户端连接
主题:是一个抽象的概念,数据综合体,一个分析的主题可以对应多个数据源,在数仓的开展分析中,首先确定分析的主题,然后基于主题寻找,采集跟主题相关的数据。特点:服务于分析,要能应对海量数据的存储和数据计算,对于响应速度要求不高没我们很少修改数据,所以也不需要对数据的一致性,安全性进行考虑。ODS:源数据
hive解析json_hive json解析函数
发知识点,真正体系化!**
Hive 之 UDF 运用(包会的)
Hive 支持两种 UDF 函数自定义操作,分别是:GenericUDF(通用UDF):用于实现那些可以处理任意数据类型的函数。它们的输入和输出类型可以是任意的,但需要在函数内部处理类型转换和逻辑,可以实现更复杂的逻辑处理。UDF:用于实现那些只能处理特定数据类型的函数。每个 UDF 都明确指定了输
hive表基本语法
hive表基本语法
Hive中的复杂数据类型 - array、map、struct
Hive中的复杂数据类型,学会如何使用,如何指定字段为struct类型?如何向struct类型的字段中插入数据?如何取出struct字段中的值?
hive:insert into/overwrite插入分区详解
最近在做数据清洗的工作,从ods层到dwd层对数据进行标准化。有多张表需要汇入主题表,因为表中的字段比较多,况且也不统一,需要从指定字段拿数据,并且清洗,最后汇入主题表。PS:又结束了一天忙碌的工作,祝愿大家开心生活每一天。
hive的安装
hive的安装
Hive学习
Hive 通过给用户提供的一系列交互接口,接收到用户的指令(SQL),使用自己的 Driver, 结合元数据(MetaStore),将这些指令翻译成 MapReduce,提交到 Hadoop 中执行,最后,将 执行返回的结果输出到用户交互接口。Hive 中的元数据通常包含表名、列、分区及其相关属性,
hive内置函数--floor,ceil,rand三种取整函数
返回一个0到1范围内的随机数。如果指定种子seed,则会返回固定的随机数。返回等于或者小于该double变量的最大的整数。返回等于或者大于该double变量的最小的整数。
两种方法把数据导入到Hive
本地数据导入到hdfs,hdfs数据导入到hive
hadoop学习---基于Hive的聊天数据分析报表可视化案例
聊天平台每天都会有大量的用户在线,会出现大量的聊天数据,通过对。
Hive3.1.3详细安装配置教程及安装时问题解决
可能会出现错误 Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;原因是hive/lib中的gua
HIVE总结(看完这篇,别说你不会HIVE)
HIVE总结(看完这篇,别说你不会HIVE)
在虚拟机中进入hive出现ConnectException拒绝连接
如果输入进入hive的命令后出现以下问题。
如果出现HIveServer2启动异常的解决方法
今天遇到了特别尴尬的事,hadoop集群没启动,今天启动hive的时候HiveServer2一直启动异常,试了好多遍都是这样,当时在网上搜了一下解决问题,有的是没配置hive启动脚本导致启动不成功,想了一下才知道启动hive的时候hadoop集群忘记启动了哈哈。有可能hadoop集群没开,也有可能没