hive 架构及 metastore 功能简单介绍
hive 内部执行过程以及 Metastore 的作用。
访问 Hive 的元数据存储(MetaStore)的API方式
访问 Hive 的元数据存储(MetaStore)是通过 Hive 的 Thrift API 来实现的。导入 thrift 和 Hive Metastore 的相应模块,创建一个 Thrift 的 transport 对象和一个 Hive Metastore 的 client 对象,并连接到 Hiv
大数据学习之HiveSQL
HiveSQL
hive表的全关联full join用法
把两个表的结果拼在一行了,匹配不上的都用NULL值进行填充了,显然不是我要的结果。查询完显示如下,nice,😄。test_b表的数据如下;test_a表的数据如下。
【Hive】HQL Map 『CRUD | 相关函数』
1. Map 增删改查1.1 声明 Map 数据类型1.2 增1.3 删1.4 改1.5 查2. Map 相关函数2.1 单个Map3. Map 与 String3.1 Map 转 string3.2 string 转 Map
hive中collect_list函数
collect_list聚合函数,
hive报错信息不明确的情况汇总
return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. Exception when loading 1 in table uniaction1 with loadPath
大数据环境搭建 Hadoop+Hive+Flume+Sqoop
大数据Hadoop生态圈环境搭建,主要针对离线项目,利用HDFS进行分布式存储,MapReduce进行离线计算,Hive进行数据分析。
通过 docker-compose 快速部署 Hive 详细教程
其实通过 docker-compose 部署 hive 是在继上篇文章 Hadoop 部署的基础之上叠加的,Hive 做为最常用的数仓服务,所以是有必要进行集成的,感兴趣的小伙伴请认真阅读我以下内容,通过 docker-compose 部署的服务主要是用最少的资源和时间成本快速部署服务,方便小伙伴学
权限管理-Ranger的介绍和使用(集成Hive)
Apache Ranger是一个Hadoop平台上的全方位数据安全管理框架,它可以为整个Hadoop生态系统提供全面的安全管理。随着企业业务的拓展,企业可能在多用户环境中运行多个工作任务,这就需要一个可以对安全策略进行集中管理,配置和监控用户访问的框架。Ranger由此产生!Ranger的官网:ht
大数据平台搭建之hive连接mysql
linux中mysql的安装、hive本地模式的搭建
Sqoop(二):Hive导出数据到Oracle
Hive导出数据到Oracle及多张表自动化跑数
Hudi系列13:Hudi集成Hive
Hudi集成hive
Hive 安装介绍
Hive 安装介绍
hive解析json
说明:lateral view用于和split、explode等UDTF一起使用的,能将一行数据拆分成多行数据,在此基础上可以对拆分的数据进行聚合,lateral view首先为原始表的每行调用UDTF,UDTF会把一行拆分成一行或者多行,lateral view在把结果组合,产生一个支持别名表的虚
7、hive shell客户端与属性配置、内置运算符、函数(内置运算符与自定义UDF运算符)
通过show functions命令在hive客户端查看当下可用的所有函数;通过describe function extended funcname命令在hive客户端查看函数的使用方式。用户自定义函数简称UDF,源自于英文user-defined function。UDF(User-Define
Hive数据倾斜的原因以及常用解决方案
Hive数据倾斜的原因以及常用解决方案
13、java api访问hive操作示例
本文依赖hive环境可用,特别是HiveServer2。本文仅仅介绍通过java api访问hive的数据。
Hadoop Hbase Hive 版本对照一览
Hadoop Hbase Hive 版本对照,官网查询记录,仅供参考。
常用的hive sql
常用的hive sql