Hive 的 UDF 函数(Python 版本)

Python 实现 Hive 的 UDF 函数其实非常的简单

Hive 和 HDFS、MySQL 之间的关系

Hive 使用 HDFS 作为其底层数据存储,将数据存储在 HDFS 中的文件和目录中,然后执行查询以从 HDFS 中检索和处理数据。在大数据环境中,MySQL 可能用于存储与 Hive 相关的元数据,例如 Hive 表的定义、分区信息和其他元数据。当用户将数据加载到 Hive 表时,数据通常会存储

Hive 数据仓库介绍

hive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将SQL语句转变成MapReduce任务来执行。

基于华为云的在线拍卖数据分析

基于华为云服务器,实现在线数据拍卖分析萌新初次使用云服务器搭建Hadoop文件系统,使用Hive操作数据库,进行数据预测

Zeppelin(0.10.1版本)安装及创建hive解释器

在zepplin 使用hive解释器

hive/spark数据倾斜解决方案

数据倾斜主要表现在,mapreduce程序执行时,reduce节点大部分执行完毕,但是有一个或者几个reduce节点运行很慢,导致整个程序的处理时间很长,这是因为某一个key的条数比其他key多很多(有时是百倍或者千倍之多),这条Key所在的reduce节点所处理的数据量比其他节点就大很多,从而导致

大数据之使用Spark全量抽取MySQL的数据到Hive数据库

使用了spark对MySQL的数据进行操作并保存到了hive数据库,原理大同小异,spark提供了许多api供我们使用,非常的方便和灵活。本题来源于全国职业技能大赛之大数据技术赛项赛题-离线数据处理-数据抽取题目:编写Scala代码,使用Spark将MySQL的shtd_industry库中表Env

HiveSQL刷题

现有各直播间的用户访问记录表(live_events)如下,表中每行数据表达的信息为,一个用户何时进入了一个直播间,又在何时离开了该直播间。

【大数据之Hive】四、配置Hive元数据存储到MySQL

需求:把Hive元数据写道MySQL的metastore数据库中(MySQL默认没有metastore数据库,需要提前创建:create database metastore;连接地址:jdbc:mysql//hadoop102:3306/metastore驱动:com.mysql.cj.jdbc.

Hive的更新和删除

更新数据: Hive中的更新操作实际上是替换记录的过程。删除数据: 在Hive中,您可以使用DELETE语句删除表中的数据。但是,与传统的关系型数据库不同,Hive实际上并不删除数据,而是将其标记为已删除。但是,这些操作的执行方式与传统的关系型数据库不同,因为Hive使用Hadoop的MapRedu

华为云云耀云服务器L实例评测|在Docker环境下部署Hive数据库

​ 这是Maynor华为云云耀云服务器L实例评测|单节点环境下部署ClickHouse21.1.9.41数据库华为云云耀云服务器L实例评测|伪分布式环境下部署hadoop2.10.1华为云云耀云服务器L实例评测|在Docker环境下部署Hadoop​云耀云服务器L实例是新一代的轻量应用云服务器

Hive中hash函数及md5函数

该算法将输入数据分为若干个块,每个块都进行哈希计算,最终将所有块的哈希值合并起来得到最终的哈希值。参数2: 224, 256, 384, 512, 或 0(=256)中的一个,表示SHA-224, SHA-256, SHA-384, SHA-512。由于哈希函数的特性,相同的输入数据每次计算得到的哈

Hive导入csv文件示例

关键是要引入org.apache.hadoop.hive.serde2.OpenCSVSerdecsv要保存到hive的parquet,需要先保存成textfile。

Hive 分区表新增字段 cascade

Hive 分区表新增字段 cascade

大数据平台搭建之hive本地模式安装

hive的基本介绍,hive的架构,hive的本地模式搭建

hive 架构及 metastore 功能简单介绍

hive 内部执行过程以及 Metastore 的作用。

访问 Hive 的元数据存储(MetaStore)的API方式

访问 Hive 的元数据存储(MetaStore)是通过 Hive 的 Thrift API 来实现的。导入 thrift 和 Hive Metastore 的相应模块,创建一个 Thrift 的 transport 对象和一个 Hive Metastore 的 client 对象,并连接到 Hiv

大数据学习之HiveSQL

HiveSQL

hive表的全关联full join用法

把两个表的结果拼在一行了,匹配不上的都用NULL值进行填充了,显然不是我要的结果。查询完显示如下,nice,😄。test_b表的数据如下;test_a表的数据如下。

【Hive】HQL Map 『CRUD | 相关函数』

1. Map 增删改查1.1 声明 Map 数据类型1.2 增1.3 删1.4 改1.5 查2. Map 相关函数2.1 单个Map3. Map 与 String3.1 Map 转 string3.2 string 转 Map

登录可以使用的更多功能哦! 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号:deephub-imba

...
奕凯

公众号:奕凯的技术栈