[Hive]一、大数据技术之Hive

Hive是由Facebook开源,基于Hadoop的一个数据仓库工具,可以将结构化的数据映射为一张表,并提供类SQL查询功能。 Hive的本质是一个Hadoop客户端,用于将HQL(HiveSQL)转化成MapReduce程序。 (1)Hive中每张表的数据存储在HDFS

Hive:trunc函数

trunc函数对于日期和数值的截断详解。

大数据学习——安装hive

大数据学习——安装hive

数据仓库及应用(hive基础)

Database:数据库,在HDFS中为hive.metastore.warehouse.dir目录下的一个文件夹。Tables:表,表由列构成,在表上可以进行过滤、映射、连接和联合操作,在HDFS中为数据库目录下的子目录。Hive表分为内部表和外部表:内部表类似于RDBMS中的表,由Hive管理

Hive单机版安装部署

在根目录下建立software文件夹:mkdir software。进入/software/hadoop/etc/hadoop文件夹。保存退出,使文件生效:source /etc/profile。保存退出,生效:source /etc/profile。进入配置文件夹:/software/hive/c

Hive基础知识(九):Hive对数据库表的增删改查操作

在建表的时候,用户还需要为表指定列,用户在指定表的列的同时也会指定自定义的 SerDe,,有时也被称为内部表。(2)EXTERNAL 关键字可以让用户创建一个外部表,在建表的同时可以指定一个指向实际数据的路径(LOCATION),在删除表的时候,内部表的元数据和数据会被一起删除,而外部表只删除元数据

hive常用SQL函数及案例

Hive会将常用的逻辑封装成函数给用户进行使用,类似于Java中的函数。好处:避免用户反复写逻辑,可以直接拿来使用。重点:用户需要知道函数叫什么,能做什么。Hive提供了大量的内置函数,按照其特点可大致分为如下几类:单行函数、聚合函数、炸裂函数、窗口函数。以下命令可用于查询所有内置函数的相关信息。

大数据相关常用软件下载地址集锦

由于大数据开发中经常需要用到Zookeeper、Hadoop、Spark、HBase、Kafka、Flume、Redis、Hive等软件,安装的时候需要它们的下载地址,这里就汇总一下,方便同学们查找。欢迎start,欢迎评论,欢迎指正。一、软件下载地址如下。

hive图形化客户端工具

并且重启hive服务时,要以root用户登录,使用命令 hive --service hiveserver2 启动hive服务。hive部署完成后,路径$HIVE_HOME/jdbc/hive-jdbc-3.1.3-standalone.jar有有完整的hive的jdbc驱动,直接使用即可。dbea

Hive切换引擎(MR、Tez、Spark)

hive切换计算引擎 mr tez spark

java通过Kerberos认证方式连接hive

在数据源管理功能中,需要适配mysql、postgresql、hive等数据源。mysql和postgresql连接方式一致,只需要驱动和jdbcurl即可,而hive背后是大数据集群,多采用Kerberos的方式保护集群环境,要想与大数据集群正常交互,需要经过kdc认证获取ticket,因此获取h

“Spark+Hive”在DPU环境下的性能测评 | OLAP数据库引擎选型白皮书(24版)DPU部分节选

在奇点云2024年版《OLAP数据库引擎选型白皮书》中,中科驭数联合奇点云针对Spark+Hive这类大数据计算场景下的主力引擎,测评DPU环境下对比CPU环境下的性能提升效果。特此节选该章节内容,与大家共享。

Hive的安装与配置

Hive的安装与配置第1关:Hive的安装与配置第2关:Hive Shell入门基础命令

hive_hql开发规范(SQL优化)

hive_hql开发规范(sql优化)

Hive实验报告

(Press y|Y for Yes, any other key for No) 表示是否拒绝 root 用户远程登录,在键盘输入 n 和回车,表示允许 root 用户远程登录。((Press y|Y for Yes, any other key for No)表示是否更改 root 用户密码,在

spark-hive连接操作流程、踩坑及解决方法

hive安装;spark-hive兼容版本编译;spark-sql操作hive表格

hive-批量导出表结构,导入表结构

将all_create_table.txt打开,批量将create table 替换成;create table ,如果建的是外部表,就需要将create external table 替换成;(因为导出的每个表后面并没有加分号,导入的数据,每个表的建表语句要以分号结尾)使用use 数据库名,进入某

数据仓库技术及应用(Hive调优)

HiveSQL是一种声明式语言,用户提交的交互式查询,Hive会将其转换成MR任务。Hive提供EXPLAIN命令显示查询语句的执行计划,通过显示信息可以了解Hive如何将查询转换为MR。

基于 Hive 数据仓库的教育大数据分析平台(伪分布式)

Hive 数据仓库的教育大数据分析平台

大数据:淘宝用户行为分析完整报告(图片拿完整文件)

比如在运用MR处理数据的时候,由于自身机器的原因,本地开发的时候发生了出现了很多bug,但最终在小组成员的相互合作的情况下还有老师的帮助下,终于解决了bug。所以今后学习的时候,遇到报错不要慌,认真看报错的源头,善于发现错误,才会进步,在学习中要多做思维导图来有效的巩固知识点,把学过的东西有效的串联

登录可以使用的更多功能哦! 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号:deephub-imba

...
奕凯

公众号:奕凯的技术栈