0


如何构建Hive数据仓库Hive 、数据仓库的存储方式 以及hive数据的导入导出

什么是Hive

hive是基于Hadoop的一个数据仓库工具,可以将结构化数据映射为一张表。
hive支持使用sql语法对存储的表进行查询
(本质上是把sql转成mapreduce的任务执行)

Hive有三个特点:

  • hive所存储的数据是放在HDFS文件系统中的
  • hive的底层实现是mapreduce
  • 这些任务是运行在Yarn上的

如何构建Hive数据仓库

什么是数据仓库

官方定义:数据仓库是面向主题的、集成的、不可更新的、随时间的变化而不断变化的,这些特点决定了数据仓库的系统设计不能采用同开发传统的OLTP数据库一样的设计方法。

(1)安装hive
常规配置,这里不记录安装过程

唯一需要注意的地方是有一个hive.metastroe.dirname属性需要配置
配置的值是hive元数据的存储路径,一般为hdfs文件系统的路径。

安装完成后,需要在mysql中建立配置中指定的数据库并初始化Hive源数据库

(2)安装完成之后就可以启动hive

Hive数据仓库的储存方式

Hive本身是没有专门的数据存储格式,也没有为数据建立索引,只需要在创建表的时候告诉Hive数据中的列分隔符和行分隔符,Hive就可以解析数据。所以往Hive表里面导入数据只是简单的将数据移动到表所在的目录中 。

Hive主要有四种数据模型:

  • Table(表)
  • External Table(外部表)
  • Partition(分区)
  • Bucket(桶)

(1)表的概念和关系型数据库的表很像,只不过hive中的表的本质是结构化数据,存储在hdfs文件系统的目录中。这个目录就是前文着重要求的metastore的位置,文件就是存在那里的。

(2)外部表顾名思义,就是数据不存放在所属目录中,而是存放在别处。

(3)分区,这个很重要,我觉得分区的存在就是数据仓库与关系型数据库最大的区别,表的每一个分区对应表下的相应目录,所有分区的数据都是存储在对应的目录中。
(4)桶:对指定的列计算其hash,根据hash值切分数据,目的是为了并行,每一个桶对应一个文件(注意和分区的区别)。

Hive的元数据

Hive的元数据一般都是放在mysql中的,这样的原因是因为Hive的元数据需要不断的更新、修改,而HDFS系统中的文件是多读少改的,不能将Hive的元数据存储在HDFS中。

hive数据的导入导出

导入

导入的方式有两种

  • 从本地导入数据
  • 从HDFS导入数据

(1)从本地向hive导入数据
语法:

loaddatalocal
inpath '/opt/dataaplace/...'(overwrite)intotable tablename 
partition(partitionfield = xxx);

load data:表示导入数据

local:表示从本地加载数据到hive表;否则从HDFS加载数据到hive表

partition (…)表示指定导入数据的分区字段

overwrite表示覆盖写入,如果没有则是追加写入

例子:

loaddatalocal
inpath '/opt/data/StudentId.txt'
overwrite intotable Student;

(2) 加载HDFS文件到hive中
语法:

loaddata 
inpath '/root/data/...'(overwrite)intotable tablename 
partition(partitionfield = xxx);

不加local默认从hdfs中导入数据

hive创建表

createtable tablename
(
id int,
name string
)row format delimited fieldsterminatedby',';

前半部分和mysql的建表语句一样,后半部分是指定表的分隔符。

  • 插入数据
insertintotable tablename values(1,"zhangsan"),(2,"lisi");

insert into:以追加数据的方式插入到表

insert overwrite intotable tablename values(1,"zhangsan"),(2,"lisi");

加了overwrite 则是覆盖原来的表然后写入

  • 根据查询结果覆盖写入
insert overwrite table tablename values(3,"wangwu")select id,name from tablename where id =1;
  • 创建表时通过Location指定加载数据路径
createtable tablename(
    id int, name string
)row format delimited fieldsterminatedby'\t'
location '/root/hive/wirehouse/...';

location 指定的是hdfs中的路径

数据导出

参考博客:添加链接描述

# 1)将查询的结果导出到本地(只能overwrite,不能into,否则会报错)insert overwrite local directory '/opt/module/hive/datas/export/student'select*from student;# 2)将查询的结果格式化导出到本地(所有的insert语句都会跑MR)insert overwrite local directory '/opt/module/hive/datas/export/student1'ROW FORMAT DELIMITED FIELDSTERMINATEDBY'\t'select*from student;# 3)将查询的结果导出到HDFS上(没有local)(是复制,原来的文件还在)insert overwrite directory '/user/qinjl/student2'ROW FORMAT DELIMITED FIELDSTERMINATEDBY'\t'select*from student;

注意:insert 导出,导出的目录不用自己提前创建,hive会帮我们自动创建,但是由于是overwrite,所以导出路径一定要写具体,否则很可能会误删数据。

  • Hadoop命令也可以导出数据到本地
 dfs -get /user/hive/warehouse/student/student.txt
                /opt/module/hive/datas/export/student3.txt;
  • Hive Shell 命令导出
hive_dir/bin/hive -e 'select * from ods.order_info;'>>/opt/module/datas/order_info.txt
  • hive表也可以通过export 导入到hdfs上
export table ods.user_info to/user/hive/warehouse/user_info;

本文转载自: https://blog.csdn.net/fuhao6363/article/details/136457538
版权归原作者 冲鸭嘟嘟可 所有, 如有侵权,请联系我们删除。

“如何构建Hive数据仓库Hive 、数据仓库的存储方式 以及hive数据的导入导出”的评论:

还没有评论