Hive---Hive语法（二）

Hive语法（二）

文章目录

Load加载数据

默认路径 /opt/soft/hive312/warehouse

可以使用hdfs dfs -put 上传

Load操作

Loaddata[local] inpath 'filepath'[overwrite]intotable tablename;

指定local

将在本地文件系统中查找文件路径
若指定相对路径，将相对于用户的当前工作目录进行解释
用户也可以为本地文件指定完整的URI-----例如：file://opt/file.txt

没有指定local

如果filepath指向的是一个完整的URI，会直接使用这个URI；
如果没有指定数据库，Hive会使用在hadoop配置文件中参数fs.default.name指定的

本地指的是node1

createtableifnotexists employee(
    name string,
    workplace array<string>,
    gender_age struct<gender:string,age:int>,
    skills_score map<string,int>,
    depart_title map<string,string>)row format delimited fieldsterminatedby'|'
collection items terminatedby','
map keysterminatedby':'linesterminatedby'\n';# 本地加载(本质是hadoop dfs -put 上传操作)复制loaddatalocal inpath '/opt/stufile/emp.txt'intotable employee;# 从HDFS加载 (本质是hadoop fs -mv 操作)移动loaddata  inpath "hdfspath"intotable employee;

Insert插入数据

Hive官方推荐加载数据的方式
也可以使用insert语法把数据插入到指定的表中（应为insert操作底层走MapReduce操作，效率很低）
最常用的配合是把查询返回的结果插入到另一张表中（insert+select）。

insertintotable table_name select statement from table2_name

注意：查询返回的字段必须和插入表字段一致

select查询数据

SELECT[ALL丨DISTINCT]select—expr,select—expr,....FROM table_reference
[WHEREwhere—condition][GROUPBY col_list][ORDERBY col_list][LIMT[offset,]rows];

SELECT currernt_database();----查询当前数据库

创建分区表

createtable employee2(
    name string,
    work_place array<string>,
    gender_age struct<gender:string,age:int>,
    skills_score map<string,int>,
    depart_title map<string,string>)
partitioned by(age int)row format delimited 
fieldsterminatedby'|'
collection items terminatedby','
map keysterminatedby':'linesterminatedby'\n';

partitioned by (age int) 含义是：创建分区 以age分区

分区表插入数据

0: jdbc:hive2://192.168.95.150:10000> load data local inpath '/opt/employee.txt' into table employee2 partition(age=20);
0: jdbc:hive2://192.168.95.150:10000> load data local inpath '/opt/employee.txt' into table employee2 partition(age=30);

查看分区表信息

show partitions employee2;

多字段分区

createtable employee3(
    name string,
    work_place array<string>,
    gender_age struct<gender:string,age:int>,
    skills_score map<string,int>,
    depart_title map<string,string>)
partitioned by(age int, gender string)row format delimited 
fieldsterminatedby'|'
collection items terminatedby','
map keysterminatedby':'linesterminatedby'\n';

插入数据

0: jdbc:hive2://192.168.95.150:10000> load data local inpath '/opt/employee.txt' into table employee3 partition(age=20,gender='0');
0: jdbc:hive2://192.168.95.150:10000> load data local inpath '/opt/employee.txt' into table employee3 partition(age=20,gender='1');

数据表

数据表分为内部表和外部表

内部表（管理表）

HDFS中为所属数据库目录下的子文件夹
数据完全由Hive管理，删除表(元数据)会删除数据

外部表（External Tables）

数据保存在指定位置的HDFS路径中
Hive不完全管理数据，删除表(元数据)不会删除数据

创建外部

create external tableifnotexists employee(
    name string,
    work_place array<string>,
    gender_age struct<gender:string,age:int>,
    skills_score map<string,int>,
    depart_title map<string,string>)row format delimited 
fieldsterminatedby'|'
collection items terminatedby','
map keysterminatedby':'linesterminatedby'\n
location '/tmp/hivedata/employee';

注意：创建外部表要在create后面加上一个 external