hive 基础知识

Hive的优缺点：

优点：
o操作接口采用类SQL语法，提供快速开发的能力（简单、容易上手）。
o避免了去写MapReduce，减少开发人员的学习成本。
oHive的执行延迟比较高，因此Hive常用于数据分析，对实时性要求不高的场合。
oHive优势在于处理大数据，对于处理小数据没有优势，因为Hive的执行延迟比较高。
oHive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数。
缺点：
oHive的HQL表达能力有限
迭代式算法无法表达
数据挖掘方面不擅长，由于MapReduce数据处理流程的限制，效率更高的算法却无法实现。
oHive的效率比较低
Hive自动生成的MapReduce作业，通常情况下不够智能化
Hive调优比较困难，粒度较粗
Hive架构原理

驱动器：Driver
解析器（SQL Parser）：将SQL字符串转换成抽象语法树AST，这一步一般都用第三方工具库完成，比如antlr；对AST进行语法分析，比如表是否存在、字段是否存在、SQL语义是否有误。
编译器（Physical Plan）：将AST编译生成逻辑执行计划。
优化器（Query Optimizer）：对逻辑执行计划进行优化。
执行器（Execution）：把逻辑执行计划转换成可以运行的物理计划。对于Hive来说，就是MR/Spark
hive的运行机制
JDBC访问

要使用JDBC的方式访问hive，需要在hive-site.xml中先配置hiveserver2，作为服务端。

<property>
    <name>hive.server2.thrift.bind.host</name>
    <value>0.0.0.0</value>
</property>
<property>
    <name>hive.server2.thrift.port</name>
    <value>10000</value>
</property>

注意事项: 参见博客的总结

启动Metastore（如果没有配置hive.metastore.uris那么启动了Metastore服务也没有用，HiveServer2不会找到Metastore）

bin/hive --service metastore

启动hiveserver2

bin/hive --service hiveserver2

启动beeline

bin/beeline

连接Hiveserver2

beeline> !connect jdbc:hive2://hadoop102:10000

或者一步到位
beeline -u “jdbc:hive2://hadoop102:10000” -n appuser
Hive参数配置方式

有三种配置方式
配置文件方式：hive-site.xml，hive-default.xml
命令行参数方式： 只对本次hive启动有效
bin/hive -hiveconf mapred.reduce.tasks=10;
参数声明方式
hive (default)> set mapred.reduce.tasks=100;

查看参数配置情况

hive (default)> set mapred.reduce.tasks=100;
Hive数据类型

基本数据类型
ostring，相当于数据库的varchar，理论上最大可以存储2GB字符数
集合数据类型
ostruct：类似于C语言的Struct
omap：类似于java的Map
oarray：类似于java的Array
create table test(
name string,
friends array,
children map<string, int>,
address struct<street:string, city:string>
)
row format delimited fields terminated by ‘,’
collection items terminated by ‘_’
map keys terminated by ‘:’
lines terminated by ‘\n’;