一、Hive相关知识

Hive是基于Hadoop的数据仓库工具，可以用来对HDFS中存储的数据进行查询和分析。Hive能够将HDFS上结构化的数据文件映射为数据库表，并提供SQL查询功能，将SQL语句转变成MapReduce任务来执行。Hive通过简单的SQL语句实现快速调用MapReduce机制进行数据统计分析，因此不必专门开发MapReduce应用程序即可实现大数据分析。

Hive对存储在HDFS中的数据进行分析和管理，它可以将结构化的数据文件映射为一张数据库表，通过SQL查询分析需要的内容，查询Hive使用的SQL语句简称Hive SQL（HQL）。Hive的运行机制使不熟悉MapReduce的用户也能很方便地利用SQL语言对数据进行查询、汇总、分析。同时，Hive也允许熟悉MapReduce开发者们开发自定义的Mappers和Reducers来处理内建的Mappers和Reducers无法完成的复杂的分析工作。Hive还允许用户编写自己定义的函数UDF，用来在查询中使用。

二、Hive的优缺点

优点：

    1.**简单容易上手 **提供了类SQL的查询语言HQL。

    2.**热扩容 **不需要重启服务Hive即可自由的扩展集群计算节点的规模。

    3.**延展性强  **Hive支持用户自定义函数，用户可以根据自己的需求来编写功能函数，在Hive中实现调用，扩展Hive的计算能力。

    4.**可扩展强 **为超大数据集设计了计算/扩展能力（MR作为计算引擎，HDFS作为存储系统）。

    5.**元数据管理 **提供统一的元数据管理。

    6.**容错行强  **Hive具有良好的容错性，某个或某几个计算节点出现故障时，Hive仍可利用其它正常的计算节点完成计算任务执行。

缺点：

    1.Hive的HQL表达能力有限，更适用于完成基础的数据分析任务。

    2.Hive的效率比较低。

    3.Hive调优比较困难，可优化程度不高。

    4.Hive计算过程可控性差。

三、Hive组件架构

1.Hive与Hadoop的关系

    Hive构建在Hadoop之上，HQL中对查询语句的解释、优化、生成查询计划是由Hive完成的。Hive读取的所有数据都是存储在Hadoop文件系统中。Hive查询计划被转化为MapReduce任务，在Hadoop中执行。

2.Hive与数据库的异同

 由于Hive采用了SQL的查询语言HQL，因此很容易将Hive理解为数据库。其实从结构上来看，Hive和数据库除了拥有类似的查询语言，再无类似之处。MapReduce开发人员可以把自己写的Mapper和Reducer作为插件支持Hive做更复杂的数据分析。它与关系型数据库的SQL略有不同，但支持了绝大多数的语句（如DDL、DML）以及常见的聚合函数、连接查询、条件查询等操作。

Hive不适合用于联机(online)事务处理，也不提供实时查询功能。它最适合应用在基于大量不可变数据的批处理作业。Hive的特点是可伸缩（在Hadoop 的集群上动态的添加设备），可扩展、容错、输入格式的松散耦合。Hive的入口是DRIVER，执行的SQL语句首先提交到DRIVER驱动，然后调用COMPILER解释驱动，最终解释成MapReduce任务执行，最后将结果返回。

四、Hive的安装

1.Hive的基础环境和安装准备

Hive组件需要基于Hadoop系统进行安装。因此，在安装Hive组件前，需要确保Hadoop系统能够正常运行。本章节内容是基于之前已部署完毕的Hadoop全分布系统，在master节点上实现Hive组件安装。

Hive组件的部署规划和软件包路径如下：

（1）当前环境中已安装Hadoop全分布系统。

（2）本地安装MySQL数据库（账号root，密码Password123$），

软件包在/opt/software/mysql-5.7.18路径下。

（3）MySQL端口号（3306）。

（4）MySQL的JDBC驱动包/opt/software/mysql-connector-java-5.1.47.jar，

在此基础上更新Hive元数据存储。

（5）Hive软件包/opt/software/apache-hive-2.0.0-bin.tar.gz。

2.解压安装文件

（1）使用root用户，将Hive安装包

/opt/software/apache-hive-2.0.0-bin.tar.gz路解压到/usr/local/src路径下。

[root@master ~]# tar -zxvf /opt/software/apache-hive-2.0.0-bin.tar.gz -C /usr/local/src

（2）将解压后的apache-hive-2.0.0-bin文件夹更名为hive；

[root@master ~]# mv /usr/local/src/apache-hive-2.0.0-bin usr/local/src/hive

（3）修改hive目录归属用户和用户组为hadoop

[root@master ~]# chown -R hadoop:hadoop /usr/local/src/hive

3.安装MySQL数据库

（1）将Linux系统中/opt/sofeware/mysql-5.7.18.rar包移动到home目录下并下载到windows系统中

[root@master ~]# mv /opt/sofeware/mysql-5.7.18.rar ~/

（2）解压Windows中的mysql-5.7.18.rar

（3）将这5个rpm文件上传到Linux系统中

（4）将文件移动到/opt/sofeware/mysql-5.7.18/目录下

[root@master ~]# mkdir /opt/sofeware/mysql-5.7.18/

[root@master ~]# mv ~/*.rpm /opt/software/mysql-5.7.18/

（5）按如下顺序依次按照MySQL数据库的mysql common、mysql libs、mysql client软件包。

[root@master ~]# cd /opt/software/mysql-5.7.18/ # MySQL软件包路径

[root@master ~]# rpm -ivh mysql-community-common-5.7.18-1.el7.x86_64.rpm

[root@master ~]# rpm -ivh mysql-community-libs-5.7.18-1.el7.x86_64.rpm

[root@master ~]# rpm -ivh mysql-community-client-5.7.18-1.el7.x86_64.rpm

（6）安装mysql server软件的两个依赖软件包。

[root@master ~]# yum install -y net-tools

[root@master ~]# yum install -y perl

（7）将以下配置信息添加到/etc/my.cnf文件symbolic-links=0配置信息的下方。

default-storage-engine=innodb

innodb_file_per_table

collation-server=utf8_general_ci

init-connect='SET NAMES utf8'

character-set-server=utf8

（8）启动MySQL数据库

[root@master ~]# systemctl start mysqld

（9）查询MySQL数据库状态。

mysqld进程状态为active (running)，则表示MySQL数据库正常运行。

如果mysqld进程状态为failed，则表示MySQL数据库启动异常。此时需要排查/etc/my.cnf文件。

[root@master ~]# systemctl status mysqld

● mysqld.service - MySQL Server

Loaded: loaded (/usr/lib/systemd/system/mysqld.service; enabled; vendor preset: disabled)

Active: active (running) since 一 2020-05-11 16:28:27 CST; 1h 26min ago

 Docs: man:mysqld(8)

       http://dev.mysql.com/doc/refman/en/using-systemd.html

Process: 941 ExecStart=/usr/sbin/mysqld --daemonize --pid-file=/var/run/mysqld/mysqld.pid $MYSQLD_OPTS (code=exited, status=0/SUCCESS)

Process: 911 ExecStartPre=/usr/bin/mysqld_pre_systemd (code=exited, status=0/SUCCESS)

Main PID: 944 (mysqld)

CGroup: /system.slice/mysqld.service

       └─944 /usr/sbin/mysqld --daemonize --pid-file=/var/run/mysqld/mysqld.pid

（10）查询MySQL数据库默认密码。

MySQL数据库安装后的默认密码保存在/var/log/mysqld.log文件中，在该文件中以password关键字搜索默认密码。

[root@master ~]# cat /var/log/mysqld.log | grep password

2020-05-07T02:34:03.336724Z 1 [Note] A temporary password is generated for root@localhost: MPg5lhk4?>Ui ** #**默认密码为MPg5lhk4?>Ui

MySQL数据库是安装后随机生成的，所以每次安装后生成的默认密码不相同。

（11）MySQL数据库初始化。

执行mysql_secure_installation命令初始化MySQL数据库，初始化过程中需要设定数据库root用户登录密码，密码需符合安全规则，包括大小写字符、数字和特殊符号，可设定密码为Password123$。

在进行MySQL****数据库初始化过程中会出现以下交互确认信息：

1）Change the password for root ? ((Press y|Y for Yes, any other key for No)表示是否更改root用户密码，在键盘输入y和回车。

2）Do you wish to continue with the password provided?(Press y|Y for Yes, any other key for No)表示是否使用设定的密码继续，在键盘输入y和回车。

3）Remove anonymous users? (Press y|Y for Yes, any other key for No)表示是否删除匿名用户，在键盘输入y和回车。

4）Disallow root login remotely? (Press y|Y for Yes, any other key for No)表示是否拒绝root用户远程登录，在键盘输入n和回车，表示允许root用户远程登录。

5）Remove test database and access to it? (Press y|Y for Yes, any other key for No)表示是否删除测试数据库，在键盘输入y和回车。

6）Reload privilege tables now? (Press y|Y for Yes, any other key for No) 表示是否重新加载授权表，在键盘输入y和回车。

(12) 添加root用户从本地和远程访问MySQL数据库表单的授权。

mysql> grant all privileges on . to root@'localhost' identified by 'Password123$'; ** # **添加root用户本地访问授权

Query OK, 0 rows affected, 1 warning (0.01 sec)

mysql> grant all privileges on . to root@'%' identified by 'Password123$'; **# **添加root用户远程访问授权

Query OK, 0 rows affected, 1 warning (0.00 sec)

mysql> flush privileges; **# **刷新授权

Query OK, 0 rows affected (0.00 sec)

mysql> select user,host from mysql.user where user='root'; **# **查询root用户授权情况

+------+-----------+

| user | host |

+------+-----------+

| root | % |

| root | localhost |

+------+-----------+

2 rows in set (0.00 sec)

mysql> exit; **# **退出MySQL数据库

Bye

4.配置Hive组件

（1）设置Hive环境变量并使其生效。

[root@master ~]# vi /etc/profile **# **在文件末尾追加以下配置内容

set hive environment

export HIVE_HOME=/usr/local/src/hive

export PATH=$PATH:$HIVE_HOME/bin

source /etc/profile** # **使环境变量配置生效

（2）修改Hive组件配置文件。

切换到hadoop用户执行以下对Hive组件的配置操作。

将/usr/local/src/hive文件夹下hive-default.xml.template文件，更名为hive-site.xml。

[root@master ~]# su - hadoop

[hadoop@master ~]$ cp /usr/local/src/hive/conf/hive-default.xml.template /usr/local/src/hive/conf/hive-site.xml

（3）通过vi编辑器修改hive-site.xml文件实现Hive连接MySQL数据库，并设定Hive临时文件存储路径。

[hadoop@master ~]$ vi /usr/local/src/hive/conf/hive-site.xml

1）设置MySQL数据库连接。

<name>javax.jdo.option.ConnectionURL</name>

<value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true&useSSL=false</value>

<description>JDBC connect string for a JDBC metastore</description>

2）配置MySQL数据库root的密码。

<property>

<name>javax.jdo.option.ConnectionPassword</name>

<value>Password123$</value>

<description>password to use against metastore database</description>

</property>

3）验证元数据存储版本一致性。若默认false，则不用修改。

<property>

<name>hive.metastore.schema.verification</name>

<value>false</value>

<description>

Enforce metastore schema version consistency.

True: Verify that version information stored in is compatible with one from Hive jars. Also disable automatic

False: Warn if the version information stored in metastore doesn't match with one from in Hive jars.

</description> </property>

4）配置数据库驱动。

<property>

<name>javax.jdo.option.ConnectionDriverName</name>

<value>com.mysql.jdbc.Driver</value>

<description>Driver class name for a JDBC metastore</description>

</property>

5）配置数据库用户名javax.jdo.option.ConnectionUserName为root。

<property>

<name>javax.jdo.option.ConnectionUserName</name>

<value>root</value>

<description>Username to use against metastore database</description>

</property>

5.初始化Hive元数据

（1）将MySQL数据库驱动文件/opt/software/mysql-connector-java-5.1.47.jar

拷贝到Hive安装目录的/usr/local/src/hive/lib目录下。

[hadoop@master ~]$ exit **# **返回到root用户登录状态

[root@master ~]# cp ~/mysql-connector-java-5.1.47.jar /usr/local/src/hive/lib

[root@master ~]# chown -R hadoop:hadoop /usr/local/src/hive/lib/mysql-connector-java-5.1.47.jar

[root@master ~]# su - hadoop ** # **再次切换到hadoop用户

（2）删除/usr/local/src/hadoop/share/hadoop/yarn/lib/jline-0.9.94.jar

文件，若未删除该文件会导致Hive元数据初始化失败。

[hadoop@master ~]$ rm -f /usr/local/src/hadoop/share/hadoop/yarn/lib/jline-0.9.94.jar

（3）启动Hadoop相关进程。

[hadoop@master ~]$ start-all.sh

（4）分布在master、slave1、slave2三个节点执行JPS命令检查Hadoop进程运行是否正常。需要关注进程ID号每次启动会发生变化。

master:

**[hadoop@master ~]$ jps # master节点**

1152 NameNode

1472 ResourceManager

1330 SecondaryNameNode

2025 Jps

slave1：

[root@slave1 ~]# su - hadoop ** # slave1**节点

[hadoop@slave1 ~]$ jps

1173 NodeManager

1322 Jps

1069 DataNode

slave2:

[root@slave2 ~]# su - hadoop # slave2****节点

[hadoop@slave2 ~]$ jps

1076 DataNode

1317 Jps

1180 NodeManager

（4）初始化Hive元数据。

使用schematool升级元数据，将Hive的元数据重新写入MySQL数据库中。

[hadoop@master ~]$ schematool -initSchema -dbTypemysql

Metastore connection URL: jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true&useSSL=false

Metastore Connection Driver : com.mysql.jdbc.Driver

Metastore connection User: root

Starting metastore schema initialization to 2.0.0

Initialization script hive-schema-2.0.0.mysql.sql

Initialization script completed

schemaTool completed

以上命令结果显示schemaTool completed，则表示Hive元数据写入MySQL数据库成功

若执行schematool -initSchema -dbTypemysql显示schemaTool failed报错，很可能是

[hadoop@master ~]$ schematool -initSchema -dbTypemysql

Metastore connection URL: jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true&useSSL=false

Metastore Connection Driver : com.mysql.jdbc.Driver

Metastore connection User: root

Starting metastore schema initialization to 2.0.0

Initialization script hive-schema-2.0.0.mysql.sql

Error: Duplicate key name 'PCS_STATS_IDX' (state=42000,code=1061)

org.apache.hadoop.hive.metastore.HiveMetaException: Schema initialization FAILED! Metastore state would be inconsistent !!

*** schemaTool failed ***

解决方法：可以删除MySQL中的hive数据库后，重新执行schematool -initSchema -dbTypemysql处理。

6.启动Hive

（1）在系统的任意目录下，执行hive命令即可启动Hive组件。

[hadoop@master ~]$ hive

Logging initialized using configuration in jar:file:/usr/local/src/hive/lib/hive-common-2.0.0.jar!/hive-log4j.properties

SLF4J: Class path contains multiple SLF4J bindings.

SLF4J: Found binding in [jar:file:/usr/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]

SLF4J: Found binding in [jar:file:/usr/local/src/hive/lib/hive-jdbc-2.0.0-standalone.jar!/org/slf4j/impl/StaticLoggerBinder.class]

SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.

SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]

hive>

（2）执行exit命令退出Hive命令行状态。

hive> exit;

[hadoop@master ~]$