hive简介和安装

1、hive简介

hive是基于hadoop的数据仓库工具。hive提供了一种使用sql语句来读、写、管理基于分布式系统的大型数据的功能。将hdfs上的结构化数据文件映射为一张表，并提供类似sql语句进行查询统计功能。本质就是将sql语句转化为模板化了的MapReduce程序，处理计算还是hdfs中的mapreduce处理。

用来将庞大的数据文件（数据是存储在HDFS中的）的元数据（映射为一张表）保存到自己创建的库表中，进行整理变为分类的有用的数据

为什么使用hive

把所有的数据（如网站访问日志）都放进数据库中，执行sql语句，找出实现业务需求的数据，这是一个很庞大的工程。为了方便，将这些数据的元数据保存到hive中，进行整理再保存

hive内部流程

hive既不存储数据，也不计算，相当于一个中转站（提供了数据索引和SQL语句转换）。客户端根据业务需求提交sql语句给hive，（hive内有将sql语句中常用的操作封装成Mapreduce计算模板）hive将sql解析拼装为MapReduce程序，让hdfs执行Mapreduce程序（也可以让spark、Tez执行）得出结果，结果封装后传出给客户端。

2、hive安装

1、启动集群

start-dfs.sh

2、解压hive

tar -zxvf apache-hive-3.1.3-bin.tar.gz -C /opt/install

3、改名

mv apache-hive-3.1.3-bin/ hive-3.1.3 

4、修改window的mysql权限

进去mysql的bin目录下

C:\Program Files\MySQL\MySQL Server 8.0\bin

进入cmd，进入mysql中

mysql -u root -p123456

执行以下命令，使其他用户都可以连接到mysql

update mysql.user set host='%' where user='root';
flush privileges;

5、修改配置文件

1、hive-env.sh

// 新建一个hive-env.sh
touch hive-env.sh

添加三行

export HADOOP_HOME=/opt/install/hadoop-2.7.7
export HIVE_CONF_DIR=/opt/install/hive-3.1.3
export HIVE_AUX_JARS_PATH=/opt/install/hive-3.1.3/lib

2、hive-site.xml

新建hive-site.xml

拷贝配置信息，如果报错文件里面的格式不正确，使用在线格式工具：

https://www.qianbo.com.cn/Tool/Beautify/Xml-Formatter.html

格式化一下

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://172.16.40.13:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false&amp;allowPublicKeyRetrieval=true&amp;characterEncoding=UTF-8</value>
  </property>
​
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.cj.jdbc.Driver</value>
  </property>
​
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
  </property>
​
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>123456</value>
  </property>
​
  <property>
    <name>hive.metastore.event.db.notification.api.auth</name>
    <value>false</value>
  </property>
​
  <property>
    <name>hive.metastore.schema.verification</name>
    <value>false</value>
  </property>
​
  <property>
    <name>hive.server2.thrift.bind.host</name>
    <value>hadoop000</value>
  </property>
​
  <property>
    <name>hive.metastore.uris</name>
    <value>thrift://hadoop000:9083</value>
  </property>
  <property>
    <name>hive.server2.enable.doAs</name>
    <value>false</value>
  </property>
</configuration>

3、配置环境变量

vim /etc/profile

新增

export HIVE_HOME=/opt/install/hive-3.1.3
export PATH=$HIVE_HOME/bin:$PATH

6、初始化metadata

在hive的bin目录下，./表示执行可执行文件

./schematool -initSchema -dbType mysql -verbose

7、启动metastore服务

先在hive安装目录下新建logs文件夹，再执行以下命令

nohup /opt/install/hive-3.1.3/bin/hive --service metastore > /opt/install/hive-3.1.3/logs/metastore.log 2>&1 &

可以在连接一个当前的连接，执行命令，监控日志信息

tail -f /opt/install/hive-3.1.3/logs/metastore.log

8、查看端口是否占用了

查看9083端口，占用表示成功启动了

netstat -nl | grep 9083

9、启动hive

./hive

10、测试连接

show databases;