掌握大数据--Hive全面指南

• 1.Hive简介

• 2.Hive部署方式

• 3.Hive的架构图

• 4.Hive初体验

• 5.Hive SQL语法--DDL操作数据库

1.Hive简介

Apache Hive是建立在Hadoop之上的一个数据仓库工具，它提供了一种类似于SQL的查询语言，称为HiveQL，用于查询和分析存储在Hadoop分布式文件系统（HDFS）中的大规模结构化数据。以下是Hive的一些主要特点和介绍：

1. 类SQL查询语言： HiveSQL是Hive的查询语言，它类似于传统数据库中的SQL。这使得对Hadoop中的数据执行查询变得更加容易，尤其是对那些熟悉SQL的用户。

2. 数据仓库和ETL工具： Hive被设计为一种数据仓库工具，适用于大规模数据的存储、查询和分析。它还可以用作ETL（Extract, Transform, Load）工具，支持将数据从不同来源导入到Hadoop中。

3. 扩展性： Hive是建立在Hadoop生态系统之上的，因此可以轻松扩展到大规模的数据集。它利用Hadoop的分布式计算能力，可以处理PB级别的数据。

4. Hive表和分区： Hive中的数据组织成表，并且可以根据需要进行分区。这使得对大型数据集进行更有效的管理和查询成为可能。

5. 元数据存储： Hive使用元数据存储来跟踪表、分区和其他元素的信息。这些元数据存储在关系型数据库中（默认是Derby），并可由Hive管理器访问。

6. 用户自定义函数（UDF）： Hive允许用户编写自定义函数，以满足特定的数据处理需求。这使得Hive可以通过用户定义的函数进行更高级的数据处理。

7. 优化和执行计划： Hive执行计划使用MapReduce来处理查询，但Hive也支持其他执行引擎，例如Tez。优化器在执行计划中进行优化，以提高查询性能。

8. 集成其他工具： Hive可以与其他Hadoop生态系统工具集成，例如Apache HBase、Apache Spark等，以实现更丰富的数据处理和分析功能。

总体而言，Apache Hive是一个强大的工具，使得在Hadoop平台上执行SQL样式的查询变得更加容易，同时提供了对大规模结构化数据的存储和处理的能力。

什么是分布式SQL?

通过分布式的方式, 执行SQL语句, 获取分析结果.

为啥要学Apache Hive呢?

1. 通过Java 或者 Python直接操作MapReduce, 也可以做分析, 但是开发难度稍大.举例在SQL中计算表数据中有多少个‘word’这个单词只需要轻飘飘的一个selece查询一行代码即可，但是在Java，Python这种语言中却需要很多行代码才能完成，所以通过SQL做分析, 相对简单易上手
2. Apache Hive就是让我们写类SQL语法, 然后Hive底层会将其解析成MR来执行

总结

• 以后你只要写HiveSQL语法就可以了, Hive会将其自动转成MR任务, 交由Yarn来调度执行.

• Hive是依赖Hadoop的, 想使用Hive, 必须先搭建和启动Hadoop集群.

• 

2.Hive部署方式

• Hive的部署- Hive是一款单机工具, 只需要部署到一台服务器上即可. 它底层会将HQL解析成MR任务, 分布式执行.
• 启动Hive服务

-- 1. 启动Hadoop集群, 只在node1机器执行即可.
[root@node1 ~]# start-all.sh

-- 2. 启动历史服务, 只在node1机器执行即可.
[root@node1 ~]# mr-jobhistory-daemon.sh start historyserver

-- 3. 分别在node1, node2, node3三台机器中, 执行jps命令, 查看启动的Hadoop集群节点.
[root@node1 ~]# jps

-- 4. 启动hive的metastore(元数据管理服务), 因为目前没有配置path环境变量, 需要到hive目录下执行.
[root@node1 ~]# cd /export/server/hive/bin
[root@node1 bin]# ll
总用量 48
-rwxr-xr-x 1 root root   881 8月  23 2019 beeline          -- Hive的第2代客户端
drwxr-xr-x 3 root root  4096 10月 24 2021 ext      
-rwxr-xr-x 1 root root 10158 8月  23 2019 hive             -- Hive的第1代客户端
-rwxr-xr-x 1 root root  1900 8月  23 2019 hive-config.sh
-rwxr-xr-x 1 root root   885 8月  23 2019 hiveserver2
-rwxr-xr-x 1 root root   880 8月  23 2019 hplsql
-rwxr-xr-x 1 root root  3064 8月  23 2019 init-hive-dfs.sh
-rwxr-xr-x 1 root root   832 8月  23 2019 metatool
-rw------- 1 root root  3015 1月   7 18:49 nohup.out
-rwxr-xr-x 1 root root   884 8月  23 2019 schematool

-- 4.1 前台方式, 启动metastore服务
[root@node1 bin]# ./hive --service metastore    -- 启动之后,当前窗口就被占用了.

-- 4.2 后方方式, 启动metastore服务, 不占用当前窗口
[root@node1 bin]# nohup ./hive --service metastore &
[root@node1 bin]# jps -m    -- 查看本机和Java相关的进程(详细信息)
3825 ResourceManager
4787 RunJar /export/server/hive/lib/hive-metastore-3.1.2.jar org.apache.hadoop.hive.metastore.HiveMetaStore
4949 Jps -m
3974 NodeManager
3239 NameNode
4459 JobHistoryServer
3389 DataNode
[root@node1 bin]# 

3.Hive架构图

• Hive的本质

• Hive的架构图

4.Hive初体验

第一代客户端

[root@node1 bin]# ./hive        -- 之后就可以写HiveSQL代码了.
hive> show databases;        -- 查看所有数据库.
OK
default
Time taken: 0.458 seconds, Fetched: 1 row(s)

hive> create database day05;    -- 创建day05数据库
OK
Time taken: 0.785 seconds

hive> show databases;            -- 查看所有数据库
OK
day05
default
Time taken: 0.03 seconds, Fetched: 2 row(s)

hive> use day05;                -- 切库
OK
Time taken: 0.031 seconds

hive> show tables;                -- 查看day05数据库中所有的数据表
OK
Time taken: 0.034 seconds

hive> create table test(id int, name string, gender string);    -- 建表
OK
Time taken: 0.387 seconds

hive> show tables;                -- 查看day05数据库中所有的数据表
OK
test
Time taken: 0.024 seconds, Fetched: 1 row(s)

hive> select * from test;        -- 查看表数据
OK
Time taken: 1.371 seconds

-- 添加表数据, 底层会将该SQL转成MR任务来执行.
hive> insert into test values(1, 'zhangsan','male'), (2, 'lisi', 'female');    
OK
Time taken: 24.651 second

hive> select * from test;        -- 查看表数据
OK
Time taken: 1.371 seconds

第二代客户端

-- 1. 切换到hive的bin目录下
[root@node1 ~]# cd /export/server/hive/bin

-- 2. 启动hiveserver2服务(需要2~3分钟), 确保你已经成功启动Hadoop集群和metastore服务.
[root@node1 bin]# nohup ./hive --service hiveserver2 &

-- 3. 查看进程是否启动.
[root@node1 bin]# jps -m
3825 ResourceManager
4787 RunJar /export/server/hive/lib/hive-metastore-3.1.2.jar org.apache.hadoop.hive.metastore.HiveMetaStore
3974 NodeManager
3239 NameNode
5833 RunJar /export/server/hive/lib/hive-service-3.1.2.jar org.apache.hive.service.server.HiveServer2 --hiveconf hive.aux.jars.path=file:///export/server/hive/conf/lib
4459 JobHistoryServer
5964 Jps -m
3389 DataNode

-- 4. 查看hiveserver2服务是否初始化完毕.
[root@node1 bin]# lsof -i:10000
COMMAND  PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
java    5833 root  523u  IPv6 123970      0t0  TCP *:ndmp (LISTEN)

-- 至此, Hive服务启动完毕.
--然后启动第二代客户端
-- 1. 切换到hive的bin目录下
[root@node1 ~]# cd /export/server/hive/bin

-- 2. 启动第2代客户端
[root@node1 ~]# ./beeline        -- 敲回车
beeline> !connect jdbc:hive2://node1:10000    -- 敲回车
Connecting to jdbc:hive2://node1:10000
Enter username for jdbc:hive2://node1:10000: root    -- 输入账号(可以任意写), 敲回车
Enter password for jdbc:hive2://node1:10000:         -- 不用输入, 直接敲回车.
Connected to: Apache Hive (version 3.1.2)
Driver: Hive JDBC (version 3.1.2)
Transaction isolation: TRANSACTION_REPEATABLE_READ
0: jdbc:hive2://node1:10000> -- 可以在这里直接写HiveSQL语句了.
0: jdbc:hive2://node1:10000> show databases;
0: jdbc:hive2://node1:10000> use day05;
0: jdbc:hive2://node1:10000> show tables;
0: jdbc:hive2://node1:10000> select * from test;
+----------+------------+--------------+
| test.id  | test.name  | test.gender  |
+----------+------------+--------------+
| 1        | zhangsan   | male         |
| 2        | lisi       | female       |
+----------+------------+--------------+

5.HiveSQL语法

DDL操作数据库

在正式使用Hive之前, 务必确保你的环境是OK, 即: 以后你每天开启虚拟机之后, 需要做的事情是:
1. 在node1中启动 hadoop环境, 历史任务服务, metastore服务, hiveserver2服务.
2. 查看hiveserver2服务是否成功启动, 如果OK, 则用DataGrip直连Hive即可, 这样就能写HiveSQL语句了.

-- 1. 查看所有的数据库.

show databases ;

-- 2. 切换数据库.

show databases ;

-- 3. 创建数据库, 默认是存储到: HDFS的 /user/hive/warehouse/数据库名.db 这里.

create database day06;      -- 如果重复执行会报错.
create database if not exists day06;      -- 如果day06数据库不存在, 我们再创建. 存在就什么都不操作.

-- 4. 创建数据库的时候, 指定数据库在HDFS上的存储位置.

create database day07 location '/aa';          -- 引号中写的是 HDFS的路径

-- 5. 查看具体的数据库.

show create database day07;     -- 查看数据库的简单信息.
desc database day07;            -- 查看数据库的详细详细.

-- 6. 切换到day07数据库, 创建1个表, 我们看看.

use day07;
create table stu(id int, name string);

-- 7. 删除数据库.

drop database day06;            -- 因为是空库, 所以会直接删除.
drop database day07 cascade;   -- 如果要删除的数据库不是空库, 则后续加上cascade关键字, 会连同数据库, 表一起删除.

那么文章到此截止，不足之处请各位大佬多多指教

愿你在大数据的海洋中航行顺风，发现属于你的数据宝藏！🚢💻