大数据技术原理及应用课实验6 :熟悉Hive的基本操作

实验6 熟悉Hive的基本操作

一、实验目的

1. 理解Hive作为数据仓库在Hadoop体系结构中的角色。

2. 熟练使用常用的HiveQL。

二、实验平台

1. 操作系统：Ubuntu18.04（或Ubuntu16.04）。

2. Hadoop版本：3.1.3。

3. Hive版本：3.1.2。

4. JDK版本：1.8。

三、数据集

由《Hive编程指南》(O'Reilly系列，人民邮电出版社)提供，下载地址：

https://raw.githubusercontent.com/oreillymedia/programming_hive/master/prog-hive-1st-ed-data.zip

备用下载地址：

https://www.cocobolo.top/FileServer/prog-hive-1st-ed-data.zip

解压后可以得到本实验所需的stocks.csv和dividends.csv两个文件。

四、实验步骤（每个步骤下均需有运行截图）

（1）创建一个内部表stocks，字段分隔符为英文逗号，表结构如表14-11所示。

表14-11 stocks表结构

col_name

data_type

exchange

string

symbol

string

ymd

string

price_open

float

price_high

float

price_low

float

price_close

float

volume

int

price_adj_close

float

(2)创建一个外部分区表dividends（分区字段为exchange和symbol），字段分隔符为英文逗号，表结构如表14-12所示。

表14-12 dividends表结构

col_name

data_type

ymd

string

dividend

float

exchange

string

symbol

string

（3）从stocks.csv文件向stocks表中导入数据。

（4） 创建一个未分区的外部表dividends_unpartitioned，并从dividends.csv向其中导入数据，表结构如表14-13所示。

表14-13 dividends_unpartitioned表结构

col_name

data_type

ymd

string

dividend

float

exchange

string

symbol

string

（5）通过对dividends_unpartitioned的查询语句，利用Hive自动分区特性向分区表dividends各个分区中插入对应数据。

（6）查询IBM公司(symbol=IBM)从2000年起所有支付股息的交易日(dividends表中有对应记录)的收盘价(price_close)。

（7）查询苹果公司(symbol=AAPL)2008年10月每个交易日的涨跌情况，涨显示rise，跌显示fall,不变显示unchange。

（8）查询stocks表中收盘价(price_close)比开盘价(price_open)高得最多的那条记录的交易所(exchange)、股票代码(symbol)、日期(ymd)、收盘价、开盘价及二者差价。

（9）从stocks表中查询苹果公司（symbol=AAPL）年平均调整后收盘价(price_adj_close) 大于50美元的年份及年平均调整后收盘价。

（10）查询每年年平均调整后收盘价(price_adj_close)前三名的公司的股票代码及年平均调整后收盘价。

五、实验总结

在本次实验中，理解学习了Hive作为数据仓库在Hadoop体系结构中的角色以及学习了如何使用常用的HiveQL。具体如下：学习了创建内部表、从文件向表中导入数据、利用Hive自动分区特性向分区表dividends各个分区中插入对应数据、查询指定的内容等等。

还有在实验中有遇到过一些问题，如在启动 Hive 时,出现 Hive metastore database is not initialized 的错误。后面经过查询才得知，出现这个错误的原因是，以前曾经安装了 Hive或MySQL,重新安装Hive 和 MySQL 以后，导致版本配置不一致。解决方法是使schematool工具。Hive现在包含一个用于Hiw Metastore架构操控的脱机工具--schematool。在此次实验中学习感受颇多，仍需继续加强学习。

六、优化及改进（选做）

【提出你觉得解决这个问题更好的算法，并加以说明】