每个大数据专业都必须的hive实训教程航空数据分析(附：所要文件）成品快照在最后

使用的软件及其版本：jdk1.8.0_211 hive-2.3.0 hadoop-2.7.6

我的网络犹豫处于手机热点的环境下，可以无需固定ip，非常适用于无法固定ip的同学

直接将所用的文件打包，方便快捷的搭建hive及其环境

关闭防火墙，禁用ipv6，链接方式选择桥接模式，复制物理网络连接状态即可

一、linux环境搭建：

建议使用debain或者ubuntu，这两者对新手更加友好，这里用CentOS8做演示。
下载VMware Workstation Pro 或者其他方便的虚拟机软件，去Index of /centos/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirrorhttps://mirrors.tuna.tsinghua.edu.cn/centos/
```
   寻找自己需要的镜像文件，这里使用的是CentOS8，目前CentOS7,8都可以实现

   网上linux虚拟机环境搭建很详细，这里就不过多赘述
```

当我们搭建好linux环境之后在主目录创建opt文件夹，并在opt文件夹下创建program文件夹，并将

环境.zip解压到当前文件夹下

cd /
mkdir opt/program

再将

export JAVA_HOME=/opt/program/jdk1.8.0_211
export PATH=$PATH:$JAVA_HOME/bin

export HADOOP_HOME=/opt/program/hadoop-2.7.6
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export HIVE_HOME=/opt/program/hive-2.3.0
export PATH=$PATH:$HIVE_HOME/bin

添加到根目录下的etc下的profile文件末尾

/etc/profile

如果出现文件权限不够，无法运行则使用下面这行代码

find /opt/program -type f -exec chmod +x {} ;

java -version

查看java版本是否正常

关闭防火墙，禁用ipv6之后

使用start-all.sh启动

如果要填密码：123456或者你自己设置的root用户的密码，出现选项全填yes

jps查看是否Hadoop启动成功

数量够了就行

也可以通查看设置中网络配置，查看虚拟机ipv4复制，并在ip之后添加接口：50070就可以通过宿主机，虚拟机等在同一局域网的浏览器访问

例：192.168.1.1：50070

使用yum安装mysql（最简单）

CentOS8 官方已经不支持yum源下载

使用文本编辑器（如 vi 或 nano）打开 /etc/yum.repos.d/CentOS-Base.repo 文件，并将其内容替换为阿里云提供的 CentOS 8 源。

sudo vi /etc/yum.repos.d/CentOS-Base.repo

将文件内容替换为以下内容：

下载 MySQL 的 yum 仓库文件：

sudo dnf install https://dev.mysql.com/get/mysql80-community-release-el8-3.noarch.rpm

安装：

sudo dnf install mysql-server

启动：

sudo systemctl start mysqld

开机自启

sudo systemctl enable mysqld

查看状态

sudo systemctl status mysqld

sudo mysql -u root -p

一开始没有密码，直接回车就可以

修改密码为123456

ALTER USER 'root'@'localhost' IDENTIFIED BY '123456';

刷新权限

FLUSH PRIVILEGES;

退出重进刷新查看密码是否已经更改

EXIT;

此时再用program下的hive就可以启动了；

命令行输入hive即可

如果你有MySQLworkbench即可查看，没有也么关系

在hive中创建数据库

CREATE DATABASE Air;

使用数据仓库：

USE AIR;

创建数据表air1；并建立44个属性（44个名称和数据类型）*建表必须要有数据类型

CREATE TABLE air1( member_no STRING, ffp_date STRING, first_flight_date STRING, gender STRING, ffp_tier INT, work_city STRING, work_province STRING, work_country STRING, age INT, load_time STRING, flight_count INT, bp_sum BIGINT, ep_sum_yr_1 INT, ep_sum_yr_2 BIGINT, sum_yr_1 BIGINT, sum_yr_2 BIGINT, seg_km_sum BIGINT, weighted_seg_km DOUBLE, last_flight_date STRING, avg_flight_count DOUBLE, avg_bp_sum DOUBLE, begin_to_first INT, last_to_end INT, avg_interval FLOAT, max_interval INT, add_points_sum_yr_1 BIGINT, add_points_sum_yr_2 BIGINT, exchange_count INT, avg_discount FLOAT, p1y_flight_count INT, l1y_flight_count INT, p1y_bp_sum BIGINT, l1y_bp_sum BIGINT, ep_sum BIGINT, add_point_sum BIGINT, eli_add_point_sum BIGINT, l1y_eli_add_points BIGINT, points_sum BIGINT, l1y_points_sum FLOAT, ration_l1y_flight_count FLOAT, ration_p1y_flight_count FLOAT, ration_p1y_bps FLOAT, ration_l1y_bps FLOAT, point_notflight INT ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' TBLPROPERTIES ("skip.header.line.count"="1");

之后可以参考大数据开发--基于Hive的航空公司客户价值分析案例_基于hive的票卡-CSDN博客

数据分析可以参考基于Hive的民航客户价值分析航空顾客价值模型_mob64ca140d96d9的技术博客_51CTO博客

来进行后续操作

虚拟机文件链接：

虚拟机.zip官方版下载丨最新版下载丨绿色版下载丨APP下载-123云盘

https://www.123865.com/s/Gd9Tjv-MdLsd?提取码:7h1x

如果虚拟机显示版本问题可以尝试将虚拟机文件