Hive数据仓库的安装以及mysql的部署(基于Hadoop3.3.3)

作者简介：大家好我是Apathfinder，目前是一名在校大学生，软件工程专业，记录学习路上的点点滴滴。
个人主页：Apathfinder

本文专栏：Hive学习

**前言:**本文是在hadoop3.3.3的环境上对hive、mysql进行部署

正文

一.Hive的安装

1.获取hive安装包

下载链接：Index of /apache/hive (tsinghua.edu.cn)

本人下载的是hive-3.1.3版本，下载版本根据兼容性选择

2.上传hive

1.可以选择wget命令来获取包

2.在Windows上下载通过连接工具上传

3.安装hive

1.解压

先用下列命令解压到指定目录

tar -zxvf apache-hive-3.1.3-bin.tar.gz -C /usr/local/

然后将名字改为你觉得方便的

mv apache-hive-3.1.3-bin hive-3.1.3

2.添加环境变量

Vi /etc/profile    #编辑环境



export HIVE_HOME=/usr/local/hive-3.1.3    #添加环境变量
export PATH=${HIVE_HOME}/bin:$PATH


source /etc/profile    #立即生效

3.配置hive-env.sh

hive-env.sh在hive的conf目录下

由于该文件默认不存在，我们自己创建就行

cd /usr/local/hive-3.1.3/conf    #切换到conf目录下

cp hive-env.sh.template hive-env.sh    #将template拷贝一份，命名为hive-env.sh

export HADOOP_HOME=/usr/local/hadoop-3.3.3    #导入环境变量
export HIVE_HOME=/usr/local/hive-3.1.3
export HIVE_CONF_DIR=/usr/local/hive-3.1.3/conf

4.配置hive-site.xml文件

hive-site.xml同hive-env.sh，需要自己创建

cp hive-default.xml.template hive-site.xml  

然后加入下列代码

<configuration>
<!-- 记录HIve中的元数据信息  记录在mysql中 -->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://hadoop01:3306/hive?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>

<!-- jdbc mysql驱动 -->
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>

<!-- mysql的用户名和密码 -->

<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>username to use against metastore database</description>
</property>

<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
<description>password to use against metastore database</description>
</property>

<!-- 元数据存储路径 -->
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
</property>


<property>
<name>hive.metastore.schema.verification</name><value>false</value>
</property>

</configuration>

5.检验目录并创建

hdfs dfs -mkdir /tmp/hive        #检验目录是否存在于hadoop分布系统
hdfs dfs -mkdir /user/hive/warehouse

hdfs dfs -chmod 777 /user/hive/warehouse        #创建目录并给予权限
hdfs dfs -chmod 777 /tmp/hive

6.检验hive是否成功安装

hive --version

如图所示成功安装

4.启动hive

cd /usr/local/hive-3.1.3/bin    #切换到bin目录下

hive    #启动hive

启动成功

二.mysql的安装

1.获取mysql jar包

下载链接:mysql

也可通过其他方式获取

2.上传mysql jar包

     **同hive操作**

然后将依赖包上传至hive的lib目录下

cp /root/mysql-connector-java-5.1.49.jar /usr/local/hive-3.1.3/lib/

3.安装mysql并授权

#下载yum Repository
wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm

#安装yum Repository
yum -y install mysql57-community-release-el7-10.noarch.rpm

#安装mysql
yum -y install mysql-community-server

#设置开机自启动
systemctl enable mysqld.service

#启动mysql
systemctl start mysqld.service

#查看状态
systemctl status mysqld.service

#获取临时密码
grep "password" /var/log/mysqld.log

#登录
mysql -uroot -p 
#password：[输入获取的临时密码]

#关闭密码复杂验证
set global validate_password_policy=0;
set global validate_password_length=1;

#设置密码
alter user user() identified by "123456";

#授权
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;

#刷新权限
flush privileges;

    成功启动

写在最后

** 今天的文章就到这里，如果你觉得写的不错，可以动动小手给博主一个免费的关注和点赞👍；如果你觉得存在问题的话，欢迎在下方评论区指出和讨论。
谢谢观看，你的支持就是我前进的动力！**