Linux系统部署Hive数据仓库

前置准备

在部署Hive之前需要搭建好大数据集群-安装并配置好Hadoop（HDFS,MapReduce和YARN），搭建流程见上一篇文章：https://blog.csdn.net/ashore22/article/details/142951206

安装MySql数据库

root用户下更新密钥
rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022
安装MySQL yum库
rpm -Uvh http://repo.mysql.com//mysql57-community-release-el7-7.noarch.rpm
yum安装Mysql
yum -y install mysql-community-server

启动Mysql并设置开机启动
systemctl start mysqld
systemctl enable mysqld

配置Hadoop

修改/export/server/hadoop/etc/hadoop路径下core-site.xml文件，新增如下配置

<property>
     <name>hadoop.proxyuser.hadoop.hosts</name>
     <value>*</value>
 </property>
 <property>
     <name>hadoop.proxyuser.hadoop.groups</name>
     <value>*</value>
 </property>

完成后分发到另外两个节点（node2、3）

配置Hive

下载、解压Hive安装包

http://archive.apache.org/dist/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz
解压到node1服务器的：/export/server/内
tar -zxvf apache-hive-3.1.3-bin.tar.gz -C /export/server/

为hive文件夹设置软连接
ln -s /export/server/apache-hive-3.1.3-bin /export/server/hive

下载MySQL驱动

进入官网下载驱动包

https://repo1.maven.org/maven2/mysql/mysql-connector-java/5.1.34/mysql-connector-java-5.1.34.jar

将下载好的驱动jar包，放入：Hive安装文件夹的lib目录下
mv mysql-connector-java-5.1.34.jar /export/server/hive/lib/

配置hive/conf内相关文件

完整路径：/export/server/hive/conf

在Hive的conf目录下，新建hive-env.sh文件，填入以下环境变量内容：
export HADOOP_HOME=/export/server/hadoop
export HIVE_CONF_DIR=/export/server/hive/conf
export HIVE_AUX_JARS_PATH=/export/server/hive/lib

在Hive的conf目录下，新建hive-site.xml文件，填入如下内容
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://node1:3306/hive?createDatabaseIfNotExist=true&useSSL=false&useUnicode=true&characterEncoding=UTF-8</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>
<property>
<name>hive.server2.thrift.bind.host</name>
<value>node1</value>
</property>

     <property>  
     <name>hive.metastore.uris</name>  
     <value>thrift://node1:9083</value>  
 </property>  
 <property>  
     <name>hive.metastore.event.db.notification.api.auth</name>  
     <value>false</value>  
 </property>  

初始化元数据库

进入mysql
mysql -uroot -p
新建hive数据库 用来存放元数据
create database hive charset utf-8;

在/export/server/hive执行：
./schematool -initSchema -dbType mysql -verbos

可以再次进入mysql中查看已创建的表

启动hive的元数据管理服务及sql解析器

将hive文件夹及其软连接权限授予hadoop用户
chown -R hadoop:hadoop apache-hive-3.1.3-bin hive

切换为hadoop用户，在/export/server/hive目录下创建logs文件用来保存日志

启动Hive的元数据管理服务

nohup bin/hive --service metastore >> logs/metastore.log 2>&1 &

启动前面配置好的hdfs 以及YARN，然后再使用命令bin/hive(完整路径：/export/server/hive/bin/hive)启动Hive的sql解析器

完结~