0


大数据Hive组件安装

组件版本

组件版本Hadoop3.3.0JDK1.8.0_241Mysql5.7.25Hive3.1.2

Hadoop集群服务分布

Node1Node2Node3NameNode DataNode DataNodeDataNode NodeManager NodeManagerResourceManagerSecondaryNameNode
安装前请确定Hadoop集群服务全部启动,不然后续测试时会报错node1:8020数据接口拒接链接!

Mysql组件包

mysql-community-common-5.7.25-1.el7.x86_64.rpmmysql-community-libs-5.7.25-1.el7.x86_64.rpmmysql-community-libs-compat-5.7.25-1.el7.x86_64.rpmmysql-community-client-5.7.25-1.el7.x86_64.rpmmysql-community-server-5.7.25-1.el7.x86_64.rpm
Mysql和Hive都安装在Node1主节点上,且Mysql组件包安装顺序必须严格依照此表从上到下安装,各个组件包都属于相互依赖的关系,如不按照顺序安装可能出现安装失败等其他问题!

Hive安装

准备组件包Hive3.1.2

下载:Hive3.1.2

下载后上传至服务器/export/server目录下解压

解压:

tar -zxvf apache-hive-3.1.2-bin.tar.gz

添加Hive的环境变量

vim /etc/profile

添加以下内容:

export HIVE_HOME=/export/server/apache-hive-3.1.2-bin
export PATH=$PATH:$HIVE_HOME/bin

完成后保存退出。

按ESC键,输入:wq回车退出

刷新环境变量

source /etc/profile

看到画红框的内容出现后即环境变量配置和刷新完成。

初始化元数据库(默认是derby数据库)

进入/export/server/apache-hive-3.1.2-bin目录下

cd /export/server/apache-hive-3.1.2-bin

执行初始化

bin/schematool -dbType derby -initSchema

报错解决:

原因:hadoop和hive的两个guava.jar版本不一致

解决:将hive目录下的低版本guava.jar更换成Hadoop下的高版本guava.jar即可

两个jar位置分别位于下面两个目录:

/export/servers/hive/lib/guava-19.0.jar 
/export/servers/hadoop-3.1.4/share/hadoop/common/lib/guava-27.0-jre.jar

进入hive/lib目录下删除掉旧版本的guava.jar。

cd /export/server/apache-hive-3.1.2-bin/lib

rm guava-19.0.jar

进入Hadoop/share/hadoop/common/lib目录下,将新版本的guava.jar复制到hive/lib目录下

cd /export/server/hadoop-3.3.0/share/hadoop/common/lib

复制到hive的lib目录下

cp guava-27.0-jre.jar /export/server/apache-hive-3.1.2-bin/lib/

完成,

再次执行初始化元数据库

进入/export/server/apache-hive-3.1.2-bin目录下

cd /export/server/apache-hive-3.1.2-bin

执行初始化

bin/schematool -dbType derby -initSchema

测试:

成功,hive安装完成。

Mysql安装

标签: 大数据 hive hadoop

本文转载自: https://blog.csdn.net/qq_73252299/article/details/142515226
版权归原作者 孪生质数-希灵Security 所有, 如有侵权,请联系我们删除。

“大数据Hive组件安装”的评论:

还没有评论