hive的部署,本教程是远程模式,相比于内嵌模式和本地模式,可以处理更大规模的数据,以及更加适合企业的需求
需要注意的是,hive的部署是在hadoop集群的基础上进行的!如果没有hadoop集群,建议先把集群搭建起来,不会的可以去博主的hadoop完全分布集群搭建,那篇文章,把集群搭建起来,再进行下一步操作。
那么首先大家需要下载一些东西
已经给大家准备好了,这个文件里包含了应该有的hive的压缩包,mysql的jar包驱动,还有hadoop02和03的hive-site文件。
大家可以等这些东西下载完成之后再开始。
通过网盘分享的文件:hive
链接: https://pan.baidu.com/s/1B1Z4Xz3X9Q9_R-IUvLPwQA 提取码: mygf
--来自百度网盘超级会员v4的分享
首先大家打开自己的虚拟机,并且启动集群。
首先切换到自己的hadoop下的share下的bin目录
cd /export/servers/hadoop/sbin
然后使用一键启动集群的命令启动集群
./start-all.sh
启动集群完成后,输入jps命令,查看自己的进程,
如果看不懂的朋友,那应该是因为你不知道集群是啥,现在就去把集群搭建起来,
这里推荐一下博主的文章哈
完全分布和伪分布模式部署Hadoop集群搭建,需要的同学都可以看~_centos hadoop伪分布-CSDN博客
一切正常的同学就无需在意这些了、
切换到hadoop03,如果没有特别明确的说是在哪台虚拟机上配置,那就是03.
接下来,需要大家切换到自己的software目录
cd /export/software
这个目录在完全分布式hadoop搭建里已经讲过了,有需要大家可以去看一下。
切换好之后,
大家请拿出在文章开头下载好的那一些文件
我们挑选出hive的压缩包,然后使用rz命令进行上传。
有些小同学发发现自己的rz不好使,是因为需要在shell里或者srt里使用rz才可以啊魂淡!
好回归正题,
上传完成之后大家可以ll查看一下是否上传成功,
然后捏,就可以开心的进行解压缩了
tar -zxvf apache-hive-4.0.1-bin.tar.gz -C /export/servers
这里的servers是我们创建好的文件夹,没有的大家可以自己创建一下。
那么解压缩完成之后,我们可以使用cd命令,到达servers文件夹。
cd /export/servers
cd完成之后,可以使用ll命令进行查看那,
查看完成之后就可以开心的对压缩包进行一个重命名的大动作。
mv apache-hive-4.0.1-bin hive
重命名完成之后,使用ll命令,就可以看到,自己的重命名已经,成功啦!
之后,我们cd到根目录,不cd也行
然后编辑一下环境变量,
vi /etc/profile
进入文件后,使用shift+g,到达文章的最底部。
之后在文章底部加入环境变量,
export HIVE_HOME=/export/servers/hive
export PATH=$PATH:$HIVE_HOME/bin
在文件底部完成后,
esc+冒号+wq+感叹号(不加也行)
退出编辑模式。
然后使用
source /etc/profile
使当前的环境变量生效。
完成上面的命令之后。
我们来到hadoop的lib目录下查看一下版本,
cd /export/servers/hadoop/share/hadoop/common/lib
看到这个的guava-27-jre.jar哈,看见就下一步了哈哈哈
然后到我们的
cd /export/servers/hive/lib
目录下使用,ll命令,查看一下当前的guava版本
一比较发现,hadoop的版本比较高,那我们就把hadoop目录下版本高的文件cp到hive下面,
哪个版本高用哪个哈
如果不复制的话,会影响接下来初始化数据的思密达。
删除当前目录下版本比较低的guava,如果不是下载的4.0版本的,可能自己的guava不是22版本,大家根据自己的实际情况进行修改哈。
rm -fr /export/servers/hive/lib/guava-22.0.jar
删除完成后,我们就可以cp一下版本比较高的jar文件了。
cd /export/servers/hadoop/share/hadoop/common/lib
到达之后,我们可以开心的复制一下guava文件了。
cp guava-27.0-jre.jar /export/servers/hive/lib
结束之后大家就可以开始mysql的安装了。
不着急的话,可以自己换个源。
vi /etc/yum.repos.d/CentOS-Base.repo
这个命令是查看一下自己base是不是空的,看一下esc退出就可以。
现在不用,万一以后用捏。
进入到目录里之后,就可以换一个喜欢的源了
这里贴上
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
不喜欢阿里云也可以换成其他的云嗷。
配置完成之后,可以
cat /etc/yum.repos.d/CentOS-Base.repo
使用这个命令来查看一下自己的源是不是换好了嗷。
换完源之后,开始下载mysql8.0版本的源文件。
切换到自己创建的mysql目录下面,
mkdir -p /export/servers/mysql
之后输入
cd /export/servers/mysql
不换源下不好嗷。
wget http://dev.mysql.com/get/mysql80-community-release-el7-1.noarch.rpm
输入完成后输入下面的命令
yum -y install mysql80-community-release-el7-1.noarch.rpm
之后捏,我们导入一下公钥,不然下不好哈。
rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2023
不会出现什么信息哈。
导入完成之后,我们输入
yum install mysql-community-server -y
进行安装就ok
接下来们就可以激动人心的开始启动mysql了,首先设置一个mysql开机自启动。
systemctl start mysqld
输入之后,就输入下面的命令查看一下状态
systemctl status mysqld
出现下面的提示就算成功了
然后,我们接下来登录mysql。
首先寻找一下这个mysql的临时密码
grep 'temporary password' /var/log/mysqld.log
上面的临时密码是,就是那个Os5phjdctK??
每个人的不一样。
然后捏,我们就可就可以登录mysql了。
mysql -uroot -p+临时密码
比如作者的就是
mysql -uroot -pOs5phjdctK??
那么接下来大家就可以开始登录了哈。
登陆之后我们修改一下密码。
最后那个by后面是我们的新密码,大家可以自由发挥但是不要忘记,当然,也不要太简单,不然不会成功。
alter user 'root'@'localhost'identified by 'Itcast@2023'
(密码是乱打的,但是强度是真的)
更改密码完成之后,接下来刷新一下mysql的配置。
输入
FLUSH PRIVILEGES;
到这里,就ok了。
大家可以使用quit+分号退出。
之后我们就需要切换到
cd /export/servers/hive/conf
切换到这个目录之后捏,我们只需要输入rz命令,进行上传,
上传的文件是压缩包里的,hadoop03里面的hive-site.xml文件。
大家可以打开文件,对应一下自己的主机名啊还有密码!!!一定要对应一下嗷!
上传完成后
然后我们切换会hive
cd /export/servers/hive/lib
然后使用rz命令上传驱动
驱动是哪个jar结尾的那个包哈。
一定要上传哈,不然初始化会不成功嗷。
然后,就可以开心的进行一个初始化了。
schematool -initSchema -dbType mysql
初始化成功之后捏,就可以开始试着使用hive命令,链接下了。
输入hive
出现
出现beeline,不要悲伤,不要心急,这是对的。
看一眼成功退出就可以了。
使用
!exit或者!quit退出。
退出之后,我们继续在hadoop03上,启动metastore服务,开始远程连接。
hive -service metastore
之后捏,会出现一个
这样子的画面,是正常的,这表示正在开启服务。
然后我们无需理会,双击hadoop03的链接,再次开启一个窗口,因为这个服务会占据掉一个窗口,所以不能关。
当然如果你需要关闭的话,可以使用
ctrl+c来进行退出。
(作者用的是xshell,其他的应该也是一个用法)
上面的服务开启之后,我们开启下一个服务,
在新开启的窗口中打开hiveserver2服务。
hive --service hiveserver2
就可以看到新开启的窗口,
是的,也被占据掉了,但是没关系。
哈哈哈接下来不需要hadoop03了。
无需理会这两个开着的窗口,我们来到hadoop02.
cd到software目录
cd /export/software
我们挑选出hive的压缩包,然后使用rz命令进行上传。
有些小同学发发现自己的rz不好使,是因为需要在shell里或者srt里使用rz才可以啊魂淡!
好回归正题,
上传完成之后大家可以ll查看一下是否上传成功,
然后捏,就可以开心的进行解压缩了
tar -zxvf apache-hive-4.0.1-bin.tar.gz -C /export/servers
这里的servers是我们创建好的文件夹,没有的大家可以自己创建一下。
那么解压缩完成之后,我们可以使用cd命令,到达servers文件夹。
cd /export/servers
cd完成之后,可以使用ll命令进行查看那,
查看完成之后就可以开心的对压缩包进行一个重命名的大动作。
mv apache-hive-4.0.1-bin hive
重命名完成之后,使用ll命令,就可以看到,自己的重命名已经,成功啦!
之后,我们cd到根目录,不cd也行
然后编辑一下环境变量,
vi /etc/profile
进入文件后,使用shift+g,到达文章的最底部。
之后在文章底部加入环境变量,
export HIVE_HOME=/export/servers/hive
export PATH=$PATH:$HIVE_HOME/bin
在文件底部完成后,
esc+冒号+wq+感叹号(不加也行)
退出编辑模式。
然后使用
source /etc/profile
使当前的环境变量生效。
完成上面的命令之后。
我们来到hadoop的lib目录下查看一下版本,
cd /export/servers/hadoop/share/hadoop/common/lib
看到这个的guava-27-jre.jar哈,看见就下一步了哈哈哈
然后到我们的
cd /export/servers/hive/lib
目录下使用,ll命令,查看一下当前的guava版本
一比较发现,hadoop的版本比较高,那我们就把hadoop目录下版本高的文件cp到hive下面,
哪个版本高用哪个哈
如果不复制的话,会影响接下来初始化数据的思密达。
删除当前目录下版本比较低的guava,如果不是下载的4.0版本的,可能自己的guava不是22版本,大家根据自己的实际情况进行修改哈。
rm -fr /export/servers/hive/lib/guava-22.0.jar
删除完成后,我们就可以cp一下版本比较高的jar文件了。
cd /export/servers/hadoop/share/hadoop/common/lib
到达之后,我们可以开心的复制一下guava文件了。
cp guava-27.0-jre.jar /export/servers/hive/lib
复制完成之后,我们需要切换到
cd /export/servers/hive/conf
切换到这个目录之后捏,我们只需要输入rz命令,进行上传,
上传的文件是压缩包里的,hadoop02里面的hive-site.xml文件。
然后
在hadoop02的根目录下,输入
beeline -u jdbc:hive2://hadoop03:10000 -n root
来进行连接。出现
就说明成功了。
大家可以开心的进行一些数据操作了。
具体的数据操作会在下一篇文章中给大家展示。
版权归原作者 在下不上天 所有, 如有侵权,请联系我们删除。