0


Hive的部署,远程模式搭建,centos换源,linux上下载mysql。

hive的部署,本教程是远程模式,相比于内嵌模式和本地模式,可以处理更大规模的数据,以及更加适合企业的需求

需要注意的是,hive的部署是在hadoop集群的基础上进行的!如果没有hadoop集群,建议先把集群搭建起来,不会的可以去博主的hadoop完全分布集群搭建,那篇文章,把集群搭建起来,再进行下一步操作。

那么首先大家需要下载一些东西

已经给大家准备好了,这个文件里包含了应该有的hive的压缩包,mysql的jar包驱动,还有hadoop02和03的hive-site文件。

大家可以等这些东西下载完成之后再开始。


通过网盘分享的文件:hive
链接: https://pan.baidu.com/s/1B1Z4Xz3X9Q9_R-IUvLPwQA 提取码: mygf
--来自百度网盘超级会员v4的分享


首先大家打开自己的虚拟机,并且启动集群。

首先切换到自己的hadoop下的share下的bin目录

cd /export/servers/hadoop/sbin

然后使用一键启动集群的命令启动集群

./start-all.sh

启动集群完成后,输入jps命令,查看自己的进程,

如果看不懂的朋友,那应该是因为你不知道集群是啥,现在就去把集群搭建起来,


这里推荐一下博主的文章哈

完全分布和伪分布模式部署Hadoop集群搭建,需要的同学都可以看~_centos hadoop伪分布-CSDN博客


一切正常的同学就无需在意这些了、

切换到hadoop03,如果没有特别明确的说是在哪台虚拟机上配置,那就是03.

接下来,需要大家切换到自己的software目录

cd /export/software

这个目录在完全分布式hadoop搭建里已经讲过了,有需要大家可以去看一下。

切换好之后,

大家请拿出在文章开头下载好的那一些文件

我们挑选出hive的压缩包,然后使用rz命令进行上传。

有些小同学发发现自己的rz不好使,是因为需要在shell里或者srt里使用rz才可以啊魂淡!

好回归正题,

上传完成之后大家可以ll查看一下是否上传成功,

然后捏,就可以开心的进行解压缩了

 tar -zxvf apache-hive-4.0.1-bin.tar.gz -C /export/servers

这里的servers是我们创建好的文件夹,没有的大家可以自己创建一下。

那么解压缩完成之后,我们可以使用cd命令,到达servers文件夹。

cd /export/servers

cd完成之后,可以使用ll命令进行查看那,

查看完成之后就可以开心的对压缩包进行一个重命名的大动作。

mv  apache-hive-4.0.1-bin hive

重命名完成之后,使用ll命令,就可以看到,自己的重命名已经,成功啦!

之后,我们cd到根目录,不cd也行

然后编辑一下环境变量,

vi /etc/profile

进入文件后,使用shift+g,到达文章的最底部。

之后在文章底部加入环境变量,

export HIVE_HOME=/export/servers/hive
export PATH=$PATH:$HIVE_HOME/bin

在文件底部完成后,

esc+冒号+wq+感叹号(不加也行)

退出编辑模式。

然后使用

source /etc/profile

使当前的环境变量生效。

完成上面的命令之后。

我们来到hadoop的lib目录下查看一下版本,

cd /export/servers/hadoop/share/hadoop/common/lib

看到这个的guava-27-jre.jar哈,看见就下一步了哈哈哈

然后到我们的

cd /export/servers/hive/lib

目录下使用,ll命令,查看一下当前的guava版本

一比较发现,hadoop的版本比较高,那我们就把hadoop目录下版本高的文件cp到hive下面,

哪个版本高用哪个哈

如果不复制的话,会影响接下来初始化数据的思密达。

删除当前目录下版本比较低的guava,如果不是下载的4.0版本的,可能自己的guava不是22版本,大家根据自己的实际情况进行修改哈。

rm -fr /export/servers/hive/lib/guava-22.0.jar

删除完成后,我们就可以cp一下版本比较高的jar文件了。

cd /export/servers/hadoop/share/hadoop/common/lib

到达之后,我们可以开心的复制一下guava文件了。

cp guava-27.0-jre.jar /export/servers/hive/lib

结束之后大家就可以开始mysql的安装了。


不着急的话,可以自己换个源。

vi /etc/yum.repos.d/CentOS-Base.repo

这个命令是查看一下自己base是不是空的,看一下esc退出就可以。

现在不用,万一以后用捏。

进入到目录里之后,就可以换一个喜欢的源了

这里贴上

wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

不喜欢阿里云也可以换成其他的云嗷。

配置完成之后,可以

cat /etc/yum.repos.d/CentOS-Base.repo

使用这个命令来查看一下自己的源是不是换好了嗷。

换完源之后,开始下载mysql8.0版本的源文件。

切换到自己创建的mysql目录下面,

mkdir -p /export/servers/mysql

之后输入

cd /export/servers/mysql

不换源下不好嗷。

wget http://dev.mysql.com/get/mysql80-community-release-el7-1.noarch.rpm

输入完成后输入下面的命令

yum -y install mysql80-community-release-el7-1.noarch.rpm

之后捏,我们导入一下公钥,不然下不好哈。

 rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2023

不会出现什么信息哈。

导入完成之后,我们输入

yum install mysql-community-server -y

进行安装就ok

接下来们就可以激动人心的开始启动mysql了,首先设置一个mysql开机自启动。

systemctl start mysqld

输入之后,就输入下面的命令查看一下状态

systemctl status mysqld

出现下面的提示就算成功了

然后,我们接下来登录mysql。

首先寻找一下这个mysql的临时密码

grep 'temporary password' /var/log/mysqld.log

上面的临时密码是,就是那个Os5phjdctK??

每个人的不一样。

然后捏,我们就可就可以登录mysql了。

mysql -uroot -p+临时密码

比如作者的就是

mysql -uroot -pOs5phjdctK??

那么接下来大家就可以开始登录了哈。

登陆之后我们修改一下密码。

最后那个by后面是我们的新密码,大家可以自由发挥但是不要忘记,当然,也不要太简单,不然不会成功。

 alter user 'root'@'localhost'identified by 'Itcast@2023'

(密码是乱打的,但是强度是真的)

更改密码完成之后,接下来刷新一下mysql的配置。

输入

FLUSH PRIVILEGES;

到这里,就ok了。

大家可以使用quit+分号退出。

之后我们就需要切换到

cd /export/servers/hive/conf

切换到这个目录之后捏,我们只需要输入rz命令,进行上传,

上传的文件是压缩包里的,hadoop03里面的hive-site.xml文件。

大家可以打开文件,对应一下自己的主机名啊还有密码!!!一定要对应一下嗷!

上传完成后

然后我们切换会hive

cd /export/servers/hive/lib

然后使用rz命令上传驱动

驱动是哪个jar结尾的那个包哈。

一定要上传哈,不然初始化会不成功嗷。

然后,就可以开心的进行一个初始化了。

schematool -initSchema -dbType mysql

初始化成功之后捏,就可以开始试着使用hive命令,链接下了。

输入hive

出现

出现beeline,不要悲伤,不要心急,这是对的。

看一眼成功退出就可以了。

使用

!exit或者!quit退出。

退出之后,我们继续在hadoop03上,启动metastore服务,开始远程连接。

hive -service metastore

之后捏,会出现一个

这样子的画面,是正常的,这表示正在开启服务。

然后我们无需理会,双击hadoop03的链接,再次开启一个窗口,因为这个服务会占据掉一个窗口,所以不能关。

当然如果你需要关闭的话,可以使用

ctrl+c来进行退出。

(作者用的是xshell,其他的应该也是一个用法)

上面的服务开启之后,我们开启下一个服务,

在新开启的窗口中打开hiveserver2服务。

hive --service hiveserver2

就可以看到新开启的窗口,

是的,也被占据掉了,但是没关系。

哈哈哈接下来不需要hadoop03了。

无需理会这两个开着的窗口,我们来到hadoop02.

cd到software目录

cd /export/software

我们挑选出hive的压缩包,然后使用rz命令进行上传。

有些小同学发发现自己的rz不好使,是因为需要在shell里或者srt里使用rz才可以啊魂淡!

好回归正题,

上传完成之后大家可以ll查看一下是否上传成功,

然后捏,就可以开心的进行解压缩了

 tar -zxvf apache-hive-4.0.1-bin.tar.gz -C /export/servers

这里的servers是我们创建好的文件夹,没有的大家可以自己创建一下。

那么解压缩完成之后,我们可以使用cd命令,到达servers文件夹。

cd /export/servers

cd完成之后,可以使用ll命令进行查看那,

查看完成之后就可以开心的对压缩包进行一个重命名的大动作。

mv  apache-hive-4.0.1-bin hive

重命名完成之后,使用ll命令,就可以看到,自己的重命名已经,成功啦!

之后,我们cd到根目录,不cd也行

然后编辑一下环境变量,

vi /etc/profile

进入文件后,使用shift+g,到达文章的最底部。

之后在文章底部加入环境变量,

export HIVE_HOME=/export/servers/hive
export PATH=$PATH:$HIVE_HOME/bin

在文件底部完成后,

esc+冒号+wq+感叹号(不加也行)

退出编辑模式。

然后使用

source /etc/profile

使当前的环境变量生效。

完成上面的命令之后。

我们来到hadoop的lib目录下查看一下版本,

cd /export/servers/hadoop/share/hadoop/common/lib

看到这个的guava-27-jre.jar哈,看见就下一步了哈哈哈

然后到我们的

cd /export/servers/hive/lib

目录下使用,ll命令,查看一下当前的guava版本

一比较发现,hadoop的版本比较高,那我们就把hadoop目录下版本高的文件cp到hive下面,

哪个版本高用哪个哈

如果不复制的话,会影响接下来初始化数据的思密达。

删除当前目录下版本比较低的guava,如果不是下载的4.0版本的,可能自己的guava不是22版本,大家根据自己的实际情况进行修改哈。

rm -fr /export/servers/hive/lib/guava-22.0.jar

删除完成后,我们就可以cp一下版本比较高的jar文件了。

cd /export/servers/hadoop/share/hadoop/common/lib

到达之后,我们可以开心的复制一下guava文件了。

cp guava-27.0-jre.jar /export/servers/hive/lib

复制完成之后,我们需要切换到

cd /export/servers/hive/conf

切换到这个目录之后捏,我们只需要输入rz命令,进行上传,

上传的文件是压缩包里的,hadoop02里面的hive-site.xml文件

然后

在hadoop02的根目录下,输入

beeline -u jdbc:hive2://hadoop03:10000 -n root

来进行连接。出现

就说明成功了。

大家可以开心的进行一些数据操作了。

具体的数据操作会在下一篇文章中给大家展示。

标签: hive centos hadoop

本文转载自: https://blog.csdn.net/qianwanfuweng/article/details/143438099
版权归原作者 在下不上天 所有, 如有侵权,请联系我们删除。

“Hive的部署,远程模式搭建,centos换源,linux上下载mysql。”的评论:

还没有评论