0


虚拟机配置(hadoop)前置准备

安装集群化软件,需要有多台Linux服务器(至少三台)。

  1. 首先,创建一台CentOS7系统的Linux虚拟机,作为基础虚拟机

  2. 在VMware中新建文件夹,命名为:hadoop集群

3.克隆三台虚拟机并且命名为hadoop1、hadoop2、hadoop3、内存分别设置为4GB,2GB,2GB.

二、主机名、IP、ssh免密登录

1.对三台虚拟机设置主机名、固定IP和ssh免密登录等系统设置

一、修改主机名:

1.开启hadoop1,修改主机名为hadoop1

同样的操作,打开hadoop2、hadoop3分别修改主机名为hadoop2、hadoop3

二、修改IP地址

1.进入root权限,输入vim /etc/sysconfig/network-scripts/ifcfg-ens33

2.

修改dhcp(自动获取IP)为static(静态)

修改为:

然后esc按住shift+:输入wq退出保存

然后三台虚拟机分别设置IP为192.168.88.102、192.168.88.103分别进行上述操作

3.重启网卡:输入systemctl restart network

在输入ifconfig查看IP地址是否改对

三、配置主机名映射

1在Windows系统中修改hosts文件填入如下内容(Windows的hosts文件在C:\Windows\System32\drivers\etc这里面)hosts文件会出现保存不了,这里我们鼠标右键点击hosts文件点击属性

打上√之后点击确定,然后搜索记事本,以管理员身份打开,

这样就可以更改hosts文件在将一下内容填入到hosts文件中即可

192.168.88.101 hadoop1

192.168.88.102 hadoop2

192.168.88.103 hadoop3

2.在三台Linux的虚拟机中的/etc/hosts文件填入

192.168.88.101 hadoop1

192.168.88.102 hadoop2

192.168.88.103 hadoop3

四、设置SSH免密登录

五、创建hadoop用户并且配置免密登录

六、JDK环境部署

  1. 下载JDK软件:https://www.oracle.com/java/technologies/downloads

2.创建文件夹用来装软件和和部署JDK以及后续的其他软件

3.上传JDK

我们用的是finashell可以点这里进行文件的上传,或者通过rz命令进行上传,上传之前我们先点击到我们创建的software文件夹,再进行上传。

这里可以看到JDK压缩包已经上传到我们的software文件夹下面

4.解压缩JDK

由于压缩包的名字较长,我们可以复制防止名字打错,注意:不要复制到后面的空格,一定要只复制到压缩包的名字,复制到后面会复制到换行符,到时候命令就会直接运行。

这样我们的文件就解压缩成功了 。

5.配置JDK的软连接

注意我们现在是在en这个文件夹下面

  1. 配置JAVA_HOME环境变量,以及将$JAVA_HOME/bin文件夹加入PATH环境变量中

    1.有了软连接之后呢我们来修改一下/etc/profile文件,给它追加环境变量

输入vim /etc/profile之后可以看到下面这个

这个时候我们到最后面追加变量就行了(可以使用shift+g命令进行快速到达文件的行尾emmm我么通常进行文件操作需要快速到达文件行首、尾行、行首、行尾

文件行首:gg

文件尾行:shift + g

行首:shift + ^

行尾:shift + $

) 这里我们shift+g快速到达文件尾行

7.然后我们sourc一下让环境变量生效

8.配置Java执行程序的软连接

我们先删除linux系统自带的Java程序,这个java不是oracle的Java是一个开源的java

,然后我们在用软链接到我们自己安装的Java程序

链接完成后我们来验证一下

这里呢是hadoop1的操作,然后呢hadoop2的操作和Hadoop操作与上述操作完全一致

我们先cd到en文件下,然后在将jdk复制到hadoop2,注意这里的hadoop2:pwd/不是引号而是键盘ESC键下面的那个

然后回车,去hadoop2中

可以看到复制成功 ,hadoop3一样的操作,只是把hadoop2改成haadoop3

scp -r jdk1.8.0_351 hadoop3:pwd/

一样的,我们在对hadoop2进行软链接

之后在修改环境变量,我们先去hadoop1 里面看一下环境变量来进行复制粘贴

复制粘贴进hadoop2中,:wq保存退出就可以了

然后我们source一下profile文件,删除系统自带的java,并将我们的自己安装的java进行一个软连接

验证一下:

hadoop3完全一模一样。这样呢我们的三台服务器都正确的配置好了我们的java运行环境。

七、关闭防火墙

我们先查看防火墙状态

我的防火墙是打开的,我们需要将它关闭

同样的操作,hadop2、hadoop3也执行一遍

八、关闭SELinux功能

重启系统让他生效

接着修改hadoop2,修改hadoop2的时候呢我们将hadoop1重启

九、配置时区并自动时区同步

    1.安装ntp软件,三台服务器都得安装

    2. 更新时区

在更改之前我们先看一下时间date命令,可以看到时间是不准确的

更改时区,我们删除localtime这个文件

    3.同步时间(联网同步)

    4.开启ntp服务并且设置开机自启

这里我们可以看到正在运行中,这样呢他就会每隔一段时间就帮我们校准时间

十、设置快照

我们上述内容配置下来花费了很多的时间,真的是来之不易,我们可以通过VMware设置一个快照,防止以后出了问题我们还得重新配置,打上快照就可以恢复到我们拍快照的时候

保存快照之前呢我们需要先关机,这样保存最快,然后我们鼠标右键hadoop1

hadoop2、hadoop3也拍摄快照。

十一、结束啦!


本文转载自: https://blog.csdn.net/m0_74114770/article/details/137187938
版权归原作者 是啊柒呢 所有, 如有侵权,请联系我们删除。

“虚拟机配置(hadoop)前置准备”的评论:

还没有评论