安装集群化软件,需要有多台Linux服务器(至少三台)。
首先,创建一台CentOS7系统的Linux虚拟机,作为基础虚拟机
在VMware中新建文件夹,命名为:hadoop集群
3.克隆三台虚拟机并且命名为hadoop1、hadoop2、hadoop3、内存分别设置为4GB,2GB,2GB.
二、主机名、IP、ssh免密登录
1.对三台虚拟机设置主机名、固定IP和ssh免密登录等系统设置
一、修改主机名:
1.开启hadoop1,修改主机名为hadoop1
同样的操作,打开hadoop2、hadoop3分别修改主机名为hadoop2、hadoop3
二、修改IP地址
1.进入root权限,输入vim /etc/sysconfig/network-scripts/ifcfg-ens33
2.
修改dhcp(自动获取IP)为static(静态)
修改为:
然后esc按住shift+:输入wq退出保存
然后三台虚拟机分别设置IP为192.168.88.102、192.168.88.103分别进行上述操作
3.重启网卡:输入systemctl restart network
在输入ifconfig查看IP地址是否改对
三、配置主机名映射
1在Windows系统中修改hosts文件填入如下内容(Windows的hosts文件在C:\Windows\System32\drivers\etc这里面)hosts文件会出现保存不了,这里我们鼠标右键点击hosts文件点击属性
打上√之后点击确定,然后搜索记事本,以管理员身份打开,
这样就可以更改hosts文件在将一下内容填入到hosts文件中即可
192.168.88.101 hadoop1
192.168.88.102 hadoop2
192.168.88.103 hadoop3
2.在三台Linux的虚拟机中的/etc/hosts文件填入
192.168.88.101 hadoop1
192.168.88.102 hadoop2
192.168.88.103 hadoop3
四、设置SSH免密登录
五、创建hadoop用户并且配置免密登录
六、JDK环境部署
2.创建文件夹用来装软件和和部署JDK以及后续的其他软件
3.上传JDK
我们用的是finashell可以点这里进行文件的上传,或者通过rz命令进行上传,上传之前我们先点击到我们创建的software文件夹,再进行上传。
这里可以看到JDK压缩包已经上传到我们的software文件夹下面
4.解压缩JDK
由于压缩包的名字较长,我们可以复制防止名字打错,注意:不要复制到后面的空格,一定要只复制到压缩包的名字,复制到后面会复制到换行符,到时候命令就会直接运行。
这样我们的文件就解压缩成功了 。
5.配置JDK的软连接
注意我们现在是在en这个文件夹下面
配置JAVA_HOME环境变量,以及将$JAVA_HOME/bin文件夹加入PATH环境变量中
1.有了软连接之后呢我们来修改一下/etc/profile文件,给它追加环境变量
输入vim /etc/profile之后可以看到下面这个
这个时候我们到最后面追加变量就行了(可以使用shift+g命令进行快速到达文件的行尾emmm我么通常进行文件操作需要快速到达文件行首、尾行、行首、行尾
文件行首:gg
文件尾行:shift + g
行首:shift + ^
行尾:shift + $
) 这里我们shift+g快速到达文件尾行
7.然后我们sourc一下让环境变量生效
8.配置Java执行程序的软连接
我们先删除linux系统自带的Java程序,这个java不是oracle的Java是一个开源的java
,然后我们在用软链接到我们自己安装的Java程序
链接完成后我们来验证一下
这里呢是hadoop1的操作,然后呢hadoop2的操作和Hadoop操作与上述操作完全一致
我们先cd到en文件下,然后在将jdk复制到hadoop2,注意这里的hadoop2:pwd
/不是引号而是键盘ESC键下面的那个
然后回车,去hadoop2中
可以看到复制成功 ,hadoop3一样的操作,只是把hadoop2改成haadoop3
scp -r jdk1.8.0_351 hadoop3:
pwd
/
一样的,我们在对hadoop2进行软链接
之后在修改环境变量,我们先去hadoop1 里面看一下环境变量来进行复制粘贴
复制粘贴进hadoop2中,:wq保存退出就可以了
然后我们source一下profile文件,删除系统自带的java,并将我们的自己安装的java进行一个软连接
验证一下:
hadoop3完全一模一样。这样呢我们的三台服务器都正确的配置好了我们的java运行环境。
七、关闭防火墙
我们先查看防火墙状态
我的防火墙是打开的,我们需要将它关闭
同样的操作,hadop2、hadoop3也执行一遍
八、关闭SELinux功能
重启系统让他生效
接着修改hadoop2,修改hadoop2的时候呢我们将hadoop1重启
九、配置时区并自动时区同步
1.安装ntp软件,三台服务器都得安装
2. 更新时区
在更改之前我们先看一下时间date命令,可以看到时间是不准确的
更改时区,我们删除localtime这个文件
3.同步时间(联网同步)
4.开启ntp服务并且设置开机自启
这里我们可以看到正在运行中,这样呢他就会每隔一段时间就帮我们校准时间
十、设置快照
我们上述内容配置下来花费了很多的时间,真的是来之不易,我们可以通过VMware设置一个快照,防止以后出了问题我们还得重新配置,打上快照就可以恢复到我们拍快照的时候
保存快照之前呢我们需要先关机,这样保存最快,然后我们鼠标右键hadoop1
hadoop2、hadoop3也拍摄快照。
十一、结束啦!
版权归原作者 是啊柒呢 所有, 如有侵权,请联系我们删除。