相关软件下载链接:
Xshell:家庭/学校免费 - NetSarang Website
Xftp:家庭/学校免费 - NetSarang Website
Xshell与Xftp官网:XSHELL - NetSarang Website
Jdk:百度网盘 请输入提取码 提取码:jdhp
Hadoop:百度网盘 请输入提取码 提取码:jdhp
需要配置好的虚拟机与相关环境的,可以点击我的这篇文章获取:Hadoop大数据平台搭建环境 提供虚拟机相关配置_Crazy.宥思的博客-CSDN博客
1、在原来虚拟机的基础上再克隆两台虚拟机
(1)右键点击虚拟机,点击管理,点击克隆,此步骤重复两次
(2)检查克隆机的ip地址是否与原虚拟机不同,若不同则要修改,我这里在克隆的时候就自动变化了ip地址,故不需要修改
2、修改机器名
(1)在下图红箭头处输入修改名:stu2
命令:vi /etc/hostname
(2)另外两台虚拟机也照此操作即可
(3)重启这三台虚拟机
命令:reboot
改完以后这三台虚拟机的名字分别为:stu、stu2、stu3
3、关闭防火墙
(1)查看防火墙是否关闭
![](https://img-blog.csdnimg.cn/ea57f4d7ff9d4bc1821b70ac8715b930.png)
由于初始虚拟机上防火墙就已关闭,所以另外两台克隆机的防火墙也处于关闭状态
4、配置三台主机免密登录
(1)首先在stu(stu2、stu3)上,生成ssh密匙
命令:ssh-keygen -t rsa
回车,在接下来的提示中一直回车,不用输入内容
stu:
stu2:
stu3:
在家目录下的.ssh目录中出现以下两个密钥文件:
stu:
stu2:
stu3:
(2)在stu(stu2、stu3)机器上,将目录切换到.ssh目录下
命令:cd ~/.ssh
(3)在.ssh目录下新建文件authorized_keys文件
命令:touch authorized_keys
(4)将id_rsa.pub文件内容拷贝到authorized_keys文件中
命令:cat id_rsa.pub >> authorized_keys
(5)查看authorized_keys文件中的内容
命令:cat authorized_keys
![](https://img-blog.csdnimg.cn/10a9252c9d534dcf9750f7c37d716a23.png)
(6)将stu上.ssh目录下的authorized_keys文件发送到stu2相应的目录下
命令:scp authorized_keys 192.168.80.129:$PWD
在提示后面输入yes,回车
然后输入密码,回车,完成传输
(7)切换到stu2机器上,进入~/.ssh目录中
命令:cd ~/.ssh
(8)将stu2上.ssh目录中id_rsa.pub文件内容拷贝到authorized_keys文件中
命令:cat id_rsa.pub >> authorized_keys
(9)将stu2上.ssh目录中的authorized_keys文件发送到stu3相应的目录下
命令:scp authorized_keys 192.168.80.130:$PWD
在提示中输入yes,回车,然后输入密码
(10)切换到stu3机器上,进入~/.ssh目录中
命令:cd ~/.ssh
(11)将stu3上.ssh目录中id_rsa.pub文件内容拷贝到authorized_keys文件中
命令:cat id_rsa.pub >> authorized_keys
(12)将stu3上.ssh目录中authorized_keys文件回传给stu1和stu2
命令:scp authorized_keys 192.168.80.128:$PWD
scp authorized_keys 192.168.80.129:$PWD
(13)验证(在stu上)
命令:ssh 192.168.80.130
5、建立主机名与IP地址的映射
(1)打开/etc/hosts文件(在stu上)
命令:vi /etc/hosts
在文件中添加:
192.168.80.128 stu
192.168.80.129 stu2
192.168.80.130 stu3
修改完毕后按ESC键,保存退出
(2)将stu上/etc/hosts文件分别分发到stu2、stu3上。
命令:scp /etc/hosts 192.168.180.129:/etc/
scp /etc/hosts 192.168.180.130:/etc/
(3)验证,在stu上ping stu2和stu3
命令:ping 192.168.80.129
命令:ping 192.168.80.130
6、安装JDK(三台机器都需要安装JDK,以stu为例,其它两台操作是一样的)
(1)首先检查系统中是否自带JDK
命令:rpm -qa | grep jdk
![](https://img-blog.csdnimg.cn/c9ba83ac064740bd86d8b2c2d490892e.png)
(2)用xftp软件将jdk上传到linux的用户家目录下
(3)在根目录下建服务器软件服务目录
命令:mkdir -p /exports/servers
(4)将家目录下的jdk解压到/exports/servers目录下
命令:tar -zxvf jdk-11.0.7_linux-x64_bin.tar.gz -C /exports/servers
(5)查看/exports/servers目录下是否有解压后的文件
命令:ls /exports/servers
![](https://img-blog.csdnimg.cn/7c4f12c3591b4ae5965e956a20618212.png)
(6)配置环境变量
1)将JDK的根目录复制下来,将目录切换到JDK的根目录下
命令:cd /exports/servers/jdk-11.0.7/
2)复制出现的路径
命令:pwd
3)打开环境变量配置文件
命令:vi /etc/profile
4)在文件末尾添加:
export JAVA_HOME=/exports/servers/jdk-11.0.7
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
5)保存并退出
(6)重启配置文件并验证环境变量是否配置成功
命令:source /etc/profile
命令:java -version
(7)将stu上的/exports目录的内容分别传输到stu2和stu3上
命令:scp -r /exports stu2:/
scp -r /exports stu3:/
(8)将stu上的/etc/profile环境变量配置文件分别发送到stu2和stu3上
命令:scp /etc/profile stu2:/etc/
scp /etc/profile stu3:/etc/
(9)在stu2和stu3上分别执行 source /etc/profile 命令
(10)分别验证stu2和stu3上的环境变量是否配置成功
stu2:
stu3:
7、安装Hadoop(三台机器都需要安装Hadoop,操作都一样,以stu操作为例)
(1)通过传输软件将hadoop-2.7.2.tar.gz上传到stu的root的家目录下
(2)将hadoop-2.7.2.tar.gz解压到/exports/servers目录下
命令:tar -zxvf hadoop-2.7.2.tar.gz -C /exports/servers/
(3)切换到/exports/servers/hadoop-2.7.2目录下
命令:cd /exports/servers/hadoop-2.7.2
(4)在Hadoop的根目录下新建datas目录
命令:mkdir datas
(5)配置Hadoop
进入etc/hadoop目录下,
命令:cd /exports/servers/hadoop-2.7.2/etc/hadoop/
依次修改本目录下的:hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml以及slaves文件:
- 修改hadoop-env.sh文件,在该文件中主要就是配置JAVA_HOME
命令:vi hadoop-env.sh
- 修改core-site.xml
命令:vi core-site.xml
- 修改hdfs-site.xml
命令:vi hdfs-site.xml
- 修改mapred-site.xml文件
- 在hadoop下没有mapred-site.xml文件,我们需要将mapred-site.xml.template文件修改为mapred-site.xml
命令:cp mapred-site.xml.template mapred-site.xml
打开mapred-site.xml文件
命令:vi mapred-site.xml
- 修改yarn-site.xml
命令:vi yarn-site.xml
- 配置slaves文件
命令:vi slaves
删除localhost,在文件中加入以下内容:
stu
stu2
stu3
- 将hadoop根目录下的bin中命令加入系统PATH中
命令:vi /etc/profile
加入以下内容
最终文件如下:
export HADOOP_HOME=/exports/servers/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
- 验证hadoop
命令:hadoop version
出现如下界面,证明hadoop命令的环境变量配置成功
- 将/exports/servers下hadoop-2.7.2目录中的内容复制到stu2和stu3上
命令:scp -r /exports/servers/ hadoop-2.7.2/ stu2:/exports/servers/
scp -r /exports/servers/ hadoop-2.7.2/ stu3:/exports/servers/
- 将stu上的/etc/profile文件复制到stu2和stu3中
命令:scp /etc/profile stu2:/etc/
scp /etc/profile stu3:/etc/
在stu2和stu3上分别执行命令:source /etc/profile,让环境变量立即生效
8、启动和验证hadoop集群
(1)格式化namenode(stu上执行)
命令:hadoop namenode -format
(2)启动集群(stu上执行)
将目录切换到hadoop的sbin目录下:
命令:cd /exports/servers/hadoop-2.7.2/sbin/
执行命令:./start-dfs.sh
(3)验证集群是否启动成功
命令:jps
stu:
stu2:
stu3:
(4)打开浏览器,在浏览器中输入http://192.168.80.128:50070/
版权归原作者 Crazy.宥思 所有, 如有侵权,请联系我们删除。