文章目录
前言
随着计算机的发展,越来越多的人认识到大数据的优点,这时就不得不提Hadoop,Hadoop能够处理海量数据的存储和海量数据的分析计算问题,具有4高优势:
(1)高可靠性:Hadoop底层维护多个数据副本,所以即使Hadoop某个计算元素或存储出现故障,也不会导致数据的丢失。
(2)高扩展性:在集群间分配任务数据,可方便的扩展数以千计的节点。
(3)高效性:在MapReduce的思想下,Hadoop是并行工作的,以加快任务处理速度。
(4)高容错性:能够自动将失败的任务重新分配。
因此,学习Hadoop是必不可少的,本文将带领大家一起搭建centOS7
一、CentOS 7是什么?
定义:
CentOS 7是CentOS项目发布的开源类服务器操作系统,于2014年7月7日正式发布。CentOS 7是一个企业级的Linux发行版本,它源于RedHat免费公开的源代码进行再发行。 CentOS 7内核更新至3.10.0、支持Linux容器、支持Open VMware Tools及3D图像即装即用、支持OpenJDK-7作为缺省JDK、支持内核空间内的iSCSI及FCoE、支持PTPv2等功能。
优点:
其优点包括:命令行工具;可轻松自我启动集群,即初始化集群并使其开始运行;可配置集群选项;可添加、删除或者修改资源及其之间的关系。 CentOS 7提供大量资源代理。 资源代理时集群资源的标准化接口。
二、安装步骤
前提:
1、下载好VMwareWorkstation,此文章使用VMware 16pro版本;
VMware是VMware公司出品的一个多系统安装软件。你可以在一台电脑上将硬盘和内存的一部分拿出来虚拟出若干台机器,每台机器可以运行单独的操作系统而互不干扰,这些“新”机器各自拥有自己独立的CMOS、硬盘和操作系统,你可以像使用普通机器一样对它们进行分区、格式化、安装系统和应用软件等操作,还可以将这几个操作系统联成一个网络。在虚拟系统崩溃之后可直接删除不影响本机系统,同样本机系统崩溃后也不影响虚拟系统,可以下次重装后再加入以前做的虚拟系统。同时它也是唯一的能在Windows和Linux主机平台上运行的虚拟计算机软件。VMware虚拟机软件不需要重开机,就能在同一台电脑使用好几个OS,不但方便,而且安全。
2、提前下载centOS镜像,本文配置过程使用的是centOS 7;
3、搭建还需要Xshell的使用,可以下载学生/老师使用的free版。
虚拟机下载地址:https://www.vmware.com/cn/products/workstation-pro/workstation-pro-evaluation.html
Windows镜像下载地址:https://vault.centos.org/
Mac版本镜像下载地址:http://www.ylmf5.com/xtxzylmf/3472.html
1.创建虚拟机
打开VMware软件,点击创建新的虚拟机!
虚拟机文件比较大,最好不要放在C盘,选择有足够内存的位置,之后可能因为权限问题带来不必要的麻烦,但要保持所选磁盘容量至少有60GB多。
可以给虚拟机取个名字,并换一个安装路径,否则默认安装在C盘
🌰:
2. 启动虚拟机安装
选择语言,此处选择中文,安装过程中界面显示是中文
网络和主机名打开
软件选择项选择最小安装,其他的根据提示完成即可;
安装位置提示感叹号,只需进入再点击完成即可恢复
设置ROOT密码,统一设置为123456(可根据自己想法设置)
等待安装完成重启即可
3. 编辑虚拟机设置
这里内存设置为4GB,处理器设置为4。(可根据自己电脑的配置选择)
配置centOS,使用下载好的映像文件
登录node01,查看是否安装成功
4.配置网络
注意:配置网络前一定要关闭虚拟机。
打开设置中的网络和Internet设置—以太网—更改适配器选项,其中VMnet1、VMnet8都是虚拟机生成的,右击VMnet8—属性—网络–Internet协议版本4(TCP/IPv4),修改以下五个ip地址。
在虚拟机中点击编辑,打开虚拟网络编辑器,点击更多设置,NAT模式,修改子网ip和子网掩码,然后点击NAT设置,修改网关地址(此地址需与网络适配器的网关保持一致)
启动虚拟机,测试网络是否连通
设置IP地址,修改配置文件
vi /etc/sysconfig/network-scripts/ifcfg-ens33
修改
BOOTPROTO=static
ONBOOT=yes
添加
IPADDR=192.168.67.110
NETMASK=255.255.255.0
GATEWAY=192.168.67.2
DNS1=8.8.8.8
DNS2=114.114.114.114
配置node01的主机名
vi /etc/hostname
reboot 重启
网络重启
systemctl restart network
查看网络状态
systemctl status network
验证是否网络通畅
ping baidu.com
5. 复制虚拟机
打开虚拟机所在文件夹,点击node01文件夹复制三份,并分别重命名
使用VMware打开并重命名为node02,node03
分别设置三台虚拟机内存,内存设置为2GB,处理器设置为2。
三台虚拟机分别重新生成Mac地址,每台虚拟机的Mac地址都不同,在虚拟机关机的情况下右键–设置–硬件-网络适配器-NAT模式–高级–Mac地址–生成。
6. 配置node02和node03环境
分别启动node02和node03,进入后选择我已移动该虚拟机
分别修改node02和node03的主机名
vi /etc/hostname
分别修改node02和node03的配置文件的IP地址
vi /etc/sysconfig/network-scripts/ifcfg-ens33
重启node02和node03
reboot
再次重新ping一下网络
7. 配置映射
分别配置三台虚拟机的映射
vi /etc/hosts
192.168.67.110 node01 node01.hadoop.com
192.168.67.120 node02 node02.hadoop.com
192.168.67.130 node03 node03.hadoop.com
配置本机映射文件(C:\Windows\System32\drivers\etc)
hosts文件单击右键—属性—安全—编辑—User—确定—使用记事本打开
192.168.67.110 node01
192.168.67.120 node02
192.168.67.130 node03
再次重启,测试node01、node02、node03是否能连通;
ping www.baidu.com测试网络是否配置正确,之后node01,node01,node03相互ping一下,ping通证明映射配置成功(ctrl+c停止ping命令)。
8. 关闭防火墙
在三台虚拟机上分别关闭防火墙,关闭防火墙并设置开机不启动。(如若不关闭防火墙,之后安装的组件可能会被拦截,比如马上要设置的免密登录。)
Systemctl stop firewalld
Systemctl disabled firewalld
Systemct status firewalld
9. 关闭SElinux
SElinux在Hadoop中用不到
vi /etc/selinux/config
SELINUX=disabled
#把SELINUX值改为disabled
10. Xshell连接linux
Xshell是一个强大的安全终端模拟软件,它支持SSH1、SHH2、以及Microsoft Windows 平台的TELNET协议。Xshell通过互联网到远程主机的安全连接以及它创新性的设计和特色帮助用户在复杂的网络环境中享受他们的工作。Xshell可以在 Windows 界面下用来访问远端不同系统下的服务器,从而比较好的达到远程控制终端的目的。
① 新建会话
② 进行身份验证
③ 弹出的窗口点击接受并保存(node01、node02、node03三个会话同样过程)
11. 免密登录
Hadoop配置时,配置节点众多,使用免密登录会减少很多的麻烦。
原理:
需要在B节点配置A节点的公钥
A节点请求B节点,要求登陆
B节点使用A节点的公钥,加密一段随机文本
A节点使用私钥解密,并发回给B节点
B节点验证文本是否正确
三台机器分别生成各自的私钥和公钥(按3次回车)
检查公钥是否正确
拷贝三台机器的公钥到第一台机器
同步node01的认证到其他机器上并进行验证
免密登录配置成功。
到此centOS 7 系统虚拟机节点搭建完成啦!🎉
总结
这里就是节点搭建的步骤了,我们在搭建的过程中可能会出现一些问题,有时可能自行解决不了,所以大家根据需求可以对每个步骤进行快照管理,出现问题随时回滚到没有问题的一步。
!!!做快照一定要关机哦
连接成功我们大部分只需要在Xshell上操作,因为Xshell是目前最好的远程登录到Linux操作的软件,速度流畅,解决了中文乱码问题,是强大的安全终端模拟软件,Xshell可以在Windows界面下用来访问不同系统下的服务器,从而远程控制终端,大家可以学习一些基本的操作命令,操作简单方便。节点搭建过程不算很难,但是可能因为不细心导致一些细微的小问题,例如:文件配置时输入单词出错、地址映射错误或缺失、忘记关闭虚拟机就进行复制虚拟机等,也有可能出现网络不好的问题。这是我们搭建的过程,分享给大家,如果有什么错误与不足,请多多交流呀!✌
版权归原作者 在山海相见 所有, 如有侵权,请联系我们删除。