前言:
在大数据和分布式计算领域,搭建伪分布式系统是一种常见的实验和开发方式。伪分布式系统,也称为模拟分布式系统或模拟集群,主要用于模拟真实的分布式环境,以便进行开发和测试。在搭建伪分布式系统之前,了解其目的和优势是至关重要的。
一、前期准备工作
准备工作一准备一台centOS6的虚拟机、一台Windows11的笔记本电脑准备工作二准备好Hadoop3.x以上的压缩包准备工作三准备好jdk8的压缩包
二、组网搭建
1.配置网络IP
1.1.将虚拟机网络的连接改成自定义模式(VMnet8模式)
注:静态网络的配置在另外一篇博客里
1.2.修改ifcfg-eth0网络配置
1.3.重新启动网络服务
service network restart
1.4.测试配置的IP、网关能否ping通
2.关闭防火墙
2.1.临时关闭防火墙
2.1.1.查看防火墙状态
service iptables status
2.1.2.关闭防火墙
service iptables stop
2.2.永久关闭防火墙
chkconfig iptables off
3.修改主机名
3.1.临时修改主机名
hostname Master
注:这个根据自己的需求改!
3.2.永久修改主机名
vim /etc/sysconfig/network
注:修改里面的hostname,其他的不要动!
4.绑定主机IP和主机名
vim /etc/hosts
到此,便完成了组网的搭建!
三、配置Hadoop伪分布式集群
注:创建普通用户去搭建!
1.创建普通用户、配置免密登录
#创建hd普通用户
useradd hd
#修改其密码
passwd hd
#配置免密钥
ssh-keygen -t rsa
#切入.ssh目录下
cd .ssh/
#将公钥复制到公钥库
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
配置免密登录成功!
2.创建一个目录,用于管理上传的jdk和Hadoop压缩包
- 注:根据自己的喜爱创建,不想创建也可以!
- 进入创建的software目录下
- 将jdk和Hadoop压缩包上传到该目录下
3.解压jdk和Hadoop、配置java、Hadoop环境变量
- 解压
- 配置环境变量
#配置用户环境变量
vim .bash_proile
#刷新环境变量
source .bash_profile
4.配置Hadoop集群所需的核心文件
4.1.在software目录下创建hadooptmp目录
- 用于存放初始化Hadoop时产生的数据
4.2.在hadoop-env.sh文件中添加jdk安装路径
#切到该目录下
cd hadoop-3.3.0/etc/hadoop/
#编辑hadoop-env.sh
vim hadoop-env.sh
4.3.配置core-site.xml文件
vim core-site.xml
4.4.配置hdfs-site.xml文件
vim hdfs-site.xml
4.5.配置mapred-site.xml文件
vim mapred-site.xml
4.6.配置yarn-site.xml文件
vim yarn-site.xml
4.7.配置works文件
vim works
5.格式化namenode
hadoop namenode -format
6.启动Hadoop伪分布式集群
start-all.sh
- 查看集群9870端口
- 查看集群8088端口
到此,Hadoop伪分布式集群就搭建成功了!
版权归原作者 菩萨也落难 所有, 如有侵权,请联系我们删除。