前提: 从母机克隆三台
一.克隆机更改 ip
// [root@Hadoop 桌面]# vim /etc/udev/rules.d/70-persistent-net.rules
// [root@Hadoop 桌面]# vim /etc/sysconfig/network-scripts/ifcfg-eth0
二. 检查是否更改成功
// ip addr / ifconfig
// 重启网络 service network restart
// 重启 reboot
三. 更改主机名
// [root@Hadoop 桌面]# vim /etc/sysconfig/network
// 需要重启才可以生效
四.改映射
// [root@Hadoop 桌面]# vim /etc/hosts
// 例如:
192.168.6.77 hadoop11
192.168.6.78 hadoop22
192.168.6.79 hadoop33
五.关闭防火墙
// 关闭
// service iptables stop
// 关闭开机自动启动
// chkconfig iptables off
六.连接xshell
七.搭建hadoop集群
// tar -zxf ? -C ?
// hadoop1/2/3环境配置
// vim /etc/profile
/**
#HADOOP_HOME
export HADOOP_HOME=/opt/en/hadoop-2.7.2/
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
*/
// 刷新
// source /etc/profile
// 查询配置是否成功
// hadoop version
// 其他
八.传输给其他两台
// rsync -av ? root@主机名:?
// 两台:配置环境变量 + 刷新 + 测试
// 其他
九.配置集群
// cd /etc/hadoop/
// vim core-site.xml
/**
<!--1、NameNode地址:ip/主机名+端口-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://Hadoop1:9000</value>
</property>
<!--2、Hadoop运行数据目录:地址-->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/en/hadoop-2.7.2/data/tmp</value>
</property>
*/
// vim hadoop-env.sh
// 在末尾加上
/**
#JAVA_HOME
export JAVA_HOME=/opt/en/jdk1.8.0_144
//
#JAVA_HOME
export JAVA_HOME=/opt/en/jdk1.8.0_144
*/
// vim hdfs-site.xml
/**
<!--副本数3-->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!--2、snn配置:主机名/ip+端口-->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>Hadoop2:50090</value>
</property>
*/
// vim yarn-env.sh
// 在末尾加上
/**
#JAVA_HOME
export JAVA_HOME=/opt/en/jdk1.8.0_144
*/
// vim yarn-site.xml
/**
<!--1、reducer的获取数据的方式-->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!--2、rm的位置-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>Hadoop3</value>
</property>
*/
// vim mapred-env.sh
// 在末尾加上
/**
#JAVA_HOME
export JAVA_HOME=/opt/en/jdk1.8.0_144
*/
// 改名
// cp mapred.xml.template mapred-site.xml
// vim mapred-site.xml
/**
<!--1.指定mr运行自YARN上-->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
*/
十.传输
// rsync -av /opt/en/hadoop/ root@hadoop:/opt/en/hadoop/
十一.单启
// 集群启动第一要格式化__转到hadoop目录下
// hdfs namenode -format
// 1
// hadoop-daemon.sh start namenode
// 1/2/3
// hadoop-daemon.sh start datanode
// jps
十二.群起
// cd ~/.ssh/
// ssh.keygen -t rsa
// ll
// 是否有 id_rsa
// 传1/2/3
// ssh-copy-id hadoop1/2/3
// 测试
// ssh hadoop2/3
// 群起配置
// cd /opt/en/hadoop-2.7.2/ect/hadoop/
// vim slaves
// 删除原所有 +
/**
// 对应主机名
hadoop1
hadoop2
hadoop3
*/
// 传输给hadoop2/3
标签:
大数据
本文转载自: https://blog.csdn.net/qq_59506101/article/details/125504072
版权归原作者 唯见长江 所有, 如有侵权,请联系我们删除。
版权归原作者 唯见长江 所有, 如有侵权,请联系我们删除。