0


Hadoop集群的搭建(结束)——修改hadoop配置文件以及启动集群服务

Hadoop集群搭建(一)—— Liunx网络、主机名配置,多台虚拟机的相互连通和远程登陆

Hadoop集群搭建(二)—— Linux系统SSH远程双向免密登陆

Hadoop集群搭建(三)—— JDK和Hadoop的安装和环境配置

首先确保虚拟机都完成了网卡、主机名、hosts文件等配置

确保安装了jdk和hadoop并且配置了环境变量,最好都是同样的路径

确保虚拟机之间都能互相ping通以及两两之间能够ssh免密登陆

我这里创建了三台虚拟机,配置信息如下
ip地址主机名节点192.168.3.9hadoop01主节点192.168.3.10hadoop02子节点192.168.3.11hadoop03子节点

配置开始

下面的操作都在主节点操作(配置完可以通过scp拷贝给子节点,省时间)

接下来我们就开始最后的hadoop配置,打开hadoop安装目录

然后进入 etc/hadoop目录下,这里面就是hadoop的配置文件了

** (1)修改 hadoop-env.sh 文件**

找到下图位置,将注释去掉,路径改成自己的jdk安装路径

** (2)修改 yarn-env.sh 文件**

找到如图位置,去掉注释,将路径改成自己的jdk安装路径

** (3)修改 core-site.xml 文件**

在配置文件中添加如下信息

<!-- hadoop的核心配置文件 -->
<configuration>
        <property>
                <!-- 指定namenode(主节点)在hadoop01虚拟机上 -->
                <name>fs.defaultFS</name>
                <value>hdfs://hadoop01:9000</value>
        </property>
        <property>
                <!-- 块大小 -->
                <name>io.file.buffer.size</name>
                <value>131072</value>
        </property>
        <property>
                <!-- hadoop的临时目录 -->
                <name>hadoop.tmp.dir</name>
                <value>file:/usr/hadoop/tmp</value>
        </property>
</configuration>

(4)修改 hdfs-site.xml 文件

在配置文件中添加如下信息

<!-- 配置datanode(子节点)进程 -->
<configuration>
        <property>
               <name>dfs.namenode.name.dir</name>
               <value>file:/usr/hadoop/dfs/name</value>
        </property>
        <property>
               <name>dfs.namenode.data.dir</name>
               <value>file:/usr/hadoop/dfs/data</value>
        </property>
        <property>
                <!-- 指定HDFS副本的数量(一般几个子节点就设置为几个) -->
                <name>dfs.replication</name>
                <value>2</value>
        </property>
</configuration>

(5)修改 mapred-site.xml 文件

该文件时默认不存在的,需要指令 cp mapred-site.xml.template mapred-site.xm 复制一份出来

然后添加如下信息(hadoop01是主节点的主机名)

<!-- MapReduce的核心配置文件,指定MapReduce的运行框架为YARN -->
<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
               <name>mapreduce.jobhistory.address</name>
               <value>hadoop01:10020</value>
        </property>
        <property>
               <name>mapreduce.jobhistory.webapp.address</name>
               <value>hadoop01:19888</value>
        </property>
</configuration>

(6)修改 yarn-site.xml 文件

hadoop01是主节点的主机名

<configuration>
<!-- 指定YARN集群的管理者(ResourceManager)的地址 -->
<!-- Site specific YARN configuration properties -->
        <property>
               <name>yarn.resourcemanager.address</name>
               <value>hadoop01:8032</value>
        </property>
        <property>
               <name>yarn.resourcemanager.scheduler.address</name>
               <value>hadoop01:8030</value>
        </property>
        <property>
               <name>yarn.resourcemanager.resource-tracker.address</name>
               <value>hadoop01:8031</value>
        </property>
        <property>
               <name>yarn.resourcemanager.admin.address</name>
               <value>hadoop01:8033</value>
        </property>
        <property>
               <name>yarn.resourcemanager.webapp.address</name>
               <value>hadoop01:8088</value>
        </property>
        <property>
                <!-- NodeManager的附属服务 -->
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <property>
               <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
               <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
</configuration>

(7)修改 masters 文件

这个文件没有的,需要创建编写,指令 vi masters

写主节点的IP地址或者主机名都可以

(8)修改 slaves 文件

这里写子节点的配置信息,IP地址或者主机名都可以,最好跟(7)一致

** (9)拷贝给子节点**

将配置好的配置文件的文件夹发给其他节点

[root@hadoop01 hadoop]# scp -r hadoop hadoop02:/export/servers/hadoop-2.7.3/etc/
[root@hadoop01 hadoop]# scp -r hadoop hadoop03:/export/servers/hadoop-2.7.3/etc/

(10)创建目录(主节点操作)

[root@hadoop01 hadoop]# mkdir /usr/hadoop/tmp -p
[root@hadoop01 hadoop]# mkdir /usr/hadoop/dfs/name -p
[root@hadoop01 hadoop]# mkdir /usr/hadoop/dfs/data -p

(11)赋予权限

//添加用户组
[root@hadoop01 hadoop]# groupadd hadoop
[root@hadoop01 hadoop]# useradd -g hadoop hadoop -s /bin/false

//赋予权限
[root@hadoop01 hadoop]# chown -R hadoop:hadoop /usr/hadoop/

(12)将/usr/hadoop拷贝给子节点

[root@hadoop01 hadoop]# scp -r /usr/hadoop/ hadoop02:/usr/
[root@hadoop01 hadoop]# scp -r /usr/hadoop/ hadoop03:/usr/

(13)配置变量(全部子节点,主节点不用)

修改/etc/profile配置文件,在文件尾部添加如下信息,指令 vi /etc/profile

#set hadoop environment
export HADOOP_HOME=/usr/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

添加完之后,输入指令使配置文件生效(全部都要)

[root@hadoop01 hadoop]# source /etc/profile

(14)权限

全部子节点按 (11) 操作赋予权限

(15)格式化(主节点上)

[root@hadoop01 hadoop]# hadoop namenode -format

出现 successfully 就说明成功了,否则的会提示报错

** (16)启动集群(主节点上)**

start-all.sh是一键启动的指令(必须要求互相之间能够免密登陆)

[root@hadoop01 hadoop]# start-all.sh

(17)查看节点状态

可以输入 jps 查看虚拟机的状态(只能看自己的)

输入 hdfs dfsadmin -report 可以查看所有节点的信息

同时我们还可以在windows浏览器上查看界面

首先在主节点上关闭防火墙

[root@hadoop01 hadoop]# systemctl stop firewalld.service

然后修改windows的hosts的文件(C:\Windows\System32\drivers\etc),在顶部加入如下信息

192.168.3.9 Hadoop01
192.168.3.10 hadoop02
192.168.3.11 hadoop03

最后打开浏览器输入地址 hadoop01:50070 (HDFS文件系统)

输入地址 hadoop01:8088 (YARN服务)

跟着上面的步骤肯定没有问题,如有问题报错,评论区说明即可,我会立马回复解决

标签: hdfs java hadoop

本文转载自: https://blog.csdn.net/weixin_47971206/article/details/121364746
版权归原作者 全栈小袁 所有, 如有侵权,请联系我们删除。

“Hadoop集群的搭建(结束)——修改hadoop配置文件以及启动集群服务”的评论:

还没有评论