Hadoop中 常用端口说明和相关配置文件

1. Hadoop中常用端口说明

端口名称

Hadoop2.x

Hadoop3.x
端口配置
NameNode服务所在服务器的IP和端口号

8020 / 9000

8020 / 9000/9820

core-site.xml

<property>

   <name>fs.defaultFS</name>

   <value>hdfs://hadoop01:8020</value>

</property> HDFS Web UI 的IP和端口号 50070 9870 hdfs-site.xml <property>

  <name>dfs.namenode.http-address</name>

  <value>hadoop01:9870</value>

</property> Yarn Web UI 的IP和端口号 8088

8088

yarn-site.xml

<property>

    <name>yarn.resourcemanager.webapp.address</name>

    <value>RM_IP:8088</value>

</property>

tips：RM_IP = ${yarn.resourcemanager.hostname}
数据传输的datanode服务器地址和端口98669866
hdfs-site.xml

<property> <name>dfs.datanode.address</name> <value>0.0.0.0:9866</value> </property>

​​​​​​

2. Hadoop中常用配置文件说明

2.1 配置文件分类

Hadoop中配置文件分两类: 默认配置文件 、自定义配置文件

**tips: **用户想修改默认值配置时，只需要在自定义文件中修改相应配置项即可(不指定时，使用默认配置)

---

2.2 默认配置文件

**方式1: **从官网查看默认配置项

官网连接：传送门

*方式2: *从 hadoop安装包内 查看
默认配置文件名称*默认配置文件所在的位置*
core-default.xml
$HADOOP_HOME/share/hadoop/common/hadoop-common-3.2.3.jar/core-default.xml
hdfs-default.xml
$HADOOP_HOME/share/hadoop/hdfs/hadoop-hdfs-3.2.3.jar/hdfs-default.xml
yarn-default.xml
$HADOOP_HOME/share/hadoop/yarn/hadoop-yarn-common-3.2.3.jar/yarn-default.xml
mapred-default.xml
$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-core-3.2.3.jar/mapred-default.xml

2.3 自定义配置文件

core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml 四个配置文件存放在 $HADOOP_HOME/etc/hadoop 这个路径上，用户可以根据项目需求重新进行修改配置

core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!-- 指定 NameNode服务 所在服务器的IP和端口号
         用来访问HDFS的 链接
    -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://worker:8020</value>
    </property>

    <!-- 指定 hadoop 数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/software/hadoop-3.2.3/data</value>
    </property>
    
    <!-- 配置 HDFS 网页登录使用的静态用户为 worker01 -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>worker01</value>
    </property>
</configuration>

hdfs-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!-- 指定 namenode web ui IP和端口-->
    <property>
        <name>dfs.namenode.http-address</name>
        <value>worker01:9870</value>
    </property>

    <!-- 指定 secondary namenode web ui IP和端口-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>worker02:9868</value>
    </property>

    <!-- 指定 默认副本数(不指定时，默认为3)
         tips: 创建文件时，可以指定文件的副本个数，如果没有指定，则使用这个默认值
    -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

    <!-- 客户端连接datanode时是否使用datanode主机名(默认值:false)-->
    <property>
        <name>dfs.client.use.datanode.hostname</name>
        <value>true</value>
    </property>

    <!-- 数据传输的datanode服务器地址和端口 -->
    <property>
        <name>dfs.datanode.address</name>
        <value>worker01:9866</value>
    </property>

    <!-- datanode http服务器地址和端口 -->
    <property>
        <name>dfs.datanode.http.address</name>
        <value>worker01:9864</value>
    </property>

</configuration>

yarn-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!-- 指定 MR 走 shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <!-- 指定 ResourceManager服务 的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>worker01</value>
    </property>

    <!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>
            JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME
        </value>
    </property>

</configuration>

mapred-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!-- 指定 MapReduce 程序运行在 Yarn 上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    
</configuration>