1. HDFS（Hadoop Distributed File System）相关端口
端口号组件/服务作用8020NameNode RPCNameNode的远程过程调用(RPC)端口，用于处理客户端和DataNode的请求。9870NameNode的HTTP UI端口用于通过Web界面查看HDFS集群的状态、配置、存储等信息。50070NameNode WebHDFSNameNode的WebHDFS端口，通过HTTP协议提供对HDFS的访问。50020DataNode的IPC（Inter-Process Communication）服务端口用于与NameNode进行内部通信。9000NameNode HTTP（非高可用）NameNode的HTTP服务端口，用于Web界面访问（如HDFS的Web UI）。在高可用配置中，此端口可能不常用。50010DataNode 数据传输用于HDFS内部的数据传输，例如DataNode与NameNode之间、DataNode与客户端之间的数据读写操作。同时，这也是DataNode的IPC（Inter-Process Communication）端口，用于接受来自NameNode或其他DataNode的命令和状态同步请求。50075DataNode HTTPDataNode的Web界面端口，通常用于查看DataNode的状态和报告。但需要注意的是，这个端口并不总是默认开启的，且其Web界面可能不如NameNode的Web界面详细。50090Secondary NameNode WebSecondary NameNode的Web浏览器访问端口，用于定期合并编辑日志。8485JournalNode 的RPC服务端口用于与NameNode等组件通信，保障HDFS元数据的持久化存储。8480JournalNode 的HTTP服务端口提供JournalNode的Web界面。8019ZooKeeper Failover Controller的端口用于NameNode的高可用性（HA）配置中，与ZooKeeper集群通信以管理NameNode的自动故障转移。
- 端口号可能会根据Hadoop的配置和版本有所不同。以上列出的是Hadoop 2.x和Hadoop 3.x中的常见端口。
- Hadoop的配置文件（如
core-site.xml和hdfs-site.xml）中定义了这些端口的值，可以通过修改这些配置文件来自定义端口号。 - 如果需要查看或修改这些端口，可以直接编辑Hadoop的配置文件，并使用Hadoop提供的命令行工具或Web界面进行验证。
2. YARN（Yet Another Resource Negotiator）相关端口
端口号组件/服务作用8088YARN ResourceManager Web UIYARN集群的ResourceManager的Web UI端口，用于监控和管理集群中的资源和任务。8032YARN ResourceManager IPCResourceManager的IPC端口，用于ResourceManager与其他YARN组件（如NodeManager）之间的内部通信。8030ResourceManager的Scheduler组件的IPC端口ResourceManager的Scheduler组件的IPC端口，用于处理与资源调度相关的请求。8041NodeManager的Web UI端口（注意：这个端口号在官方文档中可能不常见，但通常NodeManager也会有一个用于内部通信或Web UI的端口，具体端口号可能因配置而异）：NodeManager的Web UI端口（具体端口号可能根据配置不同而有所变化），用于查看节点上的资源使用情况和正在运行的任务信息。然而，需要注意的是，并非所有版本的Hadoop或YARN配置都会默认开启NodeManager的Web UI。（随机）NodeManagerNodeManager的HTTP服务端口，用于执行任务并管理容器。默认情况下，使用随机端口，可以通过配置文件修改。
- 端口号可能会根据Hadoop和YARN的配置以及版本而有所不同。因此，在查看或修改端口号时，请参考具体的Hadoop和YARN配置文件（如
yarn-site.xml）。 - YARN的Web UI和IPC端口对于集群的管理和监控至关重要，因此请确保这些端口在防火墙和安全组规则中是被允许的。
- 如果需要自定义端口号，可以通过修改Hadoop和YARN的配置文件来实现，并在重启集群后生效。
3. MapReduce相关端口
MapReduce作业的执行情况主要通过YARN ResourceManager的Web UI（即8088端口）来查看。虽然MapReduce本身不直接提供特定的Web UI端口，但其作业的日志和输出通常会存储在HDFS上，因此与HDFS相关的端口（如50070或9870，取决于Hadoop的版本）也可能用于间接地查看MapReduce作业的输出和日志。
4. 其他Hadoop生态组件端口
端口号组件/服务作用9083Hive MetastoreHive Metastore服务的默认监听端口，用于存储和管理Hive的元数据。10000Hive JDBCHive JDBC服务的端口，允许通过JDBC协议连接到Hive服务。60010HBase Master Web UI（旧）HBase Master的Web UI端口，用于监控和管理HBase集群的状态。16010HBase Master Web UI（新）在Hadoop新版本中，HBase Master的Web UI可能使用此端口。60030HBase RegionServer Web UIHBase RegionServer的Web UI管理端口，提供RegionServer的状态和性能信息。7077Spark MasterSpark集群中Master节点与Worker节点进行通信的端口。8080Spark Master Web UISpark Master的Web UI端口，用于监控和管理Spark作业和集群状态。8081Spark Worker Web UISpark Worker的Web UI端口，提供Worker节点的状态和性能信息。4040Spark Driver Web UISpark应用程序的Driver节点的Web UI端口，用于查看应用程序的运行状态和日志。2181ZookeeperZookeeper客户端连接的端口，用于集群管理和协调。9092KafkaKafka集群节点之间通信的RPC端口。
版权归原作者 长风清留扬 所有， 如有侵权，请联系我们删除。