Hadoop/HBase/HDFS 常用默认端口总结列举,以及作用

必须要吐槽一句, 光看这些端口, 就能发现Hadoop设计的复杂性在2020s的今天显得有点格格不入🤯😶, 如今,
如果没有历史包袱, 如果非必要, 还是选择同类替换的应用对需求进行专项专用吧

Hadoop

1. NameNode端口（默认为50070）：用于Web界面和Hadoop分布式文件系统（HDFS）的元数据操作。
2. DataNode端口（默认为50075）：用于DataNode与其他Hadoop节点进行通信，传输数据块。
3. Secondary NameNode端口（默认为50090）：用于Secondary NameNode与NameNode进行通信，协助处理元数据备份和检查点操作。
4. ResourceManager端口（默认为8088）：用于ResourceManager的Web界面和资源管理器的调度和监控。
5. NodeManager端口（默认为8042）：用于NodeManager与ResourceManager进行通信，报告节点的资源使用情况和接收任务。
6. JobHistoryServer端口（默认为19888）：用于JobHistoryServer的Web界面和存储作业历史信息。
7. HDFS通信端口（默认为8020）：用于HDFS客户端与NameNode进行通信，执行文件系统操作。
8. YARN应用程序管理器端口（默认为8032）：用于应用程序管理器与ResourceManager进行通信，提交和管理应用程序。
9. YARN应用程序管理器调度器端口（默认为8030）：用于应用程序管理器与ResourceManager进行通信，获取集群资源。
10. YARN节点管理器本地化端口（默认为8040）：用于节点管理器与本地化服务进行通信，获取应用程序所需的资源。

HBase

HBase

使用以下端口，每个端口有不同的作用：

1. 2181：ZooKeeper端口- 用于HBase与ZooKeeper之间的通信和协调。- HBase依赖于ZooKeeper来管理集群的状态和元数据信息。
2. 16000：HMaster端口- 用于HBase主节点（HMaster）与Region服务器（RegionServer）之间的通信。- HMaster负责管理HBase集群的元数据和协调RegionServer的工作。
3. 16010：HBase网页控制台端口- 用于访问HBase的网页控制台（HBase Web UI）。- 通过该端口可以查看HBase集群的状态、表的信息、RegionServer的指标等。
4. 60000-60020：RegionServer端口范围- 每个RegionServer在该范围内占用一个端口。- 用于处理客户端请求，包括读写操作、Region的分裂和合并等。
5. 9090：Thrift服务器端口- 用于通过Thrift接口访问HBase集群。- Thrift是一种跨语言的远程过程调用（RPC）框架，可以使不同语言的应用程序与HBase进行交互。

HDFS

1. 9000/8020：HDFS通信端口- 用于HDFS客户端与NameNode之间的通信。- 客户端使用该端口与NameNode交互，包括文件系统操作（如读、写、删除文件）和元数据操作（如创建、删除目录）等。
2. 50010：数据节点传输端口- 用于数据节点（DataNode）之间的数据传输。- 数据节点之间通过该端口进行数据块的复制和传输。
3. 50020：数据节点元数据端口- 用于数据节点与NameNode之间的元数据交互。- 数据节点通过该端口向NameNode报告块的信息、心跳和状态。
4. 50070：NameNode网页控制台端口- 用于访问HDFS的网页控制台（NameNode Web UI）。- 通过该端口可以查看HDFS集群的状态、文件系统的信息、块的分布情况等。
5. 50475：安全通信端口- 用于安全模式下的HDFS通信。- 当HDFS启用了安全模式（使用Kerberos等认证机制）时，客户端与NameNode之间的通信将通过该端口进行加密和认证。