大数据之 Spark 常用的端口号

Spark 常用的端口号包括：

1. Driver Web UI 端口：4040，这是 Spark 应用程序（Driver）运行时绑定的端口，用于展示任务运行状态、执行进度、任务细节等监控信息。
2. Spark Master 服务端口：7077，这是 Spark 在 Standalone 模式下的主节点（Master）与 Worker 节点通信的服务端口，客户端提交应用时也会连接此端口。
3. Spark Master Web UI 端口：默认为 8080，但这个端口可能会根据实际情况自动调整或手动配置，用户可以通过该端口查看集群的总体状态和各个应用程序的信息。
4. Spark Worker Web UI 端口：默认情况下，Worker 的 Web UI 端口可能不是固定的，通常会是 8081 或者在 808x 范围内，具体取决于启动时的配置或者系统分配的端口。
5. Spark History Server 端口：18080，历史服务器提供已完成作业的持久化存储和查询功能，用户可以在此端口下查看过去运行过的所有 Spark 应用的相关统计信息。

需要注意的是，这些端口号都可以在 Spark 配置文件中进行自定义设置以满足不同的环境需求。