0


spark查看日志

Logger

当 Spark 任务已经提交到集群运行后,可以通过以下几种方式查看

LoggerFactory

输出的日志:

  1. Web 界面:在 Spark 任务运行时,可以通过访问 Spark 的 Web UI 来查看日志。通常,可以在浏览器中输入http://<driver-node>:4040来访问 Spark 的 Web UI,其中<driver-node>是运行 Spark 驱动程序的节点的 IP 地址或主机名。在 Web UI 中,可以查看任务的执行情况、日志输出等信息。
  2. 服务器端日志:Spark 任务的日志通常会输出到服务器端的日志文件中。可以通过登录到运行 Spark 任务的服务器,找到相应的日志文件进行查看。日志文件的位置可能因 Spark 的部署方式和配置而有所不同。一般来说,日志文件可能位于以下目录之一: - /yarn/container-logs/:如果是在 YARN 模式下运行 Spark 任务。- /spark/work/:如果是在 Spark 独立模式下运行任务。- /tmp/logs/:某些情况下,日志可能会存储在临时目录中。
  3. YARN 日志聚合:如果启用了 YARN 的日志聚合功能,可以使用 YARN 的日志收集工具来查看 Spark 任务的日志。可以通过运行yarn logs -applicationId <application-id>命令来收集指定应用程序的日志,其中<application-id>是 Spark 任务的应用程序 ID。
  4. Spark 历史服务器:如果配置了 Spark 历史服务器,可以通过访问历史服务器的 Web UI 来查看过去运行的 Spark 任务的日志。历史服务器会存储任务的执行信息和日志,以便后续查看和分析。

println

在 Spark 任务中,

println

输出的内容会被发送到标准输出(stdout)。要查看这些输出的日志,可以通过以下几种方式:

  1. Web 界面:如果你是通过 YARN 等资源管理器提交 Spark 任务,可以在相应的 Web 界面上查看日志。在 YARN 的 Web 界面中,找到对应的 Spark 任务,点击进入任务详情页面,通常可以在“Logs”或“stdout”选项卡中查看println输出的内容。
  2. 服务器端日志文件:Spark 任务的 stdout 日志通常会输出到服务器上的特定目录。可以通过查找服务器上的日志目录(如 /yarn/container-logs/)来找到对应的日志文件。在日志文件中,可以搜索println输出的内容。
  3. Spark UI:如果任务正在运行中,并且你可以访问 Spark UI,可以在 Spark UI 中查看 stdout 日志。在 Spark UI 的“Executors”选项卡中,找到对应的 executor,然后点击“stdout”链接查看输出的日志内容。

本文转载自: https://blog.csdn.net/qq_44810930/article/details/139983740
版权归原作者 言之。 所有, 如有侵权,请联系我们删除。

“spark查看日志”的评论:

还没有评论