Dataproc 作业输出和日志

当您提交 Dataproc 作业时， Dataproc 会自动收集 并将其提供给您使用这意味着您可以 快速查看作业输出 连接到集群，或者查看复杂的日志 文件。

Spark 日志

Spark 日志有两种类型：Spark 驱动程序日志和 Spark 执行器日志。 Spark 驱动程序日志包含作业输出；Spark 执行器日志包含作业可执行文件 或启动器输出，例如 spark-submit“Submitted application xxx”消息和 有助于调试作业失败问题。

Dataproc 作业驱动程序（与 Spark 驱动程序不同） 是许多作业类型的启动器。启动 Spark 作业时，它会以 用于启动 Spark 的底层 spark-submit 可执行文件上的封装容器。 Spark 驱动程序在 Spark 中的 Dataproc 集群上运行作业 client 或 cluster 模式：

• client 模式：Spark 驱动程序在 spark-submit 进程中运行作业， 和 Spark 日志会发送到 Dataproc 作业驱动程序。

• cluster 模式：Spark 驱动程序在 YARN 容器中运行作业。Spark 驱动程序 Dataproc 作业驱动程序无法获取日志。

Dataproc 和 Spark 作业属性概览

属性	值	默认	说明
dataproc:dataproc.logging.stackdriver.job.driver.enable	true 或 false	false	必须在创建集群时设置。当 true 时， 作业驱动程序输出位于 Logging， 与作业资源相关联；当 false，作业驱动程序 输出不在 Logging 中。 注意：若要启用，还需要以下集群属性设置 会在 Logging 中记录的作业驱动程序日志， 已创建集群：dataproc:dataproc.logging.stackdriver.enable=true 和dataproc:jobs.file-backed-output.enable=true
dataproc:dataproc.logging.stackdriver.job.yarn.container.enable	true 或 false	false	必须在创建集群时设置。 如果为 true，则系统会关联作业 YARN 容器日志 相应作业资源当 false 时，作业 YARN 容器会记录日志 与集群资源相关联
spark:spark.submit.deployMode	客户端或集群	客户端	控制 Spark client 或 cluster 模式。

使用 Dataproc jobs API 提交的 Spark 作业

本部分中的表格列出了不同媒体资源设置对 提交作业时 Dataproc 作业驱动程序输出的目标位置 通过 Dataproc jobs API 来提交作业，其中包括通过 Google Cloud 控制台、gcloud CLI 和 Cloud 客户端库。

列出的 Dataproc 和 Spark 属性 可以在创建集群时使用 --properties 标志进行设置，并将应用于 集群上运行的所有 Spark 作业；您还可以使用 --properties 标志（不带“spark:”前缀） 提交到 Dataproc jobs API，并且仅适用于作业。

Dataproc 作业驱动程序输出

下表列出了不同属性设置对 Dataproc 作业驱动程序输出的目标位置。

dataproc: dataproc.logging.stackdriver.job.driver.enable	输出
false（默认）	流式传输到客户端 在 Cloud Storage 中 driverOutputResourceUri 不在 Logging 中
true	流式传输到客户端 在 Cloud Storage 中 driverOutputResourceUri 在 Logging 中：作业资源下的 dataproc.job.driver。

Spark 驱动程序日志

下表列出了不同属性设置对 Spark 驱动程序日志的目标位置。

spark: spark.submit.deployMode	dataproc: dataproc.logging.stackdriver.job.driver.enable	dataproc: dataproc.logging.stackdriver.job.yarn.container.enable	驱动程序输出
客户端	false（默认）	true 或 false	流式传输到客户端 在 Cloud Storage 中 driverOutputResourceUri 不在 Logging 中
客户端	true	true 或 false	流式传输到客户端 在 Cloud Storage 中 driverOutputResourceUri 在 Logging 中：作业资源下的 dataproc.job.driver
集群	false（默认）	false	未流式传输到客户端 不在 Cloud Storage 中 在 Logging yarn-userlogs 中集群资源下
集群	true	true	未流式传输到客户端 不在 Cloud Storage 中 在 Logging 中：作业资源下的 dataproc.job.yarn.container

Spark Executor 日志

下表列出了不同属性设置对 Spark 执行器日志的目标位置。

dataproc: dataproc.logging.stackdriver.job.yarn.container.enable	执行器日志
false（默认）	在 Logging 中：集群资源下的 yarn-userlogs
true	在 Logging 中作业资源下的 dataproc.job.yarn.container

在不使用 Dataproc jobs API 的情况下提交的 Spark 作业

本部分列出了不同媒体资源设置对 提交作业时 Spark 作业日志的目标位置 不使用 Dataproc jobs API，例如在提交 使用 spark-submit 直接在集群节点上运行作业，或使用 Jupyter 或 Zeppelin 笔记本。这些作业没有 Dataproc 作业 ID 或驱动程序。

Spark 驱动程序日志

下表列出了不同属性设置对 未通过 Dataproc jobs API 提交的作业的 Spark 驱动程序日志的目标位置。

spark: spark.submit.deployMode	驱动程序输出
客户端	流式传输到客户端 不在 Cloud Storage 中 不在 Logging 中
集群	未流式传输到客户端 不在 Cloud Storage 中 在 Logging yarn-userlogs 中集群资源下

Spark Executor 日志

如果 Spark 作业未通过 Dataproc jobs API 提交，则执行器 日志位于集群资源下的 Logging yarn-userlogs 中。

查看作业输出

您可以在 Google Cloud 控制台中访问 Dataproc 作业输出， gcloud CLI、Cloud Storage 或 Logging。