Dataproc Serverless 定價

Dataproc Serverless 的 Spark 服務是依據資料運算數量計費 單位 (DCU)、使用的加速器數量,以及重組儲存空間量 DCU、加速器和重組儲存空間的以秒計費, DCU 和重組儲存空間至少 1 分鐘,最少須為 5 分鐘 也會對加速器收費

每個 Dataproc vCPU 都會計為 0.6 個 DCU。RAM 的計費方式不同 低於 8 GB每個 vCPU 的每 GB RAM 至 8G GB 以下, 0.1 DCU,而每個 vCPU 增加 8G GB 的 RAM 容量,則計為 0.2 DCU。 系統會計算 Spark 驅動程式和執行器使用的記憶體和系統記憶體用量 導向 DCU 用量。

根據預設,每個適用於 Spark 批次和互動式工作負載的 Dataproc Serverless 在工作負載期間,至少會耗用 12 個 DCU:驅動程式 使用 4 個 vCPU 和 16 GB 的 RAM,並會耗用 4 個 DCU,而 2 個執行程式各會分別使用 使用 4 個 vCPU 和 16 GB 的 RAM,並耗用 4 個 DCU。您可以自訂 最多可指定 vCPU 數量和記憶體容量 Spark 屬性。 系統不會收取額外的 Compute Engine VM 或 Persistent Disk 費用。

資料運算單元 (DCU) 定價

下方顯示的 DCU 費率為每小時費率。費用會按比例計算,計費依據為 第二,收取 1 分鐘的基本費用。 如果使用美元以外的貨幣付費,系統將按照您的幣別列出價格 Cloud Platform SKU

Dataproc 無伺服器 Spark 互動式工作負載是以進階方案收費。

重組儲存空間定價

下方顯示的重組儲存空間費率為每月費率。按比例計算費用 以秒計費,且標準重組儲存空間至少會產生 1 分鐘的基本費用 以及 Premium 重組儲存空間至少 5 分鐘的費用。頂級隨機播放 儲存空間只能用於付費運算單元。

如果使用美元以外的貨幣付費,系統將按照您的幣別列出價格 Cloud Platform SKU

加速器定價

下方顯示的加速器費率為每小時費率。費用會按比例計算,計費依據為 第二,收取 5 分鐘的基本費用。 如果使用美元以外的貨幣付費,系統將按照您的幣別列出價格 Cloud Platform SKU

計費示例

如果 Spark 無伺服器工作負載適用的 Dataproc Serverless 使用 12 個 DCU 執行 (spark.driver.cores=4spark.executor.cores=4spark.executor.instances=2) 並耗用 25 GB 的重組儲存空間 價格計算方式如下。

Total compute cost = 12 * 24 * $0.060000 = $17.28
Total storage cost = 25 * ($0.040/301) = $0.03
------------------------------------------------
Total cost = $17.28 + $0.03 = $17.31

注意:

  1. 本範例假設月份是 30 天。由於批次工作負載持續時間為一 每月重組儲存空間速率除以 30

如果適用於 Spark 批次工作負載的 Dataproc Serverless 執行 12 個 DCU 和 2, L4 GPU (spark.driver.cores=4spark.executor.cores=4spark.executor.instances=2,spark.dataproc.driver.compute.tier=premium, spark.dataproc.executor.compute.tier=premium, spark.dataproc.executor.disk.tier=premium, spark.dataproc.executor.resource.accelerator.type=l4), us-central1 區域並會耗用 25 GB 的重組儲存空間,價格計算方式 如下所示。

Total compute cost = 12 * 24 * $0.089000 = $25.632
Total storage cost = 25 * ($0.1/301) = $0.083
Total accelerator cost = 2 * 24 * $0.6720 = $48.39
------------------------------------------------
Total cost = $25.632 + $0.083 + $48.39 = $74.105

注意:

  1. 本範例假設月份是 30 天。由於批次工作負載持續時間為一 每月重組儲存空間速率除以 30

如果 Dataproc Serverless for Spark 互動式工作負載使用 12 個 DCU 執行 (spark.driver.cores=4spark.executor.cores=4spark.executor.instances=2) 並耗用 25 GB 的重組儲存空間 價格計算方式如下:

Total compute cost = 12 * 24 * $0.089000 = $25.632
Total storage cost = 25 * ($0.040/301) = $0.03
------------------------------------------------
Total cost = $25.632 + $0.03 = $25.662

注意:

  1. 本範例假設月份是 30 天。由於批次工作負載持續時間為一 每月重組儲存空間速率除以 30

費用估算範例

批次工作負載完成時,Spark 的 Dataproc Serverless 會計算 UsageMetrics、 其中包含 DCU、加速器和重組總數的約略值 已完成工作負載耗用的儲存空間資源。執行工作負載後 您可以透過 gcloud dataproc batches describe BATCH_ID 指令來查看工作負載用量指標,協助您預估 工作負載

範例:

適用於 Spark 的 Dataproc Serverless 會在臨時叢集內執行工作負載 一個主要執行個體和兩個工作站每個節點會耗用 4 個 DCU (預設為每個節點 4 個 DCU) 核心—請參閱 spark.dataproc.driver.disk.size) 以及 400 GB 的重組儲存空間 (預設為每核心 100 GB,請參閱 spark.driver.cores)。 工作負載執行時間為 60 秒。此外,每個工作站 總共有 1 個 GPU 叢集內總共 2 個

使用者執行gcloud dataproc batches describe BATCH_ID --region REGION ,才能取得用量指標。指令輸出內容包含下列程式碼片段 (milliDcuSeconds4 DCUs x 3 VMs x 60 seconds x 1000 = 720000milliAcceleratorSeconds1 GPU x 2 VMs x 60 seconds x 1000 = 120000shuffleStorageGbSeconds400GB x 3 VMs x 60 seconds = 72000):

runtimeInfo:
  approximateUsage:
    milliDcuSeconds: '720000'
    shuffleStorageGbSeconds: '72000'
    milliAcceleratorSeconds: '120000'

使用其他 Google Cloud 資源

適用於 Spark 工作負載的 Dataproc Serverless 工作負載可選擇 這些資源,系統會分別依據各項資源的計費方式收費,這類資源包括但不限於:

後續步驟

索取客製化報價

Google Cloud 提供「即付即用」計費模式,您只需要為所用服務付費。貴機構如需索取客製化的報價,請與我們的銷售團隊聯絡。
聯絡銷售人員