Dataproc Serverless 定價
Dataproc Serverless 的 Spark 服務是依據資料運算數量計費 單位 (DCU)、使用的加速器數量,以及重組儲存空間量 DCU、加速器和重組儲存空間的以秒計費, DCU 和重組儲存空間至少 1 分鐘,最少須為 5 分鐘 也會對加速器收費
每個 Dataproc vCPU 都會計為 0.6 個 DCU。RAM 的計費方式不同 低於 8 GB每個 vCPU 的每 GB RAM 至 8G GB 以下, 0.1 DCU,而每個 vCPU 增加 8G GB 的 RAM 容量,則計為 0.2 DCU。 系統會計算 Spark 驅動程式和執行器使用的記憶體和系統記憶體用量 導向 DCU 用量。
根據預設,每個適用於 Spark 批次和互動式工作負載的 Dataproc Serverless 在工作負載期間,至少會耗用 12 個 DCU:驅動程式 使用 4 個 vCPU 和 16 GB 的 RAM,並會耗用 4 個 DCU,而 2 個執行程式各會分別使用 使用 4 個 vCPU 和 16 GB 的 RAM,並耗用 4 個 DCU。您可以自訂 最多可指定 vCPU 數量和記憶體容量 Spark 屬性。 系統不會收取額外的 Compute Engine VM 或 Persistent Disk 費用。
資料運算單元 (DCU) 定價
下方顯示的 DCU 費率為每小時費率。費用會按比例計算,計費依據為
第二,收取 1 分鐘的基本費用。
Dataproc 無伺服器 Spark 互動式工作負載是以進階方案收費。
重組儲存空間定價
下方顯示的重組儲存空間費率為每月費率。按比例計算費用 以秒計費,且標準重組儲存空間至少會產生 1 分鐘的基本費用 以及 Premium 重組儲存空間至少 5 分鐘的費用。頂級隨機播放 儲存空間只能用於付費運算單元。
加速器定價
下方顯示的加速器費率為每小時費率。費用會按比例計算,計費依據為
第二,收取 5 分鐘的基本費用。
計費示例
如果 Spark 無伺服器工作負載適用的 Dataproc Serverless 使用 12 個 DCU 執行
(spark.driver.cores=4
、spark.executor.cores=4
、spark.executor.instances=2
)
並耗用 25 GB 的重組儲存空間
價格計算方式如下。
Total compute cost = 12 * 24 * $0.060000 = $17.28 Total storage cost = 25 * ($0.040/301) = $0.03 ------------------------------------------------ Total cost = $17.28 + $0.03 = $17.31
注意:
- 本範例假設月份是 30 天。由於批次工作負載持續時間為一 每月重組儲存空間速率除以 30
如果適用於 Spark 批次工作負載的 Dataproc Serverless 執行 12 個 DCU 和 2,
L4 GPU (spark.driver.cores=4
、spark.executor.cores=4
、
spark.executor.instances=2
,spark.dataproc.driver.compute.tier=premium
,
spark.dataproc.executor.compute.tier=premium
,
spark.dataproc.executor.disk.tier=premium
,
spark.dataproc.executor.resource.accelerator.type=l4
),
us-central1 區域並會耗用 25 GB 的重組儲存空間,價格計算方式
如下所示。
Total compute cost = 12 * 24 * $0.089000 = $25.632 Total storage cost = 25 * ($0.1/301) = $0.083 Total accelerator cost = 2 * 24 * $0.6720 = $48.39 ------------------------------------------------ Total cost = $25.632 + $0.083 + $48.39 = $74.105
注意:
- 本範例假設月份是 30 天。由於批次工作負載持續時間為一 每月重組儲存空間速率除以 30
如果 Dataproc Serverless for Spark 互動式工作負載使用 12 個 DCU 執行
(spark.driver.cores=4
、spark.executor.cores=4
、spark.executor.instances=2
)
並耗用 25 GB 的重組儲存空間
價格計算方式如下:
Total compute cost = 12 * 24 * $0.089000 = $25.632 Total storage cost = 25 * ($0.040/301) = $0.03 ------------------------------------------------ Total cost = $25.632 + $0.03 = $25.662
注意:
- 本範例假設月份是 30 天。由於批次工作負載持續時間為一 每月重組儲存空間速率除以 30
費用估算範例
批次工作負載完成時,Spark 的 Dataproc Serverless 會計算
UsageMetrics、
其中包含 DCU、加速器和重組總數的約略值
已完成工作負載耗用的儲存空間資源。執行工作負載後
您可以透過 gcloud dataproc batches describe BATCH_ID
指令來查看工作負載用量指標,協助您預估
工作負載
範例:
適用於 Spark 的 Dataproc Serverless 會在臨時叢集內執行工作負載
一個主要執行個體和兩個工作站每個節點會耗用 4 個 DCU (預設為每個節點 4 個 DCU)
核心—請參閱 spark.dataproc.driver.disk.size
)
以及 400 GB 的重組儲存空間
(預設為每核心 100 GB,請參閱
spark.driver.cores
)。
工作負載執行時間為 60 秒。此外,每個工作站
總共有 1 個 GPU
叢集內總共 2 個
使用者執行gcloud dataproc batches describe BATCH_ID --region REGION
,才能取得用量指標。指令輸出內容包含下列程式碼片段
(milliDcuSeconds
:4 DCUs x 3 VMs x 60 seconds x 1000
=
720000
,milliAcceleratorSeconds
:1 GPU x 2 VMs x 60 seconds x 1000
=
120000
和 shuffleStorageGbSeconds
:400GB x 3 VMs x 60 seconds
= 72000
):
runtimeInfo: approximateUsage: milliDcuSeconds: '720000' shuffleStorageGbSeconds: '72000' milliAcceleratorSeconds: '120000'
使用其他 Google Cloud 資源
適用於 Spark 工作負載的 Dataproc Serverless 工作負載可選擇 這些資源,系統會分別依據各項資源的計費方式收費,這類資源包括但不限於:
後續步驟
- 參閱 Dataproc Serverless 說明文件。
- 開始使用 Dataproc Serverless。
- 試用 Pricing Calculator。