Métriques Dataproc

Cloud Monitoring vous offre une réelle visibilité sur les performances, le temps d'activité et l'état général de vos applications cloud. Google Cloud Observability collecte et ingère des métriques, des événements et les métadonnées des clusters Dataproc, y compris par cluster Métriques HDFS, YARN, de tâche et d'opération pour générer des insights via des tableaux de bord. et des graphiques (consultez l'article métriques Dataproc Cloud Monitoring).

• Consultez la page Tarifs Cloud Monitoring pour comprendre vos coûts.

• Consultez la section Quotas et limites de Monitoring pour obtenir plus d'informations sur la conservation des données métriques.

Collection de métriques de ressources Dataproc

Cloud Monitoring collecte des métriques liées aux ressources:

• Cloud Dataproc Cluster
• Cloud Dataproc Job
• Lot Cloud Dataproc
• Session Cloud Dataproc

Les métriques de ressources Dataproc sont collectées au format suivant: dataproc.googleapis.com/RESOURCE/METRIC, et incluent la collecte de plusieurs métriques OSS.

Afficher les métriques de ressources Dataproc

Vous pouvez sélectionner et afficher les métriques de ressources Dataproc dans le Explorateur de métriques en saisissant "dataproc" dans le champ Filter by resource or metric name, puis en sélectionnant "Cloud Dataproc", ressource.

Collecte de métriques personnalisées

Lorsque vous créez un cluster Dataproc, vous pouvez activer la collecte de métriques à partir d'une ou de plusieurs sources de métriques personnalisées. Un ensemble standard de métriques est collecté de chaque source de métrique activée, sauf si vous spécifiez les métriques à collecter à partir d'une source de métrique (les métriques spécifiées par l'utilisateur sont appelées "remplacement des métriques").

Les métriques OSS personnalisées sont collectées au format suivant: custom.googleapis.com/OSS_COMPONENT/METRIC

Exemples de métriques OSS personnalisées:

custom.googleapis.com/spark/driver/DAGScheduler/job/allJobs
custom.googleapis.com/hiveserver2/memory/MaxNonHeapMemory

Activer la collecte de métriques personnalisées

Vous pouvez utiliser la gcloud CLI ou l'API Dataproc pour activer la collecte des métriques personnalisées à partir d'une ou de plusieurs sources de métriques.

gcloud dataproc clusters create cluster-name \
    --metric-sources=METRIC_SOURCE(s) \
    ... other flags

gcloud dataproc clusters create cluster-name \
    --metric-sources=METRIC_SOURCE(s) \
    --metric-overrides=LIST_OF_METRIC_OVERRIDES \
    ... other flags

gcloud dataproc clusters create cluster-name \
    --metric-sources=METRIC-SOURCE(s) \
    --metric-overrides-file=METRIC_OVERRIDES_FILENAME \
    ... other flags

Afficher les métriques personnalisées

Vous pouvez sélectionner et afficher les métriques de ressources Dataproc dans le Explorateur de métriques en sélectionnant la ressource VM Instance, puis en sélectionnant Custom metrics.

Métriques personnalisées

Vous pouvez activer Dataproc pour collecter les métriques personnalisées répertoriées dans les tableaux suivants.

• La colonne Métriques activées est signalée par un "y". si Dataproc collecte la métrique activer la source de la métrique associée.

• Toutes les métriques listées pour une source de métriques métriques Spark), peut être activé pour la collecte si vous remplacez la collection de l'ensemble standard des activées pour la source de métriques (voir Activer la collecte des métriques personnalisées).

• Dataproc utilise l'agent de surveillance pour collecter les métriques. L'activation de n'importe quelle source de métrique active la collecte de métriques d'agent. Ces métriques ne sont pas facturées aux utilisateurs. Dataproc les utilise pour diagnostiquer les problèmes de collecte de métriques.

Métriques Hadoop

Métriques HDFS

Métriques YARN

Métriques Spark

Métriques du pilote Spark

Métriques de l'exécuteur Spark

Métriques Flink

Métriques du serveur d'historique Spark

Dataproc collecte les métriques de mémoire JVM suivantes pour le service d'historique Spark:

Métriques HiveServer 2

Métriques de métastore Hive

Mesures de métriques de métastore Hive

Métriques de l'agent de surveillance Dataproc

Dataproc collecte les éléments Métriques de l'agent de surveillance Dataproc lorsque vous définissez --metric-sources=monitoring-agent-defaults. Ces métriques sont publiées avec le préfixe agent.googleapis.com.

Processeur
agent.googleapis.com/cpu/load_15m
agent.googleapis.com/cpu/load_1m
agent.googleapis.com/cpu/load_5m
agent.googleapis.com/cpu/usage_time*
agent.googleapis.com/cpu/utilization*

Disque
agent.googleapis.com/disk/bytes_used
agent.googleapis.com/disk/io_time
agent.googleapis.com/disk/merged_operations
agent.googleapis.com/disk/operation_count
agent.googleapis.com/disk/operation_time
agent.googleapis.com/disk/pending_operations
agent.googleapis.com/disk/percent_used
agent.googleapis.com/disk/read_bytes_count

Échanger
agent.googleapis.com/swap/bytes_used
agent.googleapis.com/swap/io
agent.googleapis.com/swap/percent_used

Mémoire
agent.googleapis.com/memory/bytes_used
agent.googleapis.com/memory/percent_used

Processus (suit des règles de quota légèrement différentes pour quelques attributs)
agent.googleapis.com/processes/count_by_state
agent.googleapis.com/processes/cpu_time
agent.googleapis.com/processes/disk/read_bytes_count
agent.googleapis.com/processes/disk/write_bytes_count
agent.googleapis.com/processes/fork_count
agent.googleapis.com/processes/rss_usage
agent.googleapis.com/processes/vm_usage

Interface
agent.googleapis.com/interface/errors
agent.googleapis.com/interface/packets
agent.googleapis.com/interface/traffic

Réseau
agent.googleapis.com/network/tcp_connections

Créer un tableau de bord Monitoring

Vous pouvez créer un tableau de bord Monitoring qui affiche graphiques des métriques Dataproc sélectionnées.

1. Sélectionnez + CRÉER UN TABLEAU DE BORD sur la page Aperçu des tableaux de bord de Monitoring. Attribuez un nom au tableau de bord, puis cliquez sur Add Chart (Ajouter un graphique) dans le menu situé dans l'angle supérieur droit pour ouvrir la fenêtre correspondante. Sélectionnez le type de ressource "Cloud Dataproc Cluster" (Cluster Cloud Dataproc). Sélectionnez une ou plusieurs métriques, ainsi que des propriétés de métrique et de graphique. Ensuite, enregistrez le graphique.

   

2. Vous pouvez ajouter des graphiques supplémentaires à votre tableau de bord. Une fois que vous avez enregistré le tableau de bord, son nom apparaît sur la page Aperçu des tableaux de bord de Monitoring. Les graphiques de tableau de bord peuvent être consultés, mis à jour et supprimés depuis la page d'affichage du tableau de bord.

   

Étape suivante

• Consultez la documentation Cloud Monitoring.
• Découvrez comment créer des alertes de métrique Dataproc.