Cloud Monitoring

Cloud Monitoring bietet Einblick in die Leistung, Verfügbarkeit und den Gesamtstatus cloudbasierter Anwendungen. Google Cloud Observability erfasst und nimmt Messwerte, Ereignisse und Metadaten aus Dataproc Metastore-Dienste zum Generieren von Statistiken mithilfe von Dashboards und Diagramme.

Auf Dienstmesswerte in Monitoring zugreifen

Dataproc Metastore-Dienst-Ressourcenmesswerte werden automatisch auf Dataproc Metastore-Diensten aktiviert. Verwenden Sie Monitoring, um sich diese Messwerte anzusehen.

Sie können über die Google Cloud Console oder mithilfe der Monitoring API.

Console

  1. Wechseln Sie in der Google Cloud Console zur Cloud Monitoring > Seite „Metrics Explorer“:

    Seite „Metrics Explorer“ aufrufen

  2. Wählen Sie aus der Drop-down-Liste „Ressourcentyp und Messwert suchen“ die Ressource Dataproc Metastore Service aus.

  3. Klicken Sie noch einmal in das Eingabefeld und wählen Sie dann einen Messwert aus der Drop-down-Liste aus. Wenn Sie den Mauszeiger auf den Namen des Messwerts bewegen, werden Informationen zu diesem Messwert angezeigt.

Sie können auch Filter auswählen, Gruppierungen gemäß dem Messwertlabel vornehmen, Aggregationen ausführen und Optionen zur Diagrammanzeige auswählen.

REST

Mit der Monitoring API timeSeries.list können Sie Messwerte erfassen und auflisten, die durch einen Filterausdruck mit filter definiert werden. Verwenden Sie die Vorlage API testen auf der API-Seite, um eine API-Anfrage zu senden und die Antwort aufzurufen.

Dataproc Metastore-Dienstmesswerte in Monitoring

Messwerte aus Dataproc Metastore. Startphasen dieser Messwerte: BETA GA

Den Strings vom Typ "metric type" in dieser Tabelle muss metastore.googleapis.com/ vorangestellt werden. Dieses Präfix wurde in den Einträgen der Tabelle weggelassen. Verwenden Sie beim Abfragen eines Labels das Präfix metric.labels.. Beispiel: metric.labels.LABEL="VALUE".

Messwerttyp Startphase
Anzeigename
Art, Typ, Einheit
Überwachte Ressourcen		 Beschreibung
Labels
federation/server/request_count BETA
Anzahl der Föderationsdienstanfragen
DELTA, INT64, {request}
metastore.googleapis.com/Federation 		Die Anzahl der Anfragen, die an den Federated Dataproc Metastore-Dienst gesendet wurden.
method_name: Der Name der Anfragemethode.
status: Endstatus der Anfrage, einer der folgenden Werte: [success, client_error, server_error].
version: Die Hive Metastore-Version des Dienstes.
service/grpc/finished_requests_count BETA
Anzahl der abgeschlossenen gRPC-Anfragen
DELTA, INT64, 1
metastore.googleapis.com/Service 		Die Anzahl der vom gRPC Dataproc Metastore-Dienst abgeschlossenen Anfragen.
tier: Dienststufe oder Instanzgröße des Dienstes, z. B. ENTERPRISE.
version: Die Hive Metastore-Version des Dienstes.
status: Der Status der Anfrage, z. B. "BAD_REQUEST".
method_name: Der Name der Anfragemethode.
service/grpc/received_bytes_count BETA
Empfangene gRPC-Byte
DELTA, INT64, By
metastore.googleapis.com/Service 		Anzahl der vom Dataproc Metastore-Dienst empfangenen Byte.
tier: Dienststufe oder Instanzgröße des Dienstes.
version: Die Hive Metastore-Version des Dienstes.
service/grpc/request_latencies BETA
gRPC-Anfragelatenzen
DELTA, DISTRIBUTION, ms
metastore.googleapis.com/Service 		Verteilung von gRPC-Anfragelatenzen für einen Dataproc Metastore-Dienst.
tier: Dienststufe oder Instanzgröße des Dienstes.
version: Die Hive Metastore-Version des Dienstes.
status: Der Status der Anfrage, z. B. "BAD_REQUEST".
method_name: Der Name der Anfragemethode.
service/grpc/sent_bytes_count BETA
Gesendete gRPC-Byte
DELTA, INT64, By
metastore.googleapis.com/Service 		Anzahl der vom Dataproc Metastore-Dienst gesendeten Byte.
tier: Dienststufe oder Instanzgröße des Dienstes.
version: Die Hive Metastore-Version des Dienstes.
service/grpc/started_requests_count BETA
Anzahl gestarteter gRPC-Anfragen
DELTA, INT64, 1
metastore.googleapis.com/Service 		Die Anzahl der Anfragen, die vom gRPC Dataproc-Metastore-Dienst empfangen und gestartet wurden.
tier: Dienststufe oder Instanzgröße des Dienstes.
version: Die Hive Metastore-Version des Dienstes.
method_name: Der Name der Anfragemethode.
service/grpc_client/finished_requests_count BETA
Anzahl der abgeschlossenen gRPC-Clientanfragen
CUMULATIVE, INT64, 1
metastore.googleapis.com/Service 		Gesamtzahl der auf dem Client abgeschlossenen RPCs, unabhängig von Erfolg oder Misserfolg.
status: Der Status der Anfrage, z. B. "BAD_REQUEST".
method_name: Der Name der Anfragemethode.
service/grpc_client/received_bytes_count BETA
Empfangener gRPC-Clientbyte
CUMULATIVE, INT64, By
metastore.googleapis.com/Service 		Anzahl der vom gRPC-Client empfangenen Byte.
service/grpc_client/request_latencies BETA
Anfragelatenzen für gRPC-Clients
CUMULATIVE, DISTRIBUTION, ms
metastore.googleapis.com/Service 		Verteilung von gRPC-Anfragelatenzen für einen Dataproc Metastore-Dienst.
status: Der Status der Anfrage, z. B. "BAD_REQUEST".
method_name: Der Name der Anfragemethode.
service/grpc_client/sent_bytes_count BETA
Gesendete gRPC-Clientbyte
CUMULATIVE, INT64, By
metastore.googleapis.com/Service 		Anzahl der vom gRPC-Client gesendeten Byte.
service/grpc_client/started_requests_count BETA
Anzahl der gestarteten gRPC-Clientanfragen
CUMULATIVE, INT64, 1
metastore.googleapis.com/Service 		Die Anzahl der Anfragen, die vom gRPC-Client gestartet wurden.
method_name: Der Name der Anfragemethode.
service/health Google Analytics
Dienststatus
GAUGE, INT64, 1
metastore.googleapis.com/Service 		Der Status des Dataproc Metastore-Dienstes.
tier: Dienststufe oder Instanzgröße des Dienstes, z. B. ENTERPRISE.
version: Die Hive Metastore-Version des Dienstes.
release_tag: Release-Tag von Dataproc Metastore, das vom Dienst-Back-End ausgefüllt wird und sich im Laufe der Dienstlebensdauer ändern kann.
service/multi_region/health Google Analytics
Multiregionaler Dienststatus
GAUGE, INT64, 1
metastore.googleapis.com/Service 		Der Zustand des multiregionalen Dataproc Metastore-Dienstes.
version: Die Hive Metastore-Version des Dienstes.
release_tag: Release-Tag von Dataproc Metastore, das vom Dienst-Back-End ausgefüllt wird und sich im Laufe der Dienstlebensdauer ändern kann.
service_region: Die Region, in der der Dataproc Metastore-Dienst gehostet wird.
scaling_factor: Skalierungsfaktor des Dienstes: [0,1, 0,2, 0,3, 0,4, 0,5, 0,6, 0,7, 0,8, 0,9, 1,0, 2,0, 3,0, 4,0, 5,0, 6,0].
service/multi_region/request_count Google Analytics
Anzahl multiregionaler Dienstanfragen
DELTA, INT64, {request}
metastore.googleapis.com/Service 		Die Anzahl der Anfragen, die an den multiregionalen Dataproc Metastore-Dienst gesendet wurden.
method_name: Der Name der Anfragemethode.
version: Die Hive Metastore-Version des Dienstes.
service_region: Die Region, in der der Dataproc Metastore-Dienst gehostet wird.
scaling_factor: Skalierungsfaktor des Dienstes: [0,1, 0,2, 0,3, 0,4, 0,5, 0,6, 0,7, 0,8, 0,9, 1,0, 2,0, 3,0, 4,0, 5,0, 6,0].
service/multi_region/request_latencies Google Analytics
Latenzen multiregionaler Dienstanfragen
DELTA, DISTRIBUTION, ms
metastore.googleapis.com/Service 		Die Latenzen der Anfragen, die an den multiregionalen Dataproc Metastore-Dienst gesendet werden.
method_name: Der Name der Anfragemethode.
version: Die Hive Metastore-Version des Dienstes.
service_region: Die Region, in der der Dataproc Metastore-Dienst gehostet wird.
scaling_factor: Skalierungsfaktor des Dienstes: [0,1, 0,2, 0,3, 0,4, 0,5, 0,6, 0,7, 0,8, 0,9, 1,0, 2,0, 3,0, 4,0, 5,0, 6,0].
service/query_metadata/request_count BETA
Anzahl der Anfragen an die Admin-Oberfläche
DELTA, INT64, {request}
metastore.googleapis.com/Service 		Die Anzahl der Anfragen an die Admin-Schnittstelle.
database_type: Der Datenbanktyp, entweder [SQL, Spanner].
code: Der gRPC-Statuscode.
service/query_metadata/request_latencies BETA
Anfragelatenz der Admin-Oberfläche
DELTA, DISTRIBUTION, ms
metastore.googleapis.com/Service 		Die End-to-End-Anfragelatenz für Anfragen an die Admin-Schnittstelle.
database_type: Der Datenbanktyp, entweder [SQL, Spanner].
code: Der gRPC-Statuscode.
service/request_count GA
Anzahl der Anfragen
DELTA, INT64, {request}
metastore.googleapis.com/Service 		Die Anzahl der Anfragen, die an den Dataproc Metastore-Dienst gesendet wurden.
method_name: Der Name der Anfragemethode.
version: Die Hive Metastore-Version des Dienstes.
service/scheduled_backups/backup_count BETA
Anzahl der geplanten Sicherungen
DELTA, INT64, 1
metastore.googleapis.com/Service 		Die Anzahl der geplanten Sicherungen, die derzeit für den Dienst gespeichert sind.
state: Status der Sicherung: [SUCCEEDED, FAILED, IN_PROGRESS].
database_type: Der Datenbanktyp, entweder [SQL, Spanner].
version: Die Hive Metastore-Version des Dienstes.
service/scheduled_backups/last_backup_duration BETA
Geplante Sicherungen – Letzte Sicherungsdauer
GAUGE, INT64, s
metastore.googleapis.com/Service 		Die Dauer der letzten erfolgreichen geplanten Sicherung in Sekunden. Alle 60 Sekunden wird eine Stichprobe erstellt. Nach der Stichprobe werden bis zu 120 Sekunden lang keine Daten angezeigt.
state: Status der Sicherung: [SUCCEEDED, FAILED, IN_PROGRESS].
database_type: Der Datenbanktyp, entweder [SQL, Spanner].
version: Die Hive Metastore-Version des Dienstes.
service/scheduled_backups/last_backup_size BETA
Anfrage für geplante Sicherungen – Letzte Sicherungsgröße
GAUGE, INT64, By
metastore.googleapis.com/Service 		Die Größe der letzten erfolgreichen geplanten Sicherung in Byte. Alle 60 Sekunden wird eine Stichprobe erstellt. Nach der Stichprobe werden bis zu 120 Sekunden lang keine Daten angezeigt.
state: Status der Sicherung: [SUCCEEDED, FAILED, IN_PROGRESS].
database_type: Der Datenbanktyp, entweder [SQL, Spanner].
version: Die Hive Metastore-Version des Dienstes.

Die Tabelle wurde am 25.07.2024 um 13:55:28 UTC erstellt.

Benutzerdefiniertes Monitoring-Dashboard erstellen

Sie können ein benutzerdefiniertes Monitoring-Dashboard erstellen, das Diagramme ausgewählter Dataproc Metastore-Dienstmesswerte anzeigt.

  1. Wählen Sie + DASHBOARD ERSTELLEN auf der Monitoring-Seite Dashboard-Übersicht aus.

  2. Geben Sie einen Namen für das Dashboard an.

  3. Klicken Sie im Menü oben rechts auf Diagramm hinzufügen, um das Fenster „Diagramm hinzufügen“ zu öffnen.

  4. Wählen Sie als Ressourcentyp Dataproc Metastore Service aus.

  5. Wählen Sie mindestens einen Messwert sowie Messwert- und Diagrammeigenschaften aus und klicken Sie dann auf Klicken Sie auf Speichern, um das Diagramm zu speichern.

  6. Fügen Sie Ihrem Dashboard bei Bedarf weitere Diagramme hinzu.

  7. Klicken Sie auf Speichern, um das Dashboard zu speichern . Sein Titel wird im Monitoringbereich angezeigt. Dashboard-Übersicht.

Sie können Dashboard-Diagramme über die Dashboard-Anzeige ansehen, aktualisieren und löschen Seite.

Monitoring-Benachrichtigungen verwenden

Sie können eine Monitoring-Benachrichtigung erstellen, um informiert zu werden, wenn ein Dataproc Metastore-Dienst oder Jobmesswert einen bestimmten Grenzwert überschreitet.

Benachrichtigung erstellen

  1. Öffnen Sie in der Google Cloud Console Monitoring-Benachrichtigungen.

  2. Klicken Sie zum Öffnen des Formulars Neue Benachrichtigungsrichtlinie erstellen auf + RICHTLINIE ERSTELLEN.

  3. Definieren Sie eine Benachrichtigung, indem Sie Benachrichtigungsbedingungen, Trigger für Richtlinien, Benachrichtigungskanäle und Dokumentation hinzufügen.

  4. Wählen Sie BEDINGUNG HINZUFÜGE) aus, um das Formular für die Benachrichtigungsbedingung mit dem ausgewählten Tab "Messwert" zu öffnen.

  5. Füllen Sie die Felder aus, um eine Benachrichtigungsbedingung zu definieren, und klicken Sie dann auf HINZUFÜGEN.

  6. Nachdem Sie die Benachrichtigungsbedingung hinzugefügt haben, vervollständigen Sie die Benachrichtigungsrichtlinien, indem Sie Benachrichtigungskanäle, Trigger für Richtlinien, Dokumentation und den Namen der Benachrichtigungsrichtlinie festlegen.

Benachrichtigungen ansehen

Wenn eine Benachrichtigung durch eine Messwertschwellenbedingung ausgelöst wird, erstellt Monitoring einen Vorfall sowie ein entsprechendes Ereignis. Vorfälle können Sie im Monitoring-Benachrichtigungen in der Google Cloud Console. Wenn in der Benachrichtigungsrichtlinie eine Benachrichtigungsmethode wie E-Mail oder SMS festgelegt wurde, wird von Monitoring außerdem eine Benachrichtigung zu dem Vorfall gesendet.

Weitere Informationen