Notifiche di esecuzione di BigQuery Data Transfer Service
Questa pagina fornisce una panoramica delle notifiche di esecuzione per BigQuery Data Transfer Service.
È possibile configurare due tipi di notifiche di esecuzione per BigQuery Data Transfer Service:
- Notifiche Pub/Sub: notifiche leggibili dalla macchina inviate quando un'esecuzione di trasferimento va a buon fine o meno
- Notifiche email: notifiche leggibili inviate durante un trasferimento esecuzione non riuscita
Puoi configurare ogni tipo singolarmente oppure puoi utilizzare sia Pub/Sub e inviare notifiche di esecuzione via email.
Notifiche Pub/Sub
Le notifiche Pub/Sub inviano informazioni sulle esecuzioni di trasferimento a e un argomento Pub/Sub. Le notifiche Pub/Sub vengono attivate il trasferimento completato viene eseguito nei seguenti stati:
SUCCEEDED
FAILED
CANCELLED
Puoi inviare notifiche a qualsiasi argomento Pub/Sub in qualsiasi progetto per per i quali disponi di autorizzazioni sufficienti. Una volta ricevuto dal argomento Pub/Sub, il messaggio risultante può essere inviato a un abbonati all'argomento.
Prima di iniziare
Prima di configurare le notifiche di esecuzione del trasferimento Pub/Sub, devi:
Abilita l'API Pub/Sub per il progetto che riceverà notifiche.
Disporre di autorizzazioni sufficienti per il progetto che riceverà le notifiche:
Se sei il proprietario del progetto che riceverà le notifiche, molto probabilmente dispongono dell'autorizzazione necessaria.
Se prevedi di creare argomenti per la ricezione delle notifiche, dispongono delle autorizzazioni
pubsub.topics.create
.Sia che tu intenda utilizzare argomenti nuovi o esistenti, devi avere
pubsub.topics.getIamPolicy
epubsub.topics.setIamPolicy
autorizzazioni. Se crei un argomento, in genere hai già l'autorizzazione. Le seguenti impostazioni predefinite Il ruolo IAM ha siapubsub.topics.getIamPolicy
che Autorizzazionipubsub.topics.setIamPolicy
:pubsub.admin
. Consulta: Controllo dell'accesso Pub/Sub per ulteriori informazioni.
Disporre di un argomento Pub/Sub esistente che vuoi inviare. notifiche.
Formato delle notifiche
Le notifiche inviate all'argomento Pub/Sub sono composte da due parti:
- Attributi: un set di coppie chiave:valore che descrivono l'evento.
- Payload: una stringa contenente i metadati dell'oggetto modificato.
Attributi
Gli attributi sono coppie chiave:valore contenute in tutte le notifiche inviate da di BigQuery Data Transfer Service in un argomento Pub/Sub. Notifiche sempre contengono il seguente set di coppie chiave:valore, indipendentemente dallo stato della notifica payload:
Nome attributo | Esempio | Descrizione |
---|---|---|
eventType | TRANSFER_RUN_FINISHED |
Il tipo di evento che si è appena verificato. TRANSFER_RUN_FINISHED è l'unico valore possibile. |
payloadFormat | JSON_API_V1 |
Il formato del payload dell'oggetto. JSON_API_V1 è l'unico valore possibile. |
Payload
Il payload è una stringa che contiene i metadati dell'esecuzione del trasferimento. Il tipo di payload non è al momento configurabile ed è fornito per modifiche future alla versione API.
Tipo di payload | Descrizione |
---|---|
JSON_API_V1 | Il payload sarà una stringa con serie JSON UTF-8 contenente la rappresentazione della risorsa di un TransferRun . |
Notifiche via email
Le notifiche via email inviano messaggi email leggibili durante l'esecuzione di un trasferimento non riesce. Questi messaggi vengono inviati all'email dell'amministratore trasferito - l'account che ha configurato il trasferimento. Non puoi configurare i contenuti e non puoi configurare il destinatario del messaggio.
Se hai utilizzato un account di servizio per autenticare una configurazione di trasferimento, potrebbe non avere accesso all'email per ricevere email di notifica sull'esecuzione del trasferimento. In questi casi, ti consigliamo di configurare le notifiche Pub/Sub. per ricevere notifiche sull'esecuzione del trasferimento.
Per inviare notifiche via email per l'esecuzione del trasferimento ad altri utenti, configura l'email regole di forwarding per distribuire i messaggi. Se utilizzi Gmail, puoi Inoltrare automaticamente i messaggi di Gmail a un altro account.
La notifica via email viene inviata da BigQuery Data Transfer Service e contiene dettagli configurazione del trasferimento, esecuzione del trasferimento e un link alla cronologia delle esecuzioni per l'esecuzione non riuscita. Ad esempio:
From: bigquery-data-transfer-service-noreply@google.com To: TRANSFER_ADMIN Title: BigQuery Data Transfer Service — Transfer Run Failure — DISPLAY_NAME Transfer Configuration Display Name: DISPLAY_NAME Source: DATA_SOURCE Destination: PROJECT_ID Run Summary Run: RUN_NAME Schedule Time: SCHEDULE_TIME Run Time: RUN_TIME View Run History Google LLC 1600 Amphitheatre Parkway, Mountain View, CA 94043 This email was sent because you indicated you are willing to receive Run Notifications from the BigQuery Data Transfer Service. If you do not wish to receive such emails in the future, click View Transfer Configuration and un-check the "Send E-mail Notifications" option.
Attivare o modificare le notifiche
Per attivare le notifiche o modificarne una esistente, scegli una delle seguenti opzioni:
Console
Vai alla pagina BigQuery nella console Google Cloud.
Fai clic su Trasferimenti di dati nel menu di navigazione.
Per attivare le notifiche per un nuovo trasferimento, fai clic su
Crea trasferimento. Per regolare notifiche relative a un trasferimento esistente, fai clic sul nome del trasferimento e poi fai clic su Modifica.Nella sezione Opzioni di notifica, fai clic sui pulsanti di attivazione/disattivazione accanto al tipi di notifiche da attivare.
- Notifiche via email: quando attivi questa opzione, il trasferimento L'amministratore riceve una notifica via email quando viene eseguito un trasferimento non riesce.
- Notifiche Pub/Sub: quando attivi questa opzione, scegli il tuo nome o il tuo clic in argomento Crea un argomento. Questa opzione configura l'esecuzione di Pub/Sub notifiche per il tuo trasferimento.
Java
Prima di provare questo esempio, segui le istruzioni per la configurazione di Java nel Guida rapida di BigQuery con librerie client. Per ulteriori informazioni, consulta API Java BigQuery documentazione di riferimento.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per le librerie client.
Python
Prima di provare questo esempio, segui le istruzioni per la configurazione di Python nel Guida rapida di BigQuery con librerie client. Per ulteriori informazioni, consulta API Python BigQuery documentazione di riferimento.
Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per le librerie client.
Esegui prezzi delle notifiche
Configurando le notifiche di esecuzione di Pub/Sub, riceverai addebiti di Pub/Sub. Per ulteriori informazioni, consulta Pub/Sub nella pagina Prezzi.
Passaggi successivi
- Scopri di più su Pub/Sub.
- Scopri di più sulla creazione di argomenti Pub/Sub.
- Scopri di più su BigQuery Data Transfer Service.