Panoramica della qualità dei dati automatici

Questo documento descrive la qualità automatica dei dati di Dataplex, che consente di definire e misurare la qualità dei dati. Puoi automatizzare il processo la scansione dei dati, la convalida dei dati in base a regole definite e la registrazione degli avvisi non soddisfano i requisiti di qualità. Puoi gestire le regole e i deployment di qualità dei dati come codice, migliorando l'integrità delle pipeline di produzione dei dati.

Per iniziare, puoi utilizzare i consigli sulle regole di profiling dei dati Dataplex o creare regole personalizzate nella console Google Cloud. Dataplex fornisce monitoraggio, risoluzione dei problemi e alert di Cloud Logging integrati con la qualità automatica dei dati di Dataplex.

Modello concettuale

Un'analisi dei dati è un job Dataplex che esegue il campionamento dei dati da BigQuery e Cloud Storage e deducono vari tipi di metadati. Per misurare la qualità di una tabella utilizzando la qualità dei dati automatica, crei un oggetto DataScan di tipo data quality. La scansione viene eseguita solo una tabella BigQuery. La scansione utilizza le risorse in un ambiente progetto tenant, quindi per configurare la propria infrastruttura.

La creazione e l'utilizzo di un'analisi della qualità dei dati prevede i seguenti passaggi:

1. Definisci le regole sulla qualità dei dati
2. Configura l'esecuzione della regola
3. Analizzare i risultati dell'analisi della qualità dei dati
4. Configurare il monitoraggio e gli avvisi
5. Risolvere i problemi di qualità dei dati

Definizione della regola

Le regole sulla qualità dei dati associate a un'analisi della qualità dei dati definiscono i dati le aspettative. Puoi creare regole di qualità dei dati nei seguenti modi:

• Utilizzare i consigli della profilazione dei dati di Dataplex
• Utilizzare le regole predefinite
• Crea regole SQL personalizzate

Regole predefinite

Dataplex supporta due categorie di regole predefinite: a livello di riga o aggregate.

A livello di riga

Per le regole di categoria a livello di riga, la previsione viene applicata a ogni riga di dati. Ogni riga passa o supera in modo indipendente non riesce a soddisfare la condizione. Ad esempio, column_A_value < 1.

I controlli a livello di riga richiedono di specificare una soglia di superamento. Quando percentuale di righe che superano la regola è inferiore al valore di soglia, la regola non riesce.

Aggregazione

Per le regole aggregate, l'aspettativa viene applicata a un singolo valore aggregato per tutti i dati. Per ad esempio Avg(someCol) >= 10. Per essere superato, il controllo deve avere come risultato con valore booleano true. Le regole aggregate non forniscono un superamento indipendente o non hanno esito positivo conta per ogni riga.

Per entrambe le categorie di regole, puoi impostare i seguenti parametri:

• La colonna a cui si applica la regola.
• Una dimensione da un insieme di dimensioni predefinite.

Nella tabella seguente sono elencati i tipi di regole aggregate e a livello di riga supportati:

Tipi di regole SQL personalizzate supportati

Le regole SQL offrono la flessibilità di espandere la convalida con logica personalizzata. Queste regole sono disponibili nei seguenti tipi.

Per esempio regole, consulta Regole di esempio per la qualità dei dati automatica.

Per le funzioni SQL supportate, consulta la documentazione di riferimento di GoogleSQL.

Dimensioni

Le dimensioni ti consentono di aggregare i risultati di più regole di qualità dei dati per il monitoraggio e l'invio di avvisi. Devi associare ogni regola di qualità dei dati a una dimensione. Dataplex supporta le seguenti dimensioni:

• Aggiornamento
• Volume
• Completezza
• Validità
• Coerenza
• Accuratezza
• Unicità

Input digitato nelle regole

Tutti i parametri valore vengono passati come valori stringa all'API. Dataplex richiede che gli input seguano Formato specificato da BigQuery.

I parametri di tipo binario possono essere passati come stringa con codifica Base64.

Parametro riferimento dati

Quando crei una regola SQL personalizzata, puoi fare riferimento a una tabella di origine dati e dei suoi filtri di precondizione utilizzando il parametro di riferimento dei dati ${data()} in la regola, invece di menzionare esplicitamente la tabella di origine e i suoi filtri. Dataplex interpreta il parametro come un riferimento all'origine e i relativi filtri. Alcuni esempi di filtri di precondizione sono i filtri delle righe, le percentuali di campionamento e i filtri incrementali.

Ad esempio, supponiamo di avere una tabella di origine dati denominata my_project_id.dim_dataset.dim_currency. Vuoi eseguire un'analisi della qualità dei dati incrementali che esamini solo i nuovi dati giornalieri. Un filtro di riga che applica un filtro la voce di oggi, transaction_timestamp >= current_date(), viene applicata alla tabella.

Una regola SQL personalizzata per trovare le righe con discount_pct per oggi ha il seguente aspetto:

discount_pct IN (SELECT discount_pct FROM my_project_id.dim_dataset.dim_currency WHERE transaction_timestamp >= current_date())

Se utilizzi il parametro di riferimento dei dati, puoi semplificare la regola. Sostituisci la menzione della tabella e dei relativi filtri di precondizione con il parametro ${data()}:

discount_pct IN (SELECT discount_pct FROM ${data()})

Dataplex interpreta il parametro ${data()} come un riferimento alla tabella dell'origine dati con le voci di oggi, my_project_id.dim_dataset.dim_currency WHERE transaction_timestamp >= current_date(). In questo esempio, il parametro di riferimento ai dati si riferisce solo ai dati incrementali.

Il parametro ${data()} è sensibile alle maiuscole.

Quando utilizzi un alias all'interno di una sottoquery per fare riferimento alle colonne della tabella di origine, utilizza il parametro di riferimento dati per fare riferimento alla tabella di origine o ometti il riferimento alla tabella. Non fare riferimento alle colonne nella tabella di origine utilizzando un riferimento diretto alla tabella nella clausola WHERE.

Consigliato:

• Utilizza il parametro del riferimento dei dati per fare riferimento alla tabella di origine:

  discount_pct IN (
  SELECT discount_pct FROM
  `my_project_id.dim_dataset.dim_currency` AS temp-table
  WHERE
  temp-table.transaction_timestamp = ${data()}.timestamp
  )
  

• Ometti il riferimento della tabella:

  discount_pct IN (
  SELECT discount_pct FROM
  `my_project_id.dim_dataset.dim_currency` AS temp-table
  WHERE
  temp-table.transaction_timestamp = timestamp
  )
  

Sconsigliato:

• Non utilizzare un riferimento diretto alla tabella per fare riferimento alle colonne nella tabella di origine:

  discount_pct IN (
  SELECT discount_pct FROM
  `my_project_id.dim_dataset.dim_currency` AS temp-table
  WHERE
  temp-table.transaction_timestamp = `my_project_id.dim_dataset.dim_currency`.timestamp
  )
  

Esecuzione delle regole

Puoi pianificare l'esecuzione delle analisi della qualità dei dati a un intervallo specifico oppure eseguire un'analisi su richiesta. Per gestire le analisi della qualità dei dati, puoi utilizzare l'API o nella console Google Cloud.

Quando esegui un'analisi della qualità dei dati, Dataplex crea un job. Nell'ambito della specifica di una scansione della qualità dei dati, puoi specificare l'ambito di un job come uno dei seguenti:

Tavolo completo

Ogni job convalida l'intera tabella.

Incrementale

Ogni job convalida i dati incrementali. A determinare gli incrementi, specifica una colonna Date / Timestamp nel che può essere utilizzata come indicatore. Solitamente, si tratta della colonna in cui è partizionata.

Filtra dati

Dataplex può filtrare i dati da analizzare per verificarne la qualità utilizzando un filtro per riga di comando. La creazione di un filtro riga ti consente di concentrarti sui dati all'interno di un determinato periodo di tempo o di un segmento specifico, ad esempio una determinata regione. L'uso dei filtri può ridurre i tempi e i costi di esecuzione, ad esempio filtrando i dati con timestamp prima di una determinata data.

Dati di esempio

Dataplex consente di specificare una percentuale di record dai tuoi dati come esempio per l'esecuzione di un'analisi della qualità dei dati. La creazione di analisi della qualità dei dati su un set di dati più piccolo può ridurre il tempo di esecuzione e il costo delle query sull'intero set di dati.

Risultati della scansione della qualità dei dati

I risultati delle analisi della qualità dei dati sono disponibili in Dataplex. Puoi anche esaminare e analizzare i risultati della scansione utilizzando i seguenti metodi:

• Esportare i risultati in BigQuery

  Puoi esportare i risultati della scansione in una tabella BigQuery per ulteriori analisi. Per personalizzare i report, puoi collegare i dati delle tabelle BigQuery a una dashboard di Looker. Puoi creare un report aggregato utilizzando la stessa tabella dei risultati in più analisi.

• Pubblicare i risultati nella console Google Cloud

  Puoi pubblicare i risultati dell'analisi della qualità dei dati nella directory Nelle pagine di BigQuery e Data Catalog nel nella console Google Cloud. I risultati più recenti dell'analisi sono disponibili nella scheda Qualità dei dati per la tabella di origine.

• Esaminare i punteggi di qualità dei dati

  Ogni risultato della scansione fornisce punteggi di qualità dei dati che indicano la percentuale di regole rispettate. I punteggi vengono riportati a livello generale del job, nella colonna (se la regola viene valutata in base a una colonna) e il livello di dimensione. Utilizza i punteggi della qualità dei dati per normalizzare la qualità dei dati tra tabelle o colonne, monitorare le tendenze e identificare i dati che non soddisfano i requisiti di qualità.

Per ulteriori informazioni, consulta la sezione Visualizzare i risultati della scansione della qualità dei dati.

Monitoraggio e avvisi

Puoi monitorare e ricevere avvisi sulle analisi della qualità dei dati utilizzando i seguenti metodi:

• Impostare gli avvisi in Cloud Logging

  Puoi monitorare i job di qualità dei dati utilizzando data_scan e data_quality_scan_rule_result in Esplora log.

  Per ogni job di qualità dei dati, data_scan registra il log con il campo data_scan_type impostato su DATA_QUALITY contiene le seguenti informazioni:

  • Origine dati utilizzata per l'analisi dei dati.
  • Dettagli sull'esecuzione del job, ad esempio ora di creazione, ora di inizio, ora di fine e stato del job.
  • Risultato del job di qualità dei dati: superato o non superato.
  • Superamento o mancato superamento a livello di dimensione.

  Ogni job riuscito contiene un log data_quality_scan_rule_result con le seguenti informazioni dettagliate su ogni regola del job:

  • Informazioni sulla configurazione, ad esempio nome della regola, tipo di regola, tipo di valutazione e dimensioni.
  • Informazioni sui risultati, ad esempio passaggio o errore, conteggio totale delle righe, conteggio delle righe che hanno superato il test, conteggio delle righe null e conteggio delle righe valutate.

  Le informazioni nei log sono disponibili tramite l'API e nella console Google Cloud. Puoi utilizzare queste informazioni per configurare gli avvisi. Per ulteriori informazioni, vedi Imposta gli avvisi in Logging.

• Inviare notifiche email

  Puoi inviare notifiche via email per avvisare gli utenti dello stato e risultati di un job di qualità dei dati. Le notifiche sono disponibili per i seguenti scenari:

  • Il punteggio di qualità dei dati è inferiore a un punteggio target specificato
  • Il job non è riuscito
  • Il lavoro è stato completato

  Configura le notifiche quando crei un'analisi della qualità dei dati.

Risolvere gli errori relativi alla qualità dei dati

Quando una regola ha esito negativo, Dataplex produce una query per ottenere l'errore record. Esegui questa query per visualizzare i record che non corrispondono alla tua regola. Per maggiori informazioni, consulta Risolvere un errore di qualità dei dati.

Limitazioni

• I risultati della scansione della qualità dei dati non vengono pubblicati in Data Catalog come tag.
• I suggerimenti sulle regole non sono supportati in gcloud CLI.
• La scelta delle dimensioni è fissa ed è limitata a una delle sette dimensioni predefinite.
• Il numero di regole per analisi della qualità dei dati è limitato a 1000.
• Le notifiche via email sono supportate solo nell'API e nell'interfaccia a riga di comando gcloud.
• I punteggi di qualità dei dati riportati a livello di colonna sono supportati solo nell'API.

Prezzi

• Dataplex utilizza lo SKU di elaborazione premium per addebitare i costi la qualità dei dati. Per ulteriori informazioni, consulta i prezzi di Dataplex.

• La pubblicazione dei risultati della qualità dei dati automatica in Catalog non è ancora disponibile. Quando sarà disponibile, verrà addebitato allo stesso prezzo dello spazio di archiviazione dei metadati del Catalogo. Consulta la sezione Prezzi per ulteriori dettagli.

• L'elaborazione premium di Dataplex per la qualità dei dati automatici viene fatturata per secondo con un minimo di un minuto.

• Non vengono addebitati costi per le analisi della qualità dei dati non riuscite.

• L'addebito dipende dal numero di righe, dal numero di colonne, dalla quantità di dati sottoposti a scansione, dalla configurazione delle regole di qualità dei dati, dalle impostazioni di partizione e clustering della tabella e dalla frequenza della gscan.

• Esistono diverse opzioni per ridurre il costo delle analisi della qualità dei dati automatiche:

  • Campionamento
  • Scansioni incrementali

• Per separare gli addebiti relativi alla qualità dei dati da altri addebiti in Dataplex SKU di elaborazione premium, Report Fatturazione Cloud, utilizza l'etichetta goog-dataplex-workload-type con valore DATA_QUALITY.

• Per filtrare gli addebiti aggregati, utilizza le seguenti etichette:

  • goog-dataplex-datascan-data-source-dataplex-entity
  • goog-dataplex-datascan-data-source-dataplex-lake
  • goog-dataplex-datascan-data-source-dataplex-zone
  • goog-dataplex-datascan-data-source-project
  • goog-dataplex-datascan-data-source-region
  • goog-dataplex-datascan-id
  • goog-dataplex-datascan-job-id

Passaggi successivi

• Scopri come utilizzare la qualità dei dati automatica.
• Scopri di più sulla profilazione dei dati.
• Scopri come utilizzare la profilazione dei dati.