Configurazione dei Controlli di servizio VPC

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

I Controlli di servizio VPC consentono alle organizzazioni di definire un perimetro attorno alle risorse Google Cloud per mitigare i rischi di esfiltrazione dei dati.

Gli ambienti Cloud Composer possono essere dispiacchiati all'interno di un perimetro di servizio. Configurando il tuo ambiente con Controlli di servizio VPC, può mantenere privati i dati sensibili, sfruttando al contempo i vantaggi dell'ambiente di orchestrazione dei flussi di lavoro di Cloud Composer.

Il supporto di Controlli di servizio VPC per Cloud Composer significa che:

• Ora Cloud Composer può essere selezionato come servizio sicuro all'interno di un Perimetro Controlli di servizio VPC.
• Tutte le risorse sottostanti utilizzate da Cloud Composer sono configurate in modo da supportano l'architettura dei Controlli di servizio VPC e ne seguono le regole.

Deployment di ambienti Cloud Composer con i Controlli di servizio VPC che offre:

• Riduzione del rischio di esfiltrazione di dati.
• Protezione contro l'esposizione dei dati a causa di controlli di accesso configurati in modo errato.
• Riduzione del rischio che utenti malintenzionati copino dati in risorse Google Cloud non autorizzate o che hacker esterni accedano alle risorse Google Cloud da internet.

Server web Airflow in modalità Controlli di servizio VPC

In modalità Controlli di servizio VPC, Cloud Composer esegue due istanze del server web Airflow. Identity-Aware Proxy bilancia il carico del traffico degli utenti tra queste istanze. I server web Airflow vengono eseguiti in modalità di sola lettura, il che significa che:

• La Serializzazione DAG è abilitata. Di conseguenza, il server web di Airflow non analizza i file di definizione dei DAG.

• I plug-in non vengono sincronizzati con il server web, quindi non è possibile modificare o estendere i dei server web con plug-in.

• Il server web di Airflow utilizza un'immagine container predefinita il servizio Cloud Composer. Se installi immagini PyPI queste immagini non sono installate nel container del server web dell'immagine.

Creazione di un perimetro di servizio

Consulta Creazione di un perimetro di servizio per scoprire come creare e configurare i perimetri di servizio. Assicurati di selezionare Cloud Composer come uno dei servizi protetti all'interno del perimetro.

Creazione di ambienti in un perimetro

Per eseguire il deployment di Cloud Composer all'interno di un perimetro sono necessari passaggi aggiuntivi. Quando crei l'ambiente Cloud Composer:

1. Abilita l'API Access Context Manager e l'API Cloud Composer per il tuo progetto. Per riferimento, consulta Attivazione delle API.

2. Assicurati che il perimetro di servizio abbia i seguenti servizi accessibili da VPC: altrimenti il tuo ambiente potrebbe non creare:

   • API Cloud Composer (composer.googleapis.com)
   • API Compute Engine (compute.googleapis.com)
   • API Kubernetes Engine (container.googleapis.com)
   • API Container Registry (containerregistry.googleapis.com)
   • API Artifact Registry (artifactregistry.googleapis.com)
   • API Cloud Storage (storage.googleapis.com)
   • API Cloud SQL Admin (sqladmin.googleapis.com)
   • API Cloud Logging (logging.googleapis.com)
   • API Cloud Monitoring (monitoring.googleapis.com)
   • API Cloud Pub/Sub (pubsub.googleapis.com)
   • API Cloud Cloud Resource Manager (cloudresourcemanager.googleapis.com)
   • API Service Directory (servicedirectory.googleapis.com)
   • API Cloud Key Management Service (cloudkms.googleapis.com), se utilizzi chiavi Cloud KMS o CMEK
   • API Secret Manager (secretmanager.googleapis.com), se utilizzi Secret Manager come backend per i segreti

3. Utilizza la versione composer-1.10.4 o successive.

4. Assicurati che la serializzazione dei DAG sia attivata. Se il tuo ambiente utilizza Cloud Composer versione 1.15.0 e successive, la serializzazione è abilitata per impostazione predefinita.

5. Crea un nuovo ambiente Cloud Composer conIP privato abilitato. Tieni presente che questa impostazione deve essere configurata durante la creazione dell'ambiente.

6. Quando crei il tuo ambiente, ricordati di e configurare l'accesso al server web Airflow. Per la massima protezione, consente solo l'accesso al server web da intervalli IP specifici. Per maggiori dettagli, vedi Configura l'accesso di rete al server web.

Configurazione di ambienti esistenti con i Controlli di servizio VPC

Puoi aggiungere il progetto contenente il tuo ambiente al perimetro se:

• Hai creato il perimetro come descritto nella sezione precedente.

• I tuoi ambienti sono ambienti IP privati.

• Nei tuoi ambienti è abilitata la serie DAG.

Installazione dei pacchetti PyPI

Nella configurazione predefinita di VPC Service Controls, Cloud Composer supporta solo l'installazione di pacchetti PyPI da repository privati accessibili dallo spazio di indirizzi IP interno della rete VPC.

Installa da un repository privato

La configurazione consigliata prevede di impostare un repository PyPI privato, compilare con pacchetti verificati utilizzati dalla tua organizzazione, e configurare Cloud Composer installare le dipendenze Python da un repository privato.

Installazione da un repository pubblico

L'account di servizio utilizzato per il piano dati di Cloud Composer deve avere i seguenti ruoli di autorizzazione: Composer.Worker e iam.serviceAccountUser.

Configura la connettività alle API e ai servizi Google

In una configurazione dei Controlli di servizio VPC, per controllare il traffico di rete, configura l'accesso alle API e ai servizi Google tramite restricted.googleapis.com. Questo dominio blocca l'accesso alle API di Google e che non supportano Controlli di servizio VPC.

Gli ambienti Cloud Composer utilizzano i seguenti domini:

• L'app *.googleapis.com viene utilizzata per accedere ad altri servizi Google.

• *.pkg.dev viene utilizzato per ottenere immagini dell'ambiente, ad esempio quando crei o aggiorni un ambiente.

• *.gcr.io GKE richiede la connettività al dominio Container Registry indipendentemente dalla versione di Cloud Composer.

Configura la connettività all'endpoint restricted.googleapis.com:

Dominio	Nome DNS	Record CNAME	Record A
*.googleapis.com	googleapis.com.	Nome DNS: *.googleapis.com. Tipo di record di risorse: CNAME Nome canonico: googleapis.com.	Tipo di record di risorse: A Indirizzi IPv4: 199.36.153.4, 199.36.153.5, 199.36.153.6, 199.36.153.7
*.pkg.dev	pkg.dev.	Nome DNS: *.pkg.dev. Tipo di record di risorse: CNAME Nome canonico: pkg.dev.	Tipo di record di risorse: A Indirizzi IPv4: 199.36.153.4, 199.36.153.5, 199.36.153.6, 199.36.153.7
*.gcr.io	gcr.io.	Nome DNS: *.gcr.io. Tipo di record di risorse: CNAME Nome canonico: gcr.io.	Tipo di record di risorse: A Indirizzi IPv4: 199.36.153.4, 199.36.153.5, 199.36.153.6, 199.36.153.7

Per creare una regola DNS:

1. Crea una nuova zona DNS e utilizza un nome DNS come nome DNS. di questa zona.

   Esempio: pkg.dev.

2. Aggiungi un set di record per il record CNAME.

   Esempio:

   • Nome DNS: *.pkg.dev.
   • Tipo di record di risorse: CNAME
   • Nome canonico: pkg.dev.

3. Aggiungi un set di record con un record A:

   Esempio:

   • Tipo di record di risorse: A
   • Indirizzi IPv4: 199.36.153.4, 199.36.153.5, 199.36.153.6, 199.36.153.7

Per ulteriori informazioni, consulta Configurazione della connettività privata alle API e ai servizi Google.

Configurazione delle regole del firewall

Se il tuo progetto ha regole firewall non predefinite, ad esempio quelle che sostituiscono le regole firewall implicite o modificano le regole predefinite nella rete predefinita, verifica che le seguenti regole firewall siano configurate.

Ad esempio, Cloud Composer potrebbe non creare un ambiente se esiste una regola firewall che nega tutto il traffico in uscita. Per evitare problemi, definisci regole allow selettive che seguono l'elenco e hanno una priorità più elevata rispetto alla regola deny globale.

Configura la rete VPC per consentire il traffico dal tuo ambiente:

• Consulta Utilizzo delle regole firewall per scoprire come controllare, aggiungere e aggiornare le regole della rete VPC.
• Utilizza lo strumento di connettività per convalidare la connettività tra gli intervalli IP.
• Puoi utilizzare i tag di rete per limitare ulteriormente l'accesso. Puoi impostare questi tag quando crei un ambiente.

Descrizione	Direzione	Azione	Origine o destinazione	Protocolli	Porte
DNS Configura come descritto in Supporto dei Controlli di servizio VPC per Cloud DNS	-	-	-	-	-
API e servizi Google	In uscita	Consenti	Indirizzi IPv4 di restricted.googleapis.com che utilizzi per le API e i servizi Google.	TCP	443
Nodi del cluster dell'ambiente	In uscita	Consenti	Intervallo di indirizzi IP principali della subnet dell'ambiente	TCP, UDP	tutte
Pod del cluster dell'ambiente	In uscita	Consenti	Intervallo di indirizzi IP secondari per i pod nella subnet dell'ambiente	TCP, UDP	tutte
Control plane del cluster dell'ambiente	In uscita	Consenti	Intervallo IP del piano di controllo GKE	TCP, UDP	tutte
Server web	In uscita	Consenti	Intervallo IP della rete del server web	TCP	3306, 3307

Per ottenere gli intervalli IP:

• Gli intervalli di indirizzi di pod, servizi e piano di controllo sono disponibili nella pagina Cluster del cluster del tuo ambiente:

  1. Nella console Google Cloud, vai alla pagina Ambienti.

     Vai ad Ambienti

  2. Nell'elenco degli ambienti, fai clic sul nome dell'ambiente. Viene visualizzata la pagina Dettagli dell'ambiente.

  3. Vai alla scheda Configurazione dell'ambiente.

  4. Segui il link Visualizza i dettagli del cluster.

• Puoi vedere i dati sull'ambiente intervallo IP del server web nella scheda Configurazione dell'ambiente.

• Puoi vedere l'ID rete dell'ambiente nella scheda Configurazione dell'ambiente. Per ottenere l'IP per una subnet, vai alla pagina Reti VPC e fai clic nome della rete per visualizzare i dettagli:

  Vai a Reti VPC

Log dei Controlli di servizio VPC

Durante la risoluzione dei problemi relativi alla creazione dell'ambiente, puoi analizzare gli audit log generate dai Controlli di servizio VPC.

Oltre ad altri messaggi di log, puoi controllare i log per informazioni su cloud-airflow-prod@system.gserviceaccount.com e service-PROJECT_ID@cloudcomposer-accounts.iam.gserviceaccount.com che configurano i componenti degli ambienti.

Il servizio Cloud Composer utilizza l'account di servizio cloud-airflow-prod@system.gserviceaccount.com per gestire i componenti del progetto del tenant dei tuoi ambienti.

L'account di servizio service-PROJECT_ID@cloudcomposer-accounts.iam.gserviceaccount.com, noto anche come Composer Service Agent Service Account, gestisce i componenti dell'ambiente nei progetti di servizio e host.

Limitazioni

• Tutti i vincoli di rete di VPC Service Controls si applicano anche ai tuoi ambienti Cloud Composer. Per maggiori dettagli, consulta la documentazione di VPC Service Controls.

• La visualizzazione di un modello visualizzato con funzioni nell'interfaccia utente web con la serializzazione DAG abilitata è supportata per gli ambienti che eseguono Cloud Composer versione 1.12.0 o successive e Airflow versione 1.10.9 o successive.

• L'impostazione del flag async_dagbag_loader su True non è supportata durante il DAG la serializzazione sia abilitata.

• L'attivazione della serializzazione DAG disattiva tutti i plug-in del server web Airflow, in quanto potrebbero mettere a rischio la sicurezza della rete VPC in cui è dipiegato Cloud Composer. Ciò non influisce sul comportamento dei plug-in di schedulatore o worker, inclusi gli operatori Airflow, i sensori e così via.

• Quando Cloud Composer è in esecuzione all'interno di un perimetro, l'accesso ai repository PyPI pubblici è limitato. Consulta: Installare le dipendenze Python per apprendere come installare i moduli PyPI in modalità IP privato.

Passaggi successivi

• Creare ambienti
• Installare i pacchetti PyPI