Questo documento spiega come Cloud Logging elabora le voci di log e descrive i componenti chiave del routing e dell'archiviazione di Logging. Il routing si riferisce al processo utilizzato da Cloud Logging per determinare quale a che fare con una voce di log appena visualizzata. Puoi indirizzare le voci di log alle destinazioni come i bucket Logging, che archiviano la voce di log, oppure in Pub/Sub. Per esportare i log in destinazioni di terze parti, esegui il routing i log in un argomento Pub/Sub e poi autorizzare la destinazione di terze parti per la sottoscrizione all'argomento Pub/Sub.
A livello generale, questo è il modo in cui Cloud Logging instrada e archivia le voci di log:
Esegui il routing dei log con il router dei log
Le sezioni seguenti spiegano come Il logging instrada i log con il router dei log utilizzando i sink.
Router dei log
Viene inviata una voce di log
Risorsa Google Cloud
specificato nel relativo campo logName
durante la sua
entries.write
chiamata.
Cloud Logging riceve voci di log con API Cloud Logging a cui passano il router dei log. I sink nel router dei log controllano ogni voce di log rispetto al relativo filtro di inclusione e filtri di esclusione e poi determinare quali destinazioni, tra cui Bucket Cloud Logging a cui deve essere inviata la voce di log. Puoi utilizzare la modalità combinazioni di sink per instradare una voce di log a più destinazioni.
Il router dei log memorizza temporaneamente la voce di log. Questo comportamento buffer contro interruzioni e interruzioni temporanee che potrebbero verificarsi quando un sink instrada una voce di log a una destinazione. Il buffering non protegge dai sink di configurazione. Se il sink è configurato in modo errato, le voci di log, viene generato un log di errore e viene inviata un'email di notifica di un errore di configurazione del sink. Quando non è possibile eseguire il routing delle voci di log, vengono ignorate.
L'archiviazione temporanea del router dei log è separata dalla più lunga dell'archiviazione a termine fornita dai bucket Logging.
Voci di log in entrata con timestamp superiori a periodo di conservazione dei log nel passato o se sono più di 24 ore nel futuro vengono scartati.
Sink
I sink controllano il modo in cui Cloud Logging instrada i log. Con i sink, puoi instradare alcuni o tutti i tuoi log alle destinazioni supportate. Alcuni dei per cui potresti voler controllare il routing dei log includono seguenti:
- Archiviare i log che è improbabile che vengano letti, ma che devono essere conservati ai fini della conformità.
- Organizzare i log in bucket in un formato utile.
- Per utilizzare strumenti di analisi dei big data sui tuoi log.
- Per trasmettere i log ad altre applicazioni, altri repository o servizi parti. Ad esempio, se vuoi esportare i log da Google Cloud, in modo che sia possibile vederle su una piattaforma di terze parti e poi configurare un sink per eseguire il routing delle voci di log in Pub/Sub.
I sink appartengono a una determinata risorsa Google Cloud: i progetti Google Cloud, account di fatturazione, cartelle e organizzazioni. Quando la risorsa riceve un di voce di log, la instrada la voce di log in base ai sink contenuti e, se abilitato, qualsiasi sink ancestrale appartenente al gerarchia delle risorse. La voce di log viene inviata alla destinazione associata a ogni sink corrispondente.
Cloud Logging offre due sink predefiniti per ogni progetto Google Cloud:
account di fatturazione, cartella e organizzazione: _Required
e _Default
. Tutti i log
generati in una risorsa, vengono automaticamente elaborati
sono archiviati nel cluster denominati rispettivamente
Bucket _Required
o _Default
.
I sink agiscono in modo indipendente l'uno dall'altro. Indipendentemente dal modo in cui i sink predefiniti elaborare le tue voci di log, puoi creare sink per instradare alcuni o tutti dai tuoi log a varie destinazioni supportate o per escluderle l'archiviazione da parte di Cloud Logging.
Le voci di log che vengono instradate da un sink vengono controllate configurando il valore Filtro di inclusione e filtri di esclusione. A seconda della configurazione del sink, ogni voce di log ricevuta Cloud Logging rientra in una o più di queste categorie:
Archiviati in Cloud Logging e non con routing altrove.
Archiviati in Cloud Logging e con routing a una destinazione supportata.
Non archiviato in Cloud Logging, ma indirizzato a una destinazione supportata.
Né archiviato in Cloud Logging né eseguito altrove.
Di solito crei sink nella A livello di progetto Google Cloud, ma se vuoi combinare e indirizzare i log risorse contenute in un'organizzazione o una cartella Google Cloud, creano sink aggregati.
I sink solo per le voci di log che arrivano dopo la creazione del sink il routing avviene quando i log passano attraverso l'API Logging. Se devi eseguire il routing delle voci di log in modo retroattivo, consulta Copiare i log.
Filtri di inclusione
Quando un sink non specifica filtri, tutte le voci di log corrispondono e vengono indirizzate a della destinazione del sink. Puoi configurare il sink per selezionare le voci di log impostando un filtro di inclusione. Puoi anche impostare uno o più filtri di esclusione per escludere le voci di log dal routing.
Quando configuri un sink, e specificare i propri filtri mediante il linguaggio di query di Logging.
Una voce di log viene instradata da un sink in base a queste regole:
Se la voce di log non corrisponde al filtro di inclusione, allora non viene indirizzata. Quando un sink non specifica un filtro di inclusione, ogni voce di log corrisponde a quel filtro.
Se la voce di log corrisponde al filtro di inclusione e ad almeno uno filtro di esclusione, non verrà indirizzato.
Se la voce di log corrisponde al filtro di inclusione e non corrisponde a qualsiasi filtro di esclusione, viene indirizzato alla destinazione del sink.
Filtri di esclusione
Quando crei un sink, puoi impostare più filtri di esclusione. I filtri di esclusione ti consentono di escludere il routing delle voci di log corrispondenti al filtro di inclusione della destinazione o dall'essere in un bucket di log. Per definire i filtri di esclusione, utilizza il Linguaggio di query di Logging.
Le voci di log escluse utilizzano il consumo
entries.write
quota API perché sono
esclusi dopo che sono stati ricevuti dall'API Logging.
Non puoi ridurre il numero di
entries.write
chiamate API di
escluse le voci di log.
Le voci di log escluse non sono disponibili in Esplora log.
Voci di log che non sono instradate ad almeno un bucket di log, o in modo esplicito con filtri di esclusione o perché non corrispondono ad alcun sink con destinazione di archiviazione dei log, sono esclusi anche dalla Error Reporting. Pertanto, queste voci di log non sono disponibili per risolvere gli errori. Le metriche basate su log definite dall'utente vengono calcolate dalle voci di log in entrambi i valori e le voci di log escluse. Per ulteriori informazioni, vedi Monitora i log.Destinazioni supportate
Puoi utilizzare il router dei log per instradare determinate voci di log ai destinazioni in qualsiasi progetto Google Cloud. Logging supporta le seguenti destinazioni sink:
Bucket Cloud Logging: fornisce spazio di archiviazione in Cloud Logging. Un bucket di log può archiviare le voci di log ricevute da più progetti Google Cloud. Il bucket di log può trovarsi nello stesso progetto in cui hanno origine le voci di log. in un altro progetto. Per informazioni sulla visualizzazione delle voci di log archiviate nei bucket di log, consulta Panoramica delle query e delle visualizzazioni dei log e visualizzare i log con routing ai bucket Cloud Logging.
Puoi combinare I dati di Cloud Logging con altri dati eseguendo l'upgrade di un bucket di log da utilizzare Analisi dei log e la creazione di un set di dati collegato, che è di sola lettura set di dati su cui è possibile eseguire query da BigQuery Studio e Looker Studio pagine.
Set di dati BigQuery: fornisce l'archiviazione delle voci di log in un set di dati BigQuery scrivibile. Il set di dati BigQuery possono trovarsi nello stesso progetto in cui hanno origine le voci di log o in un progetto. Puoi utilizzare funzionalità di analisi dei big data nelle voci di log archiviate. Per informazioni sulla visualizzazione delle voci di log indirizzate a BigQuery, consulta Visualizza i log indirizzati a BigQuery.
- Bucket Cloud Storage: fornisce l'archiviazione delle voci di log in Cloud Storage. Il bucket Cloud Storage può trovarsi nello stesso progetto in cui sono presenti le voci di log o in un altro progetto. Le voci di log vengono archiviate come file JSON. Per informazioni sulla visualizzazione delle voci di log indirizzate a Cloud Storage: consulta Visualizzare i log con routing a Cloud Storage.
Argomento Pub/Sub: fornisce supporto per le integrazioni di terze parti. Le voci di log vengono formattate in JSON e quindi instradate a un Pub/Sub per ogni argomento. L'argomento può trovarsi nello stesso progetto in cui si trovano le voci di log o in un altro progetto. Per informazioni sulla visualizzazione delle voci di log indirizzate a vedi Pub/Sub, Visualizza i log con routing a Pub/Sub.
Progetto Google Cloud: esegui il routing delle voci di log a un altro progetto Google Cloud. Nel configurazione, i sink nel progetto di destinazione elaborano le voci di log.
Per ulteriori informazioni, vedi Esegui il routing dei log alle destinazioni supportate.
Archiviazione, visualizzazione e gestione dei log
La sezione seguente descrive in dettaglio come vengono archiviati i log in Cloud Logging e come puoi visualizzarle e gestirle.
Bucket di log
Cloud Logging usa i bucket di log come container nei tuoi progetti Google Cloud, account di fatturazione, cartelle e organizzazioni per archiviare e organizzare i log e i dati di Google Cloud. Le voci di log archiviate in Cloud Logging sono indicizzate, ottimizzate e ti permette di analizzare i log in tempo reale. Bucket Cloud Logging sono entità di archiviazione diverse rispetto ai bucket Cloud Storage con nomi simili.
Per ogni progetto, account di fatturazione, cartella e organizzazione di Google Cloud,
Logging crea automaticamente due bucket di log: _Required
e
_Default
. Logging crea automaticamente sink denominati
_Required
e _Default
che, nella configurazione predefinita, instradano
le voci di log nei bucket denominati corrispondenti.
Puoi disabilitare il sink _Default
, che instrada le voci di log all'_Default
di log del bucket. Puoi anche modificare il comportamento dei sink _Default
creati per
eventuali nuovi progetti o cartelle Google Cloud. Per ulteriori informazioni, vedi
Configura le impostazioni predefinite per organizzazioni e cartelle.
Non puoi modificare le regole di routing per il bucket _Required
.
Inoltre, puoi creare bucket definiti dall'utente per qualsiasi progetto Google Cloud.
Puoi creare sink per instradare tutte le voci di log o solo un sottoinsieme a qualsiasi di log del bucket. Questa flessibilità ti consente di scegliere il progetto Google Cloud che consente di archiviare le voci di log di più risorse in un'unica posizione.
Per ulteriori informazioni, vedi Configura i bucket di log.
_Required
bucket di log
Cloud Logging instrada automaticamente i seguenti tipi di voci di log al
_Required
bucket:
- Audit log delle attività di amministrazione
- Audit log degli eventi di sistema
- Log di controllo della Console di amministrazione di Google Workspace
- Log di controllo di Enterprise Groups
- Audit log degli accessi
- Log di Access Transparency. Per informazioni sull'abilitazione dei log di Access Transparency, consulta Documentazione sui log di Access Transparency.
Cloud Logging conserva le voci di log nel bucket _Required
per
400 giorni; non puoi modificare questo periodo di conservazione.
Non puoi modificare o eliminare il bucket _Required
. Non puoi disattivare
Sink _Required
, che instrada le voci di log al bucket _Required
.
_Default
bucket di log
Qualsiasi voce di log non archiviata nel bucket _Required
viene instradata dal
Sink _Default
nel bucket _Default
, a meno che non disabiliti o modifichi in altro modo
nel sink _Default
. Per istruzioni sulla modifica dei sink, consulta
Gestisci i sink.
Ad esempio, Cloud Logging instrada automaticamente i seguenti tipi di
voci di log nel bucket _Default
:
Cloud Logging conserva le voci di log nel bucket _Default
per
30 giorni, a meno che
configurare la conservazione personalizzata
di sincronizzare la directory di una VM
con un bucket.
Non puoi eliminare il bucket _Default
.
Bucket di log definiti dall'utente
Puoi anche crea bucket di log definiti dall'utente in qualsiasi progetto Google Cloud. Applicando i sink ai bucket di log definiti dall'utente, puoi instradare qualsiasi sottoinsieme delle tue voci di log a qualsiasi bucket di log, scegli il progetto Google Cloud che consente di archiviare le voci di log di più risorse in un'unica posizione.
Ad esempio, per qualsiasi log generato nel progetto A
, puoi configurare un sink
instradare queste voci di log a un bucket definito dall'utente nel progetto A
o a un
bucket di log nel progetto B
.
Per informazioni sulla gestione dei bucket di log definiti dall'utente, inclusa l'eliminazione o per aggiornarli, consulta Configurare e gestire i bucket di log.
Aree geografiche
I bucket di log sono risorse a livello di regione. L'infrastruttura che archivia, indicizza e cerca che le voci di log si trovino in un'area geografica specifica in ogni località. Google Cloud gestisce l'infrastruttura in modo che le applicazioni siano disponibili in modo ridondante nelle varie zone all'interno della regione.
Quando crei un bucket di log o imposti un'istanza criteri regionali a livello di organizzazione, puoi scegli di archiviare le voci di log in una delle seguenti regioni:
Africa
Nome regione | Descrizione regione |
---|---|
africa-south1 |
Johannesburg |
Americhe
Nome regione | Descrizione regione |
---|---|
northamerica-northeast1 |
Montréal |
northamerica-northeast2 |
Toronto |
southamerica-east1 |
San Paolo |
southamerica-west1 |
Santiago |
us-central1 |
Iowa |
us-east1 |
Carolina del Sud |
us-east4 |
Virginia del Nord |
us-east5 |
Columbus |
us-south1 |
Dallas |
us-west1 |
Oregon |
us-west2 |
Los Angeles |
us-west3 |
Salt Lake City |
us-west4 |
Las Vegas |
Asia Pacifico
Nome regione | Descrizione regione |
---|---|
asia-east1 |
Taiwan |
asia-east2 |
Hong Kong |
asia-northeast1 |
Tokyo |
asia-northeast2 |
Osaka |
asia-northeast3 |
Seul |
asia-south1 |
Mumbai |
asia-south2 |
Delhi |
asia-southeast1 |
Singapore |
asia-southeast2 |
Giacarta |
australia-southeast1 |
Sydney |
australia-southeast2 |
Melbourne |
Europa
Nome regione | Descrizione regione |
---|---|
europe-central2 |
Varsavia |
europe-north1 |
Finlandia |
europe-southwest1 |
Madrid |
europe-west1 |
Belgio |
europe-west2 |
Londra |
europe-west3 |
Francoforte |
europe-west4 |
Paesi Bassi |
europe-west6 |
Zurigo |
europe-west8 |
Milano |
europe-west9 |
Parigi |
europe-west10 |
Berlino |
europe-west12 |
Torino |
Medio Oriente
Nome regione | Descrizione regione |
---|---|
me-central1 |
Doha |
me-central2 |
Dammam |
me-west1 |
Tel Aviv |
Altro
Nome regione | Descrizione regione |
---|---|
eu |
log archiviati nei data center all'interno dell'Unione Europea; nessun altro garanzie di ridondanza |
us |
i log archiviati nei data center degli Stati Uniti; nessun altro garanzie di ridondanza |
global |
i log archiviati in qualsiasi data center del mondo. nessuna ridondanza aggiuntiva garanzie |
Quando imposti la località su global
, non è necessario specificare dove si trova
vengono archiviate fisicamente.
Puoi applicare automaticamente una determinata regione di archiviazione a _Default
e _Required
bucket creati in un'organizzazione o in una cartella.
Per ulteriori informazioni, vedi
Configura le impostazioni predefinite per organizzazioni e cartelle.
Per scoprire di più sulla regione dei dati e su dove è possibile archiviare dei log, consulta Informazioni sulle regioni di dati.
Criteri dell'organizzazione
Puoi creare un nuovo criterio dell'organizzazione per assicurarti che la tua organizzazione soddisfi le tue esigenze normative e di conformità. Utilizzo un criterio dell'organizzazione, puoi specificare in quali regioni la tua organizzazione può e creare nuovi bucket di log. Puoi anche impedire alla tua organizzazione di creare nei nuovi bucket di log in determinate regioni.
Cloud Logging non applica il criterio dell'organizzazione appena creato su bucket di log esistenti; applica il criterio solo ai nuovi bucket di log.
Per informazioni sulla creazione di un criterio dell'organizzazione basato sulla località, consulta Limita le località delle risorse.
Inoltre, puoi configurare una posizione di archiviazione predefinita
_Default
e _Required
bucket in un'organizzazione o in una cartella.
Se configuri un criterio dell'organizzazione che vincola la posizione in cui i dati possono essere
devi assicurarti che la posizione di archiviazione predefinita specificata sia
coerente con quel vincolo. Per ulteriori informazioni, vedi
Configura le impostazioni predefinite per organizzazioni e cartelle.
Conservazione
Cloud Logging conserva i log in base alle regole di conservazione applicabili al log. un tipo di bucket in cui sono conservati i log. Per informazioni sui periodi di conservazione per i diversi tipi di log, consulta Quote e limiti.
Puoi configurare Cloud Logging in modo che conservi i log tra 1 giorno e 3650 giorni. Le regole di conservazione personalizzate si applicano a tutti log in un bucket, indipendentemente dal tipo di log o dal fatto che il log sia stato copiato da un'altra posizione.
Per informazioni sull'impostazione di regole di conservazione per un bucket di log, consulta Configura la conservazione personalizzata.
Visualizzazioni log
Le visualizzazioni di log consentono di concedere a un utente l'accesso solo a un sottoinsieme di voci di log in un bucket di log. Per informazioni su come configurare le visualizzazioni dei log e su come concedere l'accesso a viste di log specifiche, consulta Configura le visualizzazioni dei log su un bucket di log.
Per ogni bucket di log, Cloud Logging crea automaticamente _AllLogs
che mostra tutti i log archiviati nel bucket. Cloud Logging crea anche
una vista del bucket _Default
denominata _Default
. La vista _Default
per
_Default
bucket mostra tutti i log, ad eccezione degli audit log di accesso ai dati. La
Le viste _AllLogs
e _Default
non sono modificabili e non possono essere eliminate
la visualizzazione log di _Default
.
Le visualizzazioni di log personalizzate offrono un modo avanzato e granulare per controllare l'accesso ai dati dei log. Ad esempio, considera uno scenario in cui archivia tutti i log della tua organizzazione in un progetto centrale di Google Cloud. Poiché i bucket di log possono contenere log progetti Google Cloud, potresti voler controllare quali I progetti Google Cloud da cui diversi utenti possono visualizzare i log. Utilizzo del log personalizzato viste, puoi concedere a un utente l'accesso ai log solo da un a un singolo progetto Google Cloud, mentre concedi a un altro utente l'accesso ai log per tutti i progetti Google Cloud.
Utilizzo dei log nell'ecosistema Google Cloud
La sezione seguente fornisce informazioni su come utilizzare i log nel in Google Cloud.
Metriche basate su log
Le metriche basate su log sono metriche di Cloud Monitoring derivati dai contenuti delle voci di log. Ad esempio, se Cloud Logging riceve una voce di log per un progetto Google Cloud che corrisponde ai filtri di una delle metriche del progetto Google Cloud, la voce di log viene conteggiata nei dati della metrica.
Le metriche basate su log interagiscono con il routing in modo diverso, a seconda che le metriche basate su log sono definite dal sistema o da te. Le seguenti sezioni descrivono queste differenze.
Metriche basate su log e filtri di esclusione
I filtri di esclusione sink si applicano alle metriche basate su log definite dal sistema, che contano solo i log archiviati nei bucket di log.
I filtri di esclusione sink non si applicano alle metriche basate su log definite dall'utente. Anche se escludi l'archiviazione dei log in bucket di Logging, potresti vedere i log conteggiati in queste metriche.
Ambito delle metriche basate su log
Le metriche definite dal sistema basate su log si applicano a livello di progetto Google Cloud. Queste metriche vengono calcolate dal router dei log e si applicano solo ai log progetto Google Cloud in cui vengono ricevuti.
Le metriche definite dall'utente basate su log possono essere applicate in entrambi i casi al progetto Google Cloud o a livello di un bucket di log specifico:
- Le metriche a livello di progetto sono calcolate come metriche definite dal sistema basate su log; queste metriche basate su log definite dall'utente si applicano solo ai log nel progetto Google Cloud in cui vengono ricevuti.
Le metriche con ambito bucket si applicano ai log nel bucket di log in cui vengono ricevuti, indipendentemente dal progetto Google Cloud in cui hanno avuto origine le voci di log.
Con le metriche basate su log con ambito bucket, puoi creare metriche basate su log in grado di valutare i log nei seguenti casi:
- Log con routing da un progetto a un bucket in un altro progetto.
- Log con routing a un bucket tramite un sink aggregato.
Per saperne di più, consulta Panoramica delle metriche basate su log.
Individuazione dei log nelle destinazioni supportate
Scopri di più sul formato delle voci di log con routing e su come vengono organizzate in destinazioni, vedi Visualizza i log nelle destinazioni sink.
Casi d'uso comuni
Per risolvere i casi d'uso comuni relativi al routing e all'archiviazione dei log, consulta quanto segue documenti e tutorial:
Esigenze di conformità
Per le best practice sull'utilizzo del routing per la governance dei dati, vedi quanto segue documenti:
Dati dei log: guida passo passo per il superamento della conformità comune sfide
Governance dei dati: principi per la protezione e la gestione log
Controllo dell'accesso con IAM
Per informazioni su come utilizzi I ruoli e le autorizzazioni di Identity and Access Management (IAM) per controllare l'accesso ai dati di Cloud Logging, Controllo dell'accesso con IAM.
Prezzi
Cloud Logging non addebita alcun costo per il routing dei log a un
destinazione supportata; ma la destinazione potrebbe applicare dei costi.
Ad eccezione del bucket di log _Required
,
Cloud Logging addebita un costo per trasferire i log nei bucket di log.
per un'archiviazione più lunga del periodo di conservazione predefinito del bucket di log.
Cloud Logging non addebita alcun costo per la copia dei log, per la definizione degli ambiti di log, o per le query inviate tramite Pagine Esplora log o Analisi dei log.
Per ulteriori informazioni, consulta i seguenti documenti:
- Riepilogo dei prezzi di Cloud Logging
Costi di destinazione:
- Costi per la generazione di log di flusso VPC si applicano quando invii e poi escludi i log di flusso Virtual Private Cloud da Cloud Logging.
Passaggi successivi
Per facilitare il routing e l'archiviazione dei dati di Cloud Logging, consulta quanto segue documenti:
Per creare sink per instradare le voci di log alle destinazioni supportate, consulta Esegui il routing dei log alle destinazioni supportate.
Scopri come creare sink aggregati che possono instradare voci di log da le risorse nelle cartelle o nelle organizzazioni, vedi Facolta e instrada i log a livello di organizzazione e cartella verso le destinazioni supportate.
Per scoprire come concedere l'accesso a un sottoinsieme di voci di log archiviate in un bucket di log, consulta Configura le visualizzazioni dei log su un bucket di log.
- Error Reporting può analizzare le voci di log e segnalarti gli errori. Per ulteriori informazioni su questo servizio, incluse informazioni su quando è possibile analizzare le voci di log, Panoramica di Error Reporting.