Cloud Composer-Versionsverwaltung

Auf dieser Seite werden die Cloud Composer-Versionsverwaltung und die Unterschiede zwischen den Haupt-Cloud Composer-Versionen beschrieben.

Hauptversionen von Cloud Composer

Cloud Composer hat die folgenden Hauptversionen:

  • Cloud Composer 1. Manuelle Umgebungsskalierung, die Infrastruktur in Ihren Projekten und Netzwerken bereitgestellt.
  • Cloud Composer 2. In dieser Version wird der Cluster der Umgebung skaliert um den Ressourcenbedarf zu decken.
  • Cloud Composer 3. Bei dieser Version wurde die Netzwerkeinrichtung vereinfacht. Infrastrukturkomponenten, einschließlich der Umgebungscluster und Abhängigkeiten von anderen Diensten.

Vergleich der Cloud Composer-Versionen

In der folgenden Tabelle sind die wichtigsten Unterschiede zwischen Cloud Composer 1, Cloud Composer 2 und Cloud Composer 3.

Feature Cloud Composer 1 Cloud Composer 2 Cloud Composer 3
Image-Version composer-1.b.c-airflow-x.y.z composer-2.b.c-airflow-x.y.z composer-3-airflow-x.y.z-build.t
Airflow-Versionen Airflow 1.10.* und Airflow 2 Airflow 2 Airflow 2
Python-Versionen 3.8.12 3.11.5 und 3.8.12 in früheren Versionen 3.11.5
Cluster der Umgebung VPC-nativer oder routenbasierter Google Kubernetes Engine-Cluster im Standardmodus VPC-nativer Google Kubernetes Engine-Cluster im Autopilot-Modus Der Cluster der Umgebung wurde nicht in Ihrem Projekt bereitgestellt.
Horizontale Skalierung Kann die Anzahl der Knoten im Cluster der Umgebung anpassen. Dadurch ändert sich die Anzahl der Airflow-Worker.
Kann die Anzahl der Airflow-Planer anpassen.		 Anzahl der Airflow-Worker je nach Bedarf automatisch skalieren. Kann Ober- und Untergrenzen für die Anzahl der Worker festlegen und ändern.
Kann die Anzahl der Airflow-Planer und -Trigger anpassen		 Anzahl der Airflow-Worker je nach Bedarf automatisch skalieren. Kann Ober- und Untergrenzen für die Anzahl der Worker festlegen und ändern.
Kann die Anzahl der Airflow-Planer, Trigger und DAG-Prozessoren anpassen
Vertikale Skalierung Kann beim Erstellen einer Umgebung Maschinentypen für Clusterknoten, den Airflow-Webserver und die Datenbank festlegen. Kann Maschinentypen für Airflow-Webserver und -Datenbank ändern. Kann die Konfiguration der Arbeitslasten festlegen und ändern: CPU-, Arbeitsspeicher- und Speicherparameter für Airflow-Worker, Planer, Webserver und Umgebungsgröße. Kann die Konfiguration der Arbeitslasten festlegen und ändern: CPU-, Arbeitsspeicher- und Speicherparameter für Airflow-Worker, Planer, Webserver, DAG-Prozessoren und Umgebungsgröße.
Preismodell Cloud Composer 1-Preismodell Cloud Composer 2-Preismodell Cloud Composer 3-Preismodell
Zugriffssteuerung Cloud Composer 1-Rollen Cloud Composer-Rollen. Verwendet Workload Identity und erfordert zusätzliche Berechtigungen für das Cloud Composer-Dienst-Agent-Konto. Cloud Composer-Rollen. Verwendet Workload Identity. Es sind keine zusätzlichen Berechtigungen erforderlich
Zugriff über die Mitarbeiteridentitätsföderation Nicht unterstützt Unterstützt Unterstützt
Äußerst robuste Umgebungen Nicht unterstützt Unterstützt Nicht in der öffentlichen Vorschau verfügbar
Privates IP-Netzwerk VPC-Peerings Private Service Connect Vereinfachte Netzwerkeinrichtung. Kann in einer vorhandenen Umgebung zwischen öffentlicher und privater IP-Adresse geändert werden.
VPC Service Controls Unterstützt Unterstützt Nicht in der öffentlichen Vorschau verfügbar
Airflow-Executors Celery Executor Celery Executor CeleryKubernetes-Executor
Airflow-Triggerer (zurückstellbare Operatoren) Nicht unterstützt Unterstützt Unterstützt
CMEK Unterstützt Unterstützt Nicht in der öffentlichen Vorschau verfügbar
Webserverzugriffssteuerungen Unterstützt Unterstützt Unterstützt
Webserver neu starten Unterstützt Unterstützt Unterstützt
Webserver-Plug-ins Unterstützt in Airflow 1-Umgebungen mit deaktivierter DAG-Serialisierung. Unterstützt Wird unterstützt. Plug-ins können bei Bedarf deaktiviert und aktiviert werden.
Benutzerdefinierte Plug-ins installieren Unterstützt Unterstützt Unterstützt
Wartungsvorgänge Alle Aufgaben können betroffen sein. Aufgaben, deren Ausführung weniger als 55 Minuten dauert, sind nicht betroffen. Aufgaben, deren Ausführung weniger als 55 Minuten dauert, sind nicht betroffen.
Snapshots speichern Unterstützt für Airflow-Versionen 2.x und 1.10.15 Unterstützt Unterstützt
Snapshots werden geladen Nicht unterstützt Unterstützt Unterstützt
Geplante Snapshots Nicht unterstützt Unterstützt Nicht in der öffentlichen Vorschau verfügbar
Bucket der benutzerdefinierten Umgebung Nicht unterstützt Unterstützt Unterstützt
Airflow-Aufgabenlogs nur in Cloud Logging speichern Nicht unterstützt Unterstützt Unterstützt
Data Lineage-Einbindung Nicht unterstützt Unterstützt Unterstützt

Cloud Composer-Images

Zur Ausführung von Apache Airflow erstellt Cloud Composer Docker-Images, in denen Airflow-Versionen mit anderen gängigen Binärdateien und Python-Bibliotheken gebündelt werden.

Cloud Composer-Images enthalten Airflow-Änderungen, die spezifisch für Cloud Composer und für die vorgelagerte Airflow-Codebasis nicht geeignet sind. Jedes Cloud Composer-Image enthält vorinstallierte Pakete sowie Cloud Composer-spezifische Airflow-Änderungen.

Google veröffentlicht regelmäßig neue neuen Cloud Composer-Images:

  • In Cloud Composer 3 enthalten Images neue Builds unterstützter Airflow. Versionen. Sie können eine Airflow-Version und einen Build auswählen, verwenden. Ihre Umgebung erhält Cloud Composer-Verbesserungen automatisch.

  • In Cloud Composer 2 und Cloud Composer 1 enthalten Images Folgendes: Cloud Composer-Verbesserungen und neue Builds unterstützter Airflow-Versionen. Um Cloud Composer-Verbesserungen zu erhalten, müssen Sie ein Upgrade Ihrer Umgebung auf eine neuere Version von Cloud Composer durchführen.

Unterstützte und verworfene Versionen

Composer 3

Google unterstützt eine Airflow-Version nach der ersten Release:

  • Wenn die Nebenversion von Airflow die aktuell in Cloud Composer 3 verfügbar, alle Airflow-Builds mit diese Nebenversion vollständig unterstützt werden. Das genaue Enddatum des Supports ist wann eine neue Nebenversion von Airflow verfügbar ist, Cloud Composer 3.

  • Wenn eine neue Nebenversion von Airflow in Cloud Composer 3 verfügbar ist, werden alle Builds mit der vorherigen Airflow-Nebenversion 12 Monate ab diesem Datum. Wenn es mehrere Builds gibt, enthalten dieselbe Airflow-Nebenversion, alle haben dasselbe Ende Datum des vollständigen Supports.

  • Wenn eine Nebenversion nicht mehr vollständig unterstützt wird, die diese Version ausführen, werden ebenfalls nicht unterstützt und werden vollständig vom Nutzer verwaltet. Ich eine solche Umgebung immer noch auf ein vollständiges Upgrade unterstützte Airflow-Version.

Sie können Umgebungen mit allen Airflow-Builds erstellen, die vollständig unterstützt werden.

Sie können eine Umgebung mit einem Airflow-Build verwenden, der nicht mehr unterstützt. Die Umgebung funktioniert weiterhin, Sie können sie weiter verwenden und trotzdem noch ein Upgrade auf eine vollständig unterstützte Version durchführen.

Composer 2

Google unterstützt Cloud Composer 2-Versionen für eine bestimmte Zeit nach der Veröffentlichung. Während dieses Zeitraums Umgebungen, in denen diese Versionen verwendet werden, werden vollständig unterstützt.

Die Unterstützung für Cloud Composer 2-Versionen ist so definiert:

  • 0 bis 12 Monate ab dem Releasedatum: Cloud Composer 2 Umgebungen, in denen diese Versionen ausgeführt werden, werden vollständig unterstützt.

  • Mehr als 12 Monate ab dem Releasedatum: Cloud Composer 2 Umgebungen, in denen diese Versionen ausgeführt werden, werden nicht unterstützt.

Sie können Cloud Composer-Versionen nach dem Datum verwenden, an dem sie nicht mehr unterstützt. Wenn Ihre Umgebung beispielsweise auf einer Cloud Composer-Version basiert, deren Supportzeitraum abgelaufen ist, funktioniert die Umgebung weiterhin und Sie können sie weiterhin verwenden. In diesem Fall empfehlen wir, Sie ein Upgrade Ihrer Umgebung unterstützte Version.

Composer 1

Neue Cloud Composer 1-Versionen wurden bis Ende März 2023 veröffentlicht. Alle freigegebenen Cloud Composer 1-Versionen folgen dieselbe Richtlinie zur Einstellung von Versionen wie für Cloud Composer 2 und werden unterstützt. entsprechend.

Am 25. März 2024 ist Cloud Composer 1 in den Modus „Nach der Wartung“ gewechselt. Google veröffentlicht keine weiteren Updates für Cloud Composer 1, einschließlich neuer Versionen von Airflow, Fehlerkorrekturen und Sicherheitsupdates. Mi. empfehlen die Migration zu Cloud Composer 2.

Unterstützung für Airflow-Versionen

Airflow folgt dem semantischen Schema zur Verwaltung von Softwareversionen. Jede Airflow-Version hat eine Hauptversion, eine Nebenversion und eine Patchversion.

Composer 3

In Cloud Composer 3 sind neue Airflow-Versionen und -Builds als die die Zeit vergeht.

Ihre Umgebung funktioniert mit allen vorherigen Airflow-Versionen und -Builds. und erhält automatisch Aktualisierungen der Infrastrukturkomponenten. Jedes Version und Build werden unterstützt, wie unter Unterstützung und Einstellung von Versionen können Ihre Airflow-Version auf eine neuere Version oder einen Build aktualisieren.

Composer 2

Eine Liste der Airflow-Versionen, die in jeder Cloud Composer-Version unterstützt werden, finden Sie in der Liste der Cloud Composer-Versionen.

  • Cloud Composer 2 unterstützt in jedem Release zwei Nebenversionen von Airflow 2

    Cloud Composer 2.4.0 unterstützt beispielsweise Airflow 2.4.* und Airflow 2.5.*

  • Cloud Composer unterstützt für jede Nebenversion von Airflow 2 eine Patchversion.

    Für Airflow 2.4.* Cloud Composer unterstützt Airflow 2.4.3.

  • Wenn eine neue Patchversion von Airflow 2 in Cloud Composer verfügbar ist, sind für den entsprechenden Release zwei Patchversionen von Airflow 2 für dieselbe Nebenversion von Airflow verfügbar. Die vorherige Patchversion wird dann in einer der nächsten Releases entfernt.

    Cloud Composer 2.3.4 unterstützt beispielsweise sowohl Airflow 2.5.1 und Airflow 2.5.3.

  • Cloud Composer kann zwischen den Releases von Cloud Composer einige Airflow-Patchversionen überspringen. Wenn es bei einer bestimmten Patchversion von Airflow Funktions-, Qualitäts- oder Leistungsprobleme gibt, kann Cloud Composer diese Version auch überspringen.

    Airflow 2.1.3 wird beispielsweise übersprungen und Airflow 2.1.4 ist verfügbar.

  • Eine Cloud Composer-Version mit einer stabilen Airflow-Version kann Airflow-Updates enthalten, die von einer späteren Airflow-Version zurückportiert werden.

Composer 1

Die neueste in Cloud Composer 1 unterstützte Airflow-Version ist Airflow 2.4.3.

Nur Cloud Composer 1 unterstützt Airflow 1.10.15, die neueste Version von Airflow 1.

Cloud Composer-Versionsschema

Composer 3

Das Versionsverwaltungsschema von Cloud Composer 3 erfasst Airflow-Versionen und -Builds:

composer-3-airflow-x.y.z-build.t

Wobei:

  • composer-3 ist die Version von Cloud Composer.
  • airflow-x.y.z.build.t ist die Airflow-Version und der Build. Jeder nächste Release derselben Airflow-Version in Cloud Composer 3 hat eine höhere Build-Nummer. Die Build-Nummer wird durch Cloud Composer und nicht vom Airflow-Open-Source-Projekt.

Composer 2

Das Cloud Composer 2-Image-Versionsschema erfasst Cloud Composer und Airflow-Versionen:

composer-2.b.c-airflow-x.y.z

Wobei:

  • composer-2.b.c ist die Version der von Cloud Composer verwalteten Anpassungen.
  • airflow-x.y.z ist die Airflow-Release.

Composer 1

Cloud Composer 1-Image-Versionsverwaltungsschema erfasst Cloud Composer und Airflow-Versionen:

composer-1.b.c-airflow-x.y.z

Wobei:

  • composer-1.b.c ist die Version der von Cloud Composer verwalteten Anpassungen.
  • airflow-x.y.z ist die Airflow-Release.

Versionsaliasse

So funktionieren Versionsaliasse:

  • Cloud Composer löst den Versionsalias in das vollständige Format auf, wenn wird Ihre Umgebung erstellt:

    • Alle Versionsaliasse werden in composer-3-airflow-x.y.z-build.t Cloud Composer 3.
    • Alle Versionsaliasse werden in composer-a.b.c-airflow-x.y.z Cloud Composer 2 und Cloud Composer 1.

  • Verwenden Sie in Cloud Composer 3 einen Versionsalias wie composer-3-airflow-x.y aktualisiert nicht automatisch die Airflow-Version und den Build Ihres zu verbessern. Die Umgebung behält denselben Airflow-Build und -Version, bis Sie ein Upgrade durchführen. Die Umgebung empfängt weiterhin automatisch wie gewohnt aktualisiert.

  • In Cloud Composer 2 und Cloud Composer 1 mit einem Versionsalias wie z. B. composer-a-airflow-x.y.z bietet keine automatischen Upgrades für ein zu verbessern. Die Umgebung bleibt in derselben Cloud Composer-Umgebung. und Airflow-Version aktualisiert, bis Sie ein Upgrade durchführen.

Versionsaliasse von Cloud Composer 3

Cloud Composer 3 unterstützt die folgenden Versionsaliasse:

Alias Airflow-Version
composer-3-airflow-2 Neueste Version und aktueller Build von Airflow 2
composer-3-airflow-x.y Neueste Version und aktueller Build von Airflow in x.y Haupt- und Nebenversionen
composer-3-airflow-x.y.z Letzter Build der angegebenen Version von Airflow

Versionsaliasse von Cloud Composer 2

Cloud Composer 2 unterstützt die folgenden Versionsaliasse:

Alias Cloud Composer-Version Airflow-Version
composer-2-airflow-2 Neueste Version von Cloud Composer 2 Neueste Version von Airflow 2
composer-2-airflow-x.y Neueste Version von Cloud Composer 2 Neueste Version von Airflow mit x.y Haupt- und Nebenversionen
composer-2-airflow-x.y.z Neueste Version von Cloud Composer 2 Angegebene Version von Airflow
composer-2.b.c-airflow-x.y Angegebene Version von Cloud Composer 2 Neueste Version von Airflow ist in x.y Haupt- und Nebenversionen verfügbar

Versionsaliasse von Cloud Composer 1

Cloud Composer 1 unterstützt die folgenden Versionsaliasse:

Alias Cloud Composer-Version Airflow-Version
composer-1-airflow-2 Neueste Version von Cloud Composer 1 Neueste Version von Airflow 2
composer-1-airflow-1 Neueste Version von Cloud Composer 1 Neueste Version von Airflow 1
composer-1-airflow-x.y Neueste Version von Cloud Composer 1 Neueste Version von Airflow mit x.y Haupt- und Nebenversionen
composer-1-airflow-x.y.z Neueste Version von Cloud Composer 1 Angegebene Version von Airflow
composer-1.b.c-airflow-x.y Angegebene Version von Cloud Composer 1 Die neueste Version von Airflow ist in x.y Haupt- und Nebenversionen verfügbar.

Die folgenden Versionsaliasse verweisen auf Cloud Composer 2. Sie können weiterhin verwenden Sie stattdessen Aliasse für Ihre Version von Cloud Composer

  • composer-latest-airflow-x.y ist gleich composer-2-airflow-x.y.
  • composer-latest-airflow-x.y.z ist gleich composer-2-airflow-x.y.z.

Versionsargumente in der Google Cloud CLI

Wenn Sie ein Erstellen oder ein Upgrade durchführen Cloud Composer-Umgebung mit der Google Cloud CLI erstellen, können Sie Cloud Composer- und Airflow-Versionen angeben:

Composer 3

  • Das Argument --image-version gibt die Airflow-Version und den Build in der composer-3-airflow-x.y.z-build.t-Format. Sie können Versionsaliasse, die aufgelöst werden, indem Google Cloud CLI in das vollständige Format übertragen.

  • --airflow-version gibt die Airflow-Version in den folgenden Formaten an:

    • Das Format x.y.z gilt für den neuesten Build der angegebenen Version von Airflow verwenden. Dieses Format entspricht composer-3-airflow-x.y.z Versionsalias.

    • Das Format x.y gilt für den neuesten Airflow-Build, der in x.y Haupt- und Nebenversionen. Dieses Format entspricht dem composer-3-airflow-x.y Versionsalias.

    • x.y.z-build.t ist die angegebene Version und der angegebene Build von Airflow. Dieses Format ist gleich composer-3-airflow-x.y.z-build.t.

Composer 2

  • Das Argument --image-version gibt Cloud Composer 2 und Airflow an Versionen:

    • Das Format composer-a.b.c-airflow-x.y.z erstellt eine Umgebung mit dem Versionen von Cloud Composer und Airflow.
    • Versionsaliasse werden zuerst aufgelöst in composer-a.b.c-airflow-x.y.z-Format und erstellen Sie dann ein Umgebung mit den angegebenen Versionen von Cloud Composer 2 und Airflow.

  • --airflow-version gibt die Airflow-Version in den folgenden Formaten an:

    • Das Format x.y.z gilt für die neueste Version von Cloud Composer 2 und die angegebene Version von Airflow. Dieses Format entspricht Versionsalias composer-2-airflow-x.y.z.

    • Das Format x.y gilt für die neueste Version von Cloud Composer 2 und den neueste Version von Airflow in x.y Haupt- und Nebenversion verfügbar Versionen. Dieses Format entspricht composer-2-airflow-x.y Versionsalias.

Composer 1

  • Das Argument --image-version gibt Cloud Composer 1 und Airflow an. Versionen:

    • Das Format composer-a.b.c-airflow-x.y.z erstellt eine Umgebung mit dem Versionen von Cloud Composer und Airflow.
    • Versionsaliasse werden zuerst aufgelöst in composer-a.b.c-airflow-x.y.z-Format und erstellen Sie dann ein Umgebung mit den angegebenen Versionen von Cloud Composer 1 und Airflow.

  • --airflow-version gibt die Airflow-Version in den folgenden Formaten an:

    • Das Format x.y.z gilt für die neueste Version von Cloud Composer 1 und die angegebene Version von Airflow. Dieses Format entspricht Versionsalias composer-1-airflow-x.y.z.

    • Das Format x.y gilt für die neueste Version von Cloud Composer 1 und den aktuelle Version von Airflow in x.y Haupt- und Nebenversionen. Dieses Format entspricht dem composer-1-airflow-x.y Versionsalias.

Nächste Schritte