

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

# Konfiguration der automatischen Skalierung von Amazon MWAA Worker
<a name="mwaa-autoscaling"></a>

Der Auto-Scaling-Mechanismus erhöht automatisch die Anzahl der Apache Airflow Airflow-Worker als Reaktion auf laufende und in der Warteschlange stehende Aufgaben in Ihrer Amazon Managed Workflows for Apache Airflow Airflow-Umgebung und entsorgt zusätzliche Mitarbeiter, wenn keine Aufgaben mehr in der Warteschlange stehen oder ausgeführt werden. In diesem Thema wird beschrieben, wie Sie Auto Scaling konfigurieren können, indem Sie mithilfe der Amazon MWAA-Konsole die maximale Anzahl von Apache Airflow Airflow-Workern angeben, die in Ihrer Umgebung ausgeführt werden.

**Anmerkung**  
Amazon MWAA verwendet Apache Airflow-Metriken, um zu ermitteln, wann zusätzliche [Celery Executor-Mitarbeiter](https://airflow.apache.org/docs/apache-airflow/stable/executor/celery.html) benötigt werden, und erhöht bei Bedarf die Anzahl der Fargate-Mitarbeiter auf den von angegebenen Wert. `max-workers` Wenn die zusätzlichen Mitarbeiter ihre Arbeit erledigen und die Arbeitsbelastung abnimmt, entfernt Amazon MWAA sie und reduziert somit wieder den Wert von. `min-workers`  
Wenn Mitarbeiter beim Herunterskalieren neue Aufgaben übernehmen, behält Amazon MWAA die Fargate-Ressource und entfernt den Mitarbeiter nicht. Weitere Informationen finden Sie unter [So funktioniert Amazon MWAA Auto Scaling](#mwaa-autoscaling-how).

**Topics**
+ [So funktioniert Worker Scaling](#mwaa-autoscaling-how)
+ [Verwenden der Amazon MWAA-Konsole](#mwaa-autoscaling-console)
+ [Beispiel für einen Anwendungsfall mit hoher Leistung](#mwaa-autoscaling-high-volume)
+ [Problembehandlung bei Aufgaben, die im laufenden Zustand hängen geblieben sind](#mwaa-autoscaling-stranded)
+ [Als nächstes](#mwaa-autoscaling-next-up)

## So funktioniert Worker Scaling
<a name="mwaa-autoscaling-how"></a>

Amazon MWAA verwendet `RunningTasks` `QueuedTasks` [Metriken](access-metrics-cw.md#available-metrics-cw), wobei *(ausgeführte Aufgaben \$1 Aufgaben in der Warteschlange)/([Aufgaben pro Mitarbeiter](environment-class.md#environment-class-sizes)) = (erforderliche* Mitarbeiter). Wenn die erforderliche Anzahl von Arbeitern die aktuelle Anzahl von Arbeitern übersteigt, fügt Amazon MWAA Fargate-Arbeitercontainer zu diesem Wert hinzu, bis zu dem von angegebenen Höchstwert. `max-workers`

Da die Arbeitslast sinkt `RunningTasks` und die Summe der `QueuedTasks` Kennzahlen sinkt, fordert Amazon MWAA Fargate auf, die Anzahl der Mitarbeiter für die Umwelt zu reduzieren. Alle Mitarbeiter, die ihre Arbeit noch erledigen, bleiben während des Downscalings geschützt, bis sie ihre Arbeit abgeschlossen haben. Je nach Arbeitslast können Aufgaben in die Warteschlange gestellt werden, während die Mitarbeiter ihre Aufgaben herunterskalieren.

## Verwenden der Amazon MWAA-Konsole
<a name="mwaa-autoscaling-console"></a>

Sie können die maximale Anzahl von Workern, die in Ihrer Umgebung gleichzeitig ausgeführt werden können, auf der Amazon MWAA-Konsole auswählen. Standardmäßig können Sie einen Höchstwert von bis zu 25 angeben.

**Um die Anzahl der Arbeiter zu konfigurieren**

1. Öffnen Sie die Seite [Umgebungen](https://console.aws.amazon.com/mwaa/home#/environments) auf der Amazon MWAA-Konsole.

1. Wählen Sie eine Umgebung aus.

1. Wählen Sie **Bearbeiten** aus.

1. Wählen Sie **Weiter** aus.

1. Geben Sie im Bereich **Umgebungsklasse** einen Wert in das Feld **Maximale Anzahl von Mitarbeitern** ein.

1. Wählen Sie **Speichern**.

**Anmerkung**  
Es kann einige Minuten dauern, bis Änderungen in Ihrer Umgebung wirksam werden.

## Beispiel für einen Anwendungsfall mit hoher Leistung
<a name="mwaa-autoscaling-high-volume"></a>

Im folgenden Abschnitt werden die Arten von Konfigurationen beschrieben, die Sie verwenden können, um hohe Leistung und Parallelität in einer Umgebung zu ermöglichen.

### Apache Airflow vor Ort
<a name="mwaa-autoscaling-high-volume-aa"></a>

In der Regel konfigurieren Sie auf einer lokalen Apache Airflow-Plattform die Einstellungen für Aufgabenparallelität, auto Skalierung und Parallelität in Ihrer Datei: `airflow.cfg`
+ `core.parallelism`— Die maximale Anzahl von Task-Instanzen, die pro Scheduler gleichzeitig ausgeführt werden können.
+ `core.dag_concurrency`— Die maximale Parallelität für DAGs (nicht für Arbeiter).
+ `celery.worker_autoscale`— Die maximale und minimale Anzahl von Aufgaben, die gleichzeitig auf einem beliebigen Worker ausgeführt werden können.

Wenn beispielsweise auf eingestellt `core.parallelism` war `100` und auf eingestellt `core.dag_concurrency` war`7`, können Sie nur dann insgesamt `14` zwei Aufgaben gleichzeitig ausführen. DAGs Angenommen, jede DAG ist so eingestellt, dass sie nur sieben Aufgaben gleichzeitig (in`core.dag_concurrency`) ausführt, obwohl die Gesamtparallelität auf `100` (in) eingestellt ist. `core.parallelism`

**Anmerkung**  
`core.dag_concurrency`ist in Apache Airflow v3 nicht verfügbar.

### In einer Amazon MWAA-Umgebung
<a name="mwaa-autoscaling-high-volume-mwaa"></a>

In einer Amazon MWAA-Umgebung können Sie diese Einstellungen direkt auf der Amazon MWAA-Konsole mithilfe von [Verwenden der Apache Airflow Airflow-Konfigurationsoptionen auf Amazon MWAA](configuring-env-variables.md)[Konfiguration der Amazon MWAA-Umgebungsklasse](environment-class.md), und dem auto Skalierungsmechanismus **Maximum Worker Count** konfigurieren. `core.dag_concurrency`Es ist zwar nicht in der Drop-down-Liste als **Apache Airflow Airflow-Konfigurationsoption** auf der Amazon MWAA-Konsole verfügbar, Sie können es jedoch als benutzerdefinierte [Apache Airflow Airflow-Konfigurationsoption](configuring-env-variables.md) hinzufügen.

Nehmen wir an, Sie haben beim Erstellen Ihrer Umgebung die folgenden Einstellungen ausgewählt:

1. Die [Umgebungsklasse](environment-class.md) **mw1.small**, die die maximale Anzahl gleichzeitiger Aufgaben steuert, die jeder Worker standardmäßig ausführen kann, sowie die vCPU von Containern.

1. **Die Standardeinstellung für Arbeiter unter Maximale Anzahl von `10` Arbeitern.**

1. Eine [Apache Airflow Airflow-Konfigurationsoption](configuring-env-variables.md) für `celery.worker_autoscale` `5,5` Aufgaben pro Mitarbeiter.

Das bedeutet, dass Sie in Ihrer Umgebung 50 Aufgaben gleichzeitig ausführen können. Alle Aufgaben über 50 werden in die Warteschlange gestellt und warten, bis die laufenden Aufgaben abgeschlossen sind.

**Führen Sie mehr Aufgaben gleichzeitig aus.** Mithilfe der folgenden Konfigurationen können Sie Ihre Umgebung so ändern, dass mehr Aufgaben gleichzeitig ausgeführt werden:

1. [Erhöhen Sie die maximale Anzahl gleichzeitiger Aufgaben, die jeder Worker standardmäßig ausführen kann, und die vCPU von Containern, indem Sie die `mw1.medium` Umgebungsklasse (standardmäßig 10 gleichzeitige Aufgaben) auswählen.](environment-class.md)

1. `celery.worker_autoscale`Als [Apache Airflow Airflow-Konfigurationsoption](configuring-env-variables.md) hinzufügen.

1. Erhöhen Sie die **maximale Anzahl an Mitarbeitern**. In diesem Beispiel `20` verdoppelt sich die Anzahl der Aufgaben, die `10` die Umgebung gleichzeitig ausführen kann, wenn die maximale Anzahl an Mitarbeitern von 0 auf erhöht wird.

**Geben Sie die Mindestanzahl an Mitarbeitern an**. Sie können auch die minimale und maximale Anzahl von Apache Airflow Airflow-Workern angeben, die in Ihrer Umgebung ausgeführt werden, indem Sie AWS Command Line Interface (AWS CLI) verwenden. Zum Beispiel:

```
aws mwaa update-environment --max-workers 10 --min-workers 10 --name YOUR_ENVIRONMENT_NAME
```

Weitere Informationen finden Sie im Befehl [update-environment](https://docs.aws.amazon.com/cli/latest/reference/mwaa/update-environment.html) in der. AWS CLI

## Problembehandlung bei Aufgaben, die im laufenden Zustand hängen geblieben sind
<a name="mwaa-autoscaling-stranded"></a>

In seltenen Fällen könnte Apache Airflow denken, dass noch Aufgaben ausgeführt werden. Um dieses Problem zu beheben, müssen Sie die gestrandete Aufgabe in Ihrer Apache Airflow Airflow-Benutzeroberfläche löschen. Weitere Informationen finden Sie im Thema [Fehlerbehebung bei Amazon Managed Workflows für Apache Airflow](troubleshooting.md) Problembehandlung.

## Als nächstes
<a name="mwaa-autoscaling-next-up"></a>
+ Erfahren Sie mehr über die bewährten Methoden, die wir empfehlen, um die Leistung Ihrer Umgebung zu optimieren[Leistungsoptimierung für Apache Airflow auf Amazon MWAA](best-practices-tuning.md).