Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
# Überwachung und Metriken für Amazon Managed Workflows for Apache Airflow
Die Überwachung ist ein wichtiger Bestandteil der Aufrechterhaltung der Zuverlässigkeit, Verfügbarkeit und Leistung von Amazon Managed Workflows for Apache Airflow und Ihrer AWS Lösung. Wir empfehlen, Überwachungsdaten aus allen Teilen Ihrer AWS Lösung zu sammeln, damit Sie einen Fehler an mehreren Stellen leichter debuggen können, falls einer auftritt. In diesem Thema wird beschrieben, welche Ressourcen zur Überwachung Ihrer Amazon MWAA-Umgebung und zur Reaktion auf potenzielle Ereignisse zur AWS Verfügung stehen.
**Anmerkung**
Apache Airflow-Metriken und Protokollierung unterliegen den [ CloudWatch Standardpreisen von Amazon](https://aws.amazon.com/cloudwatch/pricing/).
Weitere Informationen zur Überwachung von Apache Airflow finden Sie unter [Logging & Monitoring](https://airflow.apache.org/docs/apache-airflow/stable/logging-monitoring/index.html) auf der Apache Airflow Airflow-Dokumentationswebsite.
**Topics**
+ [Überblick über die Überwachung auf Amazon MWAA](monitoring-overview.md)
+ [Zugriff auf Audit-Logs AWS CloudTrail](monitoring-cloudtrail.md)
+ [Zugreifen auf Airflow-Protokolle in Amazon CloudWatch](monitoring-airflow.md)
+ [Überwachen von Dashboards und Alarmen auf Amazon MWAA](monitoring-dashboard.md)
+ [Apache Airflow Airflow-Umgebungsmetriken in CloudWatch](access-metrics-cw.md)
+ [Container-, Warteschlangen- und Datenbankmetriken für Amazon MWAA](accessing-metrics-cw-container-queue-db.md)
# Überblick über die Überwachung auf Amazon MWAA
Auf dieser Seite werden die AWS Services beschrieben, die zur Überwachung einer Amazon Managed Workflows for Apache Airflow Airflow-Umgebung verwendet werden.
**Contents**
+ [CloudWatch Überblick über Amazon](#monitoring-metrics-cw-about)
+ [AWS CloudTrail -Übersicht](#monitoring-metrics-ct-about)
## CloudWatch Überblick über Amazon
CloudWatch ist ein Metrik-Repository für AWS Services, mit dem Sie Statistiken abrufen können, die auf den von einem Service veröffentlichten [Metriken](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/cloudwatch_concepts.html#Metric) und [Dimensionen](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/cloudwatch_concepts.html#Dimension) basieren. Sie können diese Metriken verwenden, um [Alarme](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/cloudwatch_concepts.html#CloudWatchAlarms) zu konfigurieren, Statistiken zu berechnen und die Daten dann in einem [Dashboard](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/CloudWatch_Dashboards.html) zu präsentieren, das Ihnen hilft, den Zustand Ihrer Umgebung in der CloudWatch Amazon-Konsole zu beurteilen.
Apache Airflow ist bereits so eingerichtet, dass es [StatsD-Metriken](https://github.com/etsy/statsd) für eine Amazon Managed Workflows for Apache Airflow Airflow-Umgebung an Amazon sendet. CloudWatch
Weitere Informationen finden Sie unter [Was ist Amazon CloudWatch?](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/WhatIsCloudWatch.html) .
## AWS CloudTrail -Übersicht
CloudTrail ist ein Audit-Service, der eine Aufzeichnung der Aktionen bereitstellt, die von einem Benutzer, einer Rolle oder einem AWS Service in Amazon MWAA ausgeführt wurden. Anhand der von gesammelten Informationen können Sie die Anfrage CloudTrail, die an Amazon MWAA gestellt wurde, die IP-Adresse, von der aus die Anfrage gestellt wurde, wer die Anfrage gestellt hat, wann sie gestellt wurde, und weitere Details, die in den Audit-Protokollen verfügbar sind, ermitteln.
Weitere Informationen finden Sie unter [Was ist? AWS CloudTrail](https://docs.aws.amazon.com/awscloudtrail/latest/userguide/cloudtrail-user-guide.html) .
# Zugriff auf Audit-Logs AWS CloudTrail
AWS CloudTrail ist auf Ihrem aktiviert AWS-Konto , wenn Sie es erstellen. CloudTrail protokolliert die Aktivität einer IAM-Entität oder eines AWS Dienstes, z. B. Amazon Managed Workflows for Apache Airflow, die als CloudTrail Ereignis aufgezeichnet wird. Sie können den Ereignisverlauf der letzten 90 Tage in der Konsole anzeigen, suchen und herunterladen. CloudTrail CloudTrail erfasst alle Ereignisse auf der Amazon MWAA-Konsole und alle Aufrufe von Amazon MWAA. APIs Es erfasst keine schreibgeschützten Aktionen wie, oder die Aktion. `GetEnvironment` `PublishMetrics` Auf dieser Seite wird beschrieben, wie CloudTrail Sie Ereignisse für Amazon MWAA überwachen können.
**Contents**
+ [Einen Trail erstellen in CloudTrail](#monitoring-cloudtrail-create)
+ [Mit dem CloudTrail Event-Verlauf auf Ereignisse zugreifen](#monitoring-cloudtrail-view)
+ [Beispielpfad für `CreateEnvironment`](#monitoring-cloudtrail-logs-ex)
+ [Als nächstes](#monitoring-cloudtrail-next-up)
## Einen Trail erstellen in CloudTrail
Sie müssen einen Trail erstellen, um auf eine fortlaufende Aufzeichnung der Ereignisse in Ihrem Konto zugreifen zu können AWS-Konto, einschließlich Ereignisse für Amazon MWAA. Ein Trail ermöglicht CloudTrail die Übermittlung von Protokolldateien an einen Amazon S3 S3-Bucket. Wenn Sie keinen Trail erstellen, können Sie trotzdem in der CloudTrail Konsole auf den verfügbaren Ereignisverlauf zugreifen. Anhand der von gesammelten Informationen können Sie beispielsweise die Anfrage CloudTrail, die an Amazon MWAA gestellt wurde, die IP-Adresse, von der aus die Anfrage gestellt wurde, wer die Anfrage gestellt hat, wann sie gestellt wurde, und weitere Details ermitteln. Weitere Informationen findest du im Abschnitt [Einen Trail für dich erstellen](https://docs.aws.amazon.com/awscloudtrail/latest/userguide/cloudtrail-create-and-update-a-trail.html). AWS-Konto
## Mit dem CloudTrail Event-Verlauf auf Ereignisse zugreifen
Sie können Betriebs- und Sicherheitsvorfälle der letzten 90 Tage in der CloudTrail Konsole beheben, indem Sie den Ereignisverlauf einsehen. Sie können beispielsweise für jede Region auf Ereignisse im Zusammenhang mit der Erstellung, Änderung oder Löschung von Ressourcen (wie IAM-Benutzern oder anderen AWS Ressourcen) in Ihrer AWS-Konto Region zugreifen. Weitere Informationen finden Sie unter [Zugreifen auf Ereignisse mithilfe des CloudTrail Ereignisverlaufs](https://docs.aws.amazon.com/awscloudtrail/latest/userguide/view-cloudtrail-events.html).
1. Öffnen Sie die [CloudTrail-Konsole](https://console.aws.amazon.com/cloudtrail/home#).
1. Wählen Sie „**Ereignisverlauf**“.
1. Wählen Sie die Ereignisse aus, die Sie sich ansehen möchten, und klicken Sie dann auf **Veranstaltungsdetails vergleichen**.
## Beispielpfad für `CreateEnvironment`
Ein Trail ist eine Konfiguration, durch die Ereignisse als Protokolldateien an den von Ihnen angegebenen Amazon-S3-Bucket übermittelt werden.
CloudTrail Protokolldateien enthalten einen oder mehrere Protokolleinträge. Ein Ereignis stellt eine einzelne Anforderung aus einer beliebigen Quelle dar und enthält Informationen über die angeforderte Aktion, z. B. Datum und Uhrzeit der Aktion oder Anforderungsparameter. CloudTrail Protokolldateien sind kein geordneter Stack-Trace der öffentlichen API-Aufrufe und werden auch nicht in einer bestimmten Reihenfolge aufgeführt. Das folgende Beispiel ist ein Protokolleintrag für die `CreateEnvironment` Aktion, die aufgrund fehlender Berechtigungen verweigert wurde. Die Werte in `AirflowConfigurationOptions` wurden aus Datenschutzgründen redigiert.
```
{
"eventVersion": "1.05",
"userIdentity": {
"type": "AssumedRole",
"principalId": "00123456ABC7DEF8HIJK",
"arn": "arn:aws:sts::012345678901:assumed-role/root/myuser",
"accountId": "012345678901",
"accessKeyId": "",
"sessionContext": {
"sessionIssuer": {
"type": "Role",
"principalId": "00123456ABC7DEF8HIJK",
"arn": "arn:aws:iam::012345678901:role/user",
"accountId": "012345678901",
"userName": "user"
},
"webIdFederationData": {},
"attributes": {
"mfaAuthenticated": "false",
"creationDate": "2020-10-07T15:51:52Z"
}
}
},
"eventTime": "2020-10-07T15:52:58Z",
"eventSource": "airflow.amazonaws.com",
"eventName": "CreateEnvironment",
"awsRegion": "us-west-2",
"sourceIPAddress": "205.251.233.178",
"userAgent": "PostmanRuntime/7.26.5",
"errorCode": "AccessDenied",
"requestParameters": {
"SourceBucketArn": "arn:aws:s3:::my-bucket",
"ExecutionRoleArn": "arn:aws:iam::012345678901:role/AirflowTaskRole",
"AirflowConfigurationOptions": "***",
"DagS3Path": "sample_dag.py",
"NetworkConfiguration": {
"SecurityGroupIds": [
"sg-01234567890123456"
],
"SubnetIds": [
"subnet-01234567890123456",
"subnet-65432112345665431"
]
},
"Name": "test-cloudtrail"
},
"responseElements": {
"message": "Access denied."
},
"requestID": "RequestID",
"eventID": "EventID",
"readOnly": false,
"eventType": "AwsApiCall",
"recipientAccountId": "012345678901"
}
```
## Als nächstes
+ Erfahren Sie unter [CloudTrail Unterstützte AWS Dienste und Integrationen](https://docs.aws.amazon.com//awscloudtrail/latest/userguide/cloudtrail-aws-service-specific-topics.html#cloudtrail-aws-service-specific-topics-integrations), wie Sie andere Dienste für die in den CloudTrail Protokollen gesammelten Ereignisdaten konfigurieren.
+ Erfahren Sie [unter Konfiguration von Amazon SNS-Benachrichtigungen für CloudTrail, wie Sie benachrichtigt werden, wenn neue Protokolldateien in einem Amazon S3-Bucket CloudTrail ](https://docs.aws.amazon.com//awscloudtrail/latest/userguide/getting_notifications_top_level.html) veröffentlicht werden.
# Zugreifen auf Airflow-Protokolle in Amazon CloudWatch
Amazon MWAA kann Apache Airflow Airflow-Protokolle an Amazon senden. CloudWatch Sie können von einem einzigen Standort aus auf Protokolle für mehrere Umgebungen zugreifen, um Verzögerungen oder Workflow-Fehler bei Apache Airflow ohne zusätzliche Tools von Drittanbietern einfach zu identifizieren. Apache Airflow-Protokolle müssen auf der Amazon Managed Workflows for Apache Airflow Airflow-Konsole aktiviert sein, um auf die Apache Airflow DAG-Verarbeitung, Aufgaben, Webserver und Worker-Logs zugreifen zu können. CloudWatch
**Contents**
+ [Preisgestaltung](#monitoring-airflow-pricing)
+ [Bevor Sie beginnen](#monitoring-airflow-before)
+ [Typen von Protokollen](#monitoring-airflow-log-groups)
+ [Apache Airflow Airflow-Protokolle aktivieren](#monitoring-airflow-enable)
+ [Zugreifen auf Apache Airflow Airflow-Protokolle](#monitoring-airflow-view)
+ [Beispiel für Scheduler-Protokolle](#monitoring-airflow-example)
+ [Als nächstes](#monitoring-airflow-next-up)
## Preisgestaltung
+ Es fallen Standardgebühren für Logs CloudWatch an. Weitere Informationen finden Sie unter [CloudWatch Preise](https://aws.amazon.com/cloudwatch/pricing/).
## Bevor Sie beginnen
+ Sie müssen über eine Rolle verfügen, die auf Logins zugreifen kann CloudWatch. Weitere Informationen finden Sie unter [Zugreifen auf eine Amazon MWAA-Umgebung](access-policies.md).
## Typen von Protokollen
Amazon MWAA erstellt für jede Airflow-Protokollierungsoption, die Sie aktivieren, eine Protokollgruppe und überträgt die Protokolle an die Protokollgruppen, die einer CloudWatch Umgebung zugeordnet sind. Protokollgruppen werden im folgenden Format benannt:. `YourEnvironmentName-LogType` Wenn Ihre Umgebung beispielsweise benannt ist`Airflow-v202-Public`, werden Apache Airflow-Taskprotokolle an `Airflow-v202-Public-Task` gesendet.
| Protokolltyp | Description |
| --- | --- |
| `YourEnvironmentName-DAGProcessing` | Die Protokolle des DAG-Prozessor-Managers (der Teil des Schedulers, der DAG-Dateien verarbeitet). |
| `YourEnvironmentName-Scheduler` | Die vom Airflow-Scheduler generierten Protokolle. |
| `YourEnvironmentName-Task` | Die Aufgabenprotokolle, die eine DAG generiert. |
| `YourEnvironmentName-WebServer` | Die von der Airflow-Weboberfläche generierten Protokolle. |
| `YourEnvironmentName-Worker` | Die im Rahmen der Workflow- und DAG-Ausführung generierten Protokolle. |
## Apache Airflow Airflow-Protokolle aktivieren
Sie können Apache Airflow Airflow-Protokolle auf der `CRITICAL` Ebene `INFO``WARNING`,`ERROR`, oder aktivieren. Wenn Sie eine Protokollebene wählen, sendet Amazon MWAA Protokolle für diese Stufe und alle höheren Schweregrade. Wenn Sie beispielsweise Protokolle auf der `INFO` Ebene aktivieren, sendet Amazon MWAA `INFO` Protokolle und `WARNING``ERROR`, und Protokollebenen an `CRITICAL` CloudWatch Logs.
1. Öffnen Sie die Seite [Umgebungen](https://console.aws.amazon.com/mwaa/home#/environments) auf der Amazon MWAA-Konsole.
1. Wählen Sie eine Umgebung aus.
1. Wählen Sie **Bearbeiten** aus.
1. Wählen Sie **Weiter** aus.
1. Wählen Sie eine oder mehrere der folgenden Protokollierungsoptionen:
1. Wählen Sie im **Bereich **Überwachung** die Protokollgruppe Airflow Scheduler** aus.
1. **Wählen Sie im **Bereich Überwachung die Airflow-Webserver-Protokollgruppe** aus.**
1. **Wählen Sie im **Bereich Überwachung die Airflow-Worker-Protokollgruppe** aus.**
1. Wählen Sie im **Bereich **Überwachung** die Airflow DAG-Verarbeitungsprotokollgruppe** aus.
1. Wählen Sie im **Bereich **Überwachung** die Protokollgruppe Airflow Task** aus.
1. Wählen Sie die Protokollierungsebene unter **Protokollebene** aus.
1. Wählen Sie **Weiter** aus.
1. Wählen Sie **Speichern**.
## Zugreifen auf Apache Airflow Airflow-Protokolle
Im folgenden Abschnitt wird beschrieben, wie Sie in der CloudWatch Konsole auf Apache Airflow Airflow-Protokolle zugreifen können.
1. Öffnen Sie die Seite [Umgebungen](https://console.aws.amazon.com/mwaa/home#/environments) auf der Amazon MWAA-Konsole.
1. Wählen Sie eine Umgebung aus.
1. Wählen Sie im Bereich **Überwachung** eine Protokollgruppe aus.
1. Wählen Sie ein Protokoll im **Protokollstream** aus.
## Beispiel für Scheduler-Protokolle
Sie können auf die Apache Airflow Airflow-Protokolle für den Scheduler zugreifen, um Ihre Workflows zu planen und Ihren Ordner zu analysieren. `dags` In den folgenden Schritten wird beschrieben, wie Sie die Protokollgruppe für den Scheduler auf der Amazon MWAA-Konsole öffnen und auf die Apache Airflow Airflow-Protokolle in der Logs-Konsole zugreifen. CloudWatch
**Um auf Protokolle für einen zuzugreifen `requirements.txt`**
1. Öffnen Sie die Seite [Umgebungen](https://console.aws.amazon.com/mwaa/home#/environments) auf der Amazon MWAA-Konsole.
1. Wählen Sie eine Umgebung aus.
1. Wählen Sie im **Bereich **Überwachung** die Protokollgruppe Airflow Scheduler** aus.
1. **Wählen Sie unter `requirements_install_ip` Log-Streams die Option Log Streams aus.**
1. Eine Liste der Pakete, die in der Umgebung installiert wurden, finden Sie unter`/usr/local/airflow/.local/bin`. Beispiel:
```
Collecting appdirs==1.4.4 (from -r /usr/local/airflow/.local/bin (line 1))
Downloading https://files.pythonhosted.org/packages/3b/00/2344469e2084fb28kjdsfiuyweb47389789vxbmnbjhsdgf5463acd6cf5e3db69324/appdirs-1.4.4-py2.py3-none-any.whl
Collecting astroid==2.4.2 (from -r /usr/local/airflow/.local/bin (line 2))
```
1. Überprüfen Sie die Liste der Pakete und ob bei der Installation eines dieser Pakete ein Fehler aufgetreten ist. Wenn etwas schief gelaufen ist, erhalten Sie möglicherweise eine Fehlermeldung, die der folgenden ähnelt:
```
2021-03-05T14:34:42.731-07:00
No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4))
No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4))
```
## Als nächstes
+ Erfahren Sie [unter Amazon-Alarme verwenden, wie Sie einen CloudWatch CloudWatch Alarm](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/AlarmThatSendsEmail.html) konfigurieren.
+ Erfahren Sie unter [ CloudWatch Dashboards verwenden](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/CloudWatch_Dashboards.html), wie Sie ein CloudWatch Dashboard erstellen.
# Überwachen von Dashboards und Alarmen auf Amazon MWAA
Sie können in Amazon ein benutzerdefiniertes Dashboard erstellen CloudWatch und Alarme für eine bestimmte Metrik hinzufügen, um den Status einer Amazon Managed Workflows for Apache Airflow Airflow-Umgebung zu überwachen. Wenn sich ein Alarm auf einem Dashboard befindet, wird er rot, wenn er sich im `ALARM` Status befindet, was es einfacher macht, den Zustand einer Amazon MWAA-Umgebung proaktiv zu überwachen.
Apache Airflow stellt Metriken für verschiedene Prozesse bereit, darunter die Anzahl der DAG-Prozesse, die Größe des DAG-Beutels, aktuell ausgeführte Aufgaben, Aufgabenfehler und Erfolge. Wenn Sie eine Umgebung erstellen, sendet Airflow automatisch Metriken für eine Amazon MWAA-Umgebung an. CloudWatch Auf dieser Seite wird beschrieben, wie Sie ein Status-Dashboard für die Airflow-Metriken in CloudWatch einer Amazon MWAA-Umgebung erstellen.
**Contents**
+ [Kennzahlen](#monitoring-dashboard-metrics)
+ [Übersicht über die Alarmzustände](#monitoring-dashboard-states)
+ [Beispiel für benutzerdefinierte Dashboards und Alarme](#monitoring-dashboard-custom)
+ [Über diese Metriken](#monitoring-dashboard-custom-about)
+ [Über das Dashboard](#monitoring-dashboard-custom-about-dash)
+ [AWS Mithilfe von Tutorials](#monitoring-dashboard-tutorials)
+ [Verwenden CloudFormation](#monitoring-dashboard-cfn)
+ [Metriken und Dashboards löschen](#monitoring-dashboard-delete)
+ [Als nächstes](#monitoring-dashboard-next-up)
## Kennzahlen
Sie können ein benutzerdefiniertes Dashboard und einen Alarm für alle Metriken erstellen, die für Ihre Apache Airflow Airflow-Version verfügbar sind. Jede Metrik entspricht einem Apache Airflow Key Performance Indicator (KPI). Eine Liste von Metriken finden Sie unter:
+ [Apache Airflow Airflow-Umgebungsmetriken in CloudWatch](access-metrics-cw.md)
## Übersicht über die Alarmzustände
Ein Metrikalarm kann die folgenden Status aufweisen:
+ `OK` – Die Metrik oder der Ausdruck liegt innerhalb des festgelegten Schwellenwerts.
+ `ALARM` – Die Metrik oder der Ausdruck liegt außerhalb des festgelegten Schwellenwerts.
+ `INSUFFICIENT_DATA` – Der Alarm wurde soeben gestartet; die Metrik ist nicht verfügbar oder es sind nicht genügend Daten verfügbar, damit die Metrik den Alarmstatus bestimmen kann.
## Beispiel für benutzerdefinierte Dashboards und Alarme
Sie können ein benutzerdefiniertes Monitoring-Dashboard erstellen, das Diagramme mit ausgewählten Metriken für Ihre Amazon MWAA-Umgebung anzeigt.
### Über diese Metriken
In der folgenden Liste werden alle Metriken beschrieben, die im benutzerdefinierten Dashboard anhand des Tutorials und der Vorlagendefinitionen in diesem Abschnitt erstellt wurden.
+ *QueuedTasks*- Die Anzahl der Aufgaben mit dem Status „Warteschlange“. Entspricht der `executor.queued_tasks` Apache Airflow-Metrik.
+ *TasksPending*- Die Anzahl der Aufgaben, die im Executor noch ausstehen. Entspricht der `scheduler.tasks.pending` Apache Airflow-Metrik.
**Anmerkung**
Gilt nicht für Apache Airflow v2.2 und höher.
+ *RunningTasks*- Die Anzahl der Aufgaben, die im Executor ausgeführt werden. Entspricht der `executor.running_tasks` Apache Airflow-Metrik.
+ *SchedulerHeartbeat*- Die Anzahl der Check-ins, die Apache Airflow für den Scheduler-Job durchführt. Entspricht den `scheduler_heartbeat` Apache Airflow-Metriken.
+ *TotalParseTime*- Die Anzahl der Sekunden, die benötigt wurden, um alle DAG-Dateien einmal zu scannen und zu importieren. Entspricht der `dag_processing.total_parse_time` Apache Airflow-Metrik.
### Über das Dashboard
Die folgende Abbildung zeigt das Monitoring-Dashboard, das mit dem Tutorial und der Vorlagendefinition in diesem Abschnitt erstellt wurde.
![\[Dieses Bild zeigt, wo sich die Option Privates Netzwerk auf der Amazon MWAA-Konsole befindet.\]](http://docs.aws.amazon.com/de_de/mwaa/latest/userguide/images/cw-dashboard.png)
### AWS Mithilfe von Tutorials
Sie können das folgende AWS Tutorial verwenden, um automatisch ein Integritätsstatus-Dashboard für alle Amazon MWAA-Umgebungen zu erstellen, die derzeit bereitgestellt werden. Außerdem werden in allen Amazon CloudWatch MWAA-Umgebungen Alarme für kranke Mitarbeiter und für Heartbeat-Ausfälle im Terminplaner generiert.
+ [CloudWatch Dashboard-Automatisierung für Amazon MWAA](https://github.com/aws-samples/mwaa-dashboard)
### Verwenden CloudFormation
Sie können die CloudFormation Vorlagendefinition in diesem Abschnitt verwenden, um ein Überwachungs-Dashboard zu erstellen und dann Alarme auf der CloudWatch Konsole hinzuzufügen CloudWatch, um Benachrichtigungen zu erhalten, wenn eine Metrik einen bestimmten Schwellenwert überschreitet. Informationen zum Erstellen des Stacks mithilfe dieser Vorlagendefinition finden Sie unter [Einen Stack auf der CloudFormation Konsole erstellen](https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/cfn-console-create-stack.html). Informationen zum Hinzufügen eines Alarms zum Dashboard finden Sie unter [Alarme verwenden](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/AlarmThatSendsEmail.html).
```
AWSTemplateFormatVersion: "2010-09-09"
Description: Creates MWAA Cloudwatch Dashboard
Parameters:
DashboardName:
Description: Enter the name of the CloudWatch Dashboard
Type: String
EnvironmentName:
Description: Enter the name of the MWAA Environment
Type: String
Resources:
BasicDashboard:
Type: AWS::CloudWatch::Dashboard
Properties:
DashboardName: !Ref DashboardName
DashboardBody:
Fn::Sub: '{
"widgets": [
{
"type": "metric",
"x": 0,
"y": 0,
"width": 12,
"height": 6,
"properties": {
"view": "timeSeries",
"stacked": true,
"metrics": [
[
"AmazonMWAA",
"QueuedTasks",
"Function",
"Executor",
"Environment",
"${EnvironmentName}"
]
],
"region": "${AWS::Region}",
"title": "QueuedTasks ${EnvironmentName}",
"period": 300
}
},
{
"type": "metric",
"x": 0,
"y": 6,
"width": 12,
"height": 6,
"properties": {
"view": "timeSeries",
"stacked": true,
"metrics": [
[
"AmazonMWAA",
"RunningTasks",
"Function",
"Executor",
"Environment",
"${EnvironmentName}"
]
],
"region": "${AWS::Region}",
"title": "RunningTasks ${EnvironmentName}",
"period": 300
}
},
{
"type": "metric",
"x": 12,
"y": 6,
"width": 12,
"height": 6,
"properties": {
"view": "timeSeries",
"stacked": true,
"metrics": [
[
"AmazonMWAA",
"SchedulerHeartbeat",
"Function",
"Scheduler",
"Environment",
"${EnvironmentName}"
]
],
"region": "${AWS::Region}",
"title": "SchedulerHeartbeat ${EnvironmentName}",
"period": 300
}
},
{
"type": "metric",
"x": 12,
"y": 0,
"width": 12,
"height": 6,
"properties": {
"view": "timeSeries",
"stacked": true,
"metrics": [
[
"AmazonMWAA",
"TasksPending",
"Function",
"Scheduler",
"Environment",
"${EnvironmentName}"
]
],
"region": "${AWS::Region}",
"title": "TasksPending ${EnvironmentName}",
"period": 300
}
},
{
"type": "metric",
"x": 0,
"y": 12,
"width": 24,
"height": 6,
"properties": {
"view": "timeSeries",
"stacked": true,
"region": "${AWS::Region}",
"metrics": [
[
"AmazonMWAA",
"TotalParseTime",
"Function",
"DAG Processing",
"Environment",
"${EnvironmentName}"
]
],
"title": "TotalParseTime ${EnvironmentName}",
"period": 300
}
}
]
}'
```
## Metriken und Dashboards löschen
Wenn Sie eine Amazon MWAA-Umgebung löschen, wird auch das entsprechende Dashboard gelöscht. CloudWatch Metriken werden für fünfzehn (15) Monate gespeichert und können nicht gelöscht werden. Die CloudWatch Konsole beschränkt die Suche nach Metriken auf zwei (2) Wochen nach der letzten Erfassung einer Metrik, um sicherzustellen, dass die aktuellsten Instances für Ihre Amazon MWAA-Umgebung angezeigt werden. Weitere Informationen finden Sie auf [Amazon CloudWatch FAQs](https://aws.amazon.com/cloudwatch/faqs/).
## Als nächstes
+ Erfahren Sie, wie Sie eine DAG erstellen, die die Amazon Aurora PostgreSQL-Metadatendatenbank für Ihre Umgebung abfragt und benutzerdefinierte Metriken veröffentlicht. CloudWatch [Verwenden einer DAG zum Schreiben benutzerdefinierter Metriken in CloudWatch](samples-custom-metrics.md)
# Apache Airflow Airflow-Umgebungsmetriken in CloudWatch
Apache Airflow v2 und v3 sind bereits so eingerichtet, dass sie [StatsD-Metriken](https://github.com/etsy/statsd) für eine Amazon Managed Workflows for Apache Airflow Airflow-Umgebung sammeln und an Amazon senden. CloudWatch Die vollständige Liste der von Apache Airflow gesendeten Metriken ist auf der Seite [Metriken](https://airflow.apache.org/docs/apache-airflow/stable/administration-and-deployment/logging-monitoring/metrics.html) im *Apache Airflow Airflow-Referenzhandbuch* verfügbar. Auf dieser Seite werden die Apache Airflow-Metriken beschrieben, die in der Konsole verfügbar sind, CloudWatch und wie Sie auf Metriken in der CloudWatch Konsole zugreifen können.
**Contents**
+ [Bedingungen](#access-metrics-cw-terms)
+ [Dimensionen](#metrics-dimensions)
+ [Zugreifen auf Metriken in der Konsole CloudWatch](#access-metrics-cw-console)
+ [Apache Airflow-Metriken verfügbar in CloudWatch](#available-metrics-cw)
+ [Apache Airflow Luftstromzähler](#counters-metrics)
+ [Apache Airflow Luftstrommessgeräte](#gauges-metrics)
+ [Apache Airflow Timer](#timers-metrics)
+ [Auswahl der Metriken, die gemeldet werden](#choosing-metrics)
+ [Als nächstes](#mwaa-metrics202-next-up)
## Bedingungen
**Namespace**
Ein Namespace ist ein Container für die CloudWatch Metriken eines AWS Dienstes. *Für Amazon MWAA lautet der Namespace AmazonMWAA.*
**CloudWatch Metriken**
Eine CloudWatch Metrik stellt einen nach der Zeit geordneten Satz von Datenpunkten dar, die spezifisch für sind. CloudWatch
**Apache Airflow-Metriken**
Die spezifischen [Metriken](https://airflow.apache.org/docs/apache-airflow/stable/administration-and-deployment/logging-monitoring/metrics.html ) für Apache Airflow.
**Dimension**
Eine Dimension ist ein name/value Paar, das Teil der Identität einer Metrik ist.
**Einheit**
Eine Statistik hat eine Maßeinheit. *Für Amazon MWAA umfassen die Einheiten *Anzahl*, *Sekunden* und Millisekunden.* Für Amazon MWAA werden die Einheiten auf der Grundlage der Einheiten in den ursprünglichen Airflow-Metriken festgelegt.
## Dimensionen
In diesem Abschnitt wird die Gruppierung von CloudWatch *Dimensionen* für Apache Airflow-Metriken in beschrieben. CloudWatch
| Dimension | Description |
| --- | --- |
| DAG | Zeigt einen bestimmten Apache Airflow DAG-Namen an. |
| DAG-Dateiname | Zeigt einen bestimmten Apache Airflow DAG-Dateinamen an. |
| Funktion | Diese Dimension wird verwendet, um die Gruppierung von Metriken in zu verbessern. CloudWatch |
| Aufgabe | Zeigt einen Apache Airflow Airflow-Job an, der vom Scheduler ausgeführt wird. Hat immer einen Wert von. `Job` |
| Operator | Zeigt einen bestimmten Apache Airflow Airflow-Operator an. |
| Pool | Weist auf einen bestimmten Apache Airflow Airflow-Workerpool hin. |
| Aufgabe | Weist auf eine bestimmte Apache Airflow Airflow-Aufgabe hin. |
| HostName | Gibt den Hostnamen für einen bestimmten laufenden Apache Airflow Airflow-Prozess an. |
## Zugreifen auf Metriken in der Konsole CloudWatch
In diesem Abschnitt wird beschrieben, wie Sie auf Leistungsmetriken CloudWatch für eine bestimmte DAG zugreifen.
**So greifen Sie auf Leistungskennzahlen für eine Dimension zu**
1. Öffnen Sie die [Seite „Metriken“](https://console.aws.amazon.com/cloudwatch/home#metricsV2:graph=~()) in der CloudWatch Konsole.
1. Wählen Sie Ihre AWS-Region.
1. Wählen Sie den **AmazonMWAA-Namespace**.
1. Wählen Sie auf der Registerkarte **Alle Metriken** eine Dimension aus. Zum Beispiel *DAG, Umgebung*.
1. Wählen Sie eine CloudWatch Metrik für eine Dimension aus. Zum Beispiel *TaskInstanceSuccesses* oder *TaskInstanceDuration*. Wählen Sie **Alle Suchergebnisse grafisch** darstellen aus.
1. Wählen Sie die Registerkarte **Graphed Metrics**, um auf Leistungsstatistiken für Apache Airflow-Metriken wie *DAG, Umgebung, Task* zuzugreifen.
## Apache Airflow-Metriken verfügbar in CloudWatch
In diesem Abschnitt werden die Apache Airflow-Metriken und -Dimensionen beschrieben, an die CloudWatch gesendet werden.
### Apache Airflow Luftstromzähler
*Die Apache Airflow-Metriken in diesem Abschnitt enthalten Daten über [Apache Airflow Counters](https://airflow.apache.org/docs/apache-airflow/stable/administration-and-deployment/logging-monitoring/metrics.html#counters).*
| CloudWatch Metrik | Apache Airflow-Metrik | Einheit | Dimension |
| --- | --- | --- | --- |
| SLAMissed Nur für Apache Airflow v2.4.3 bis v2.10.3 verfügbar. | sla\$1missed | Anzahl | Funktion, Scheduler |
| Fehlgeschlagen SLACallback Nur für Apache Airflow v2.4.3 bis v2.10.3 verfügbar. | sla\$1callback\$1notification\$1failure | Anzahl | Funktion, Scheduler |
| Aktualisierungen Verfügbar für Apache Airflow v2.6.3 und höher. | dataset.updates | Anzahl | Funktion, Scheduler |
| Verwaist Verfügbar für Apache Airflow v2.6.3 und höher. | dataset.verwaist | Anzahl | Funktion, Scheduler |
| FailedCeleryTaskExecution Verfügbar für Apache Airflow v2.4.3 und höher. | celery.execute\$1command.failure | Anzahl | Funktion, Sellerie |
| FilePathQueueUpdateCount Verfügbar für Apache Airflow v2.6.3 und höher. | dag\$1processing.file\$1path\$1queue\$1update\$1count | Anzahl | Funktion, Scheduler |
| CriticalSectionBusy | scheduler.critical\$1section\$1busy | Anzahl | Funktion, Scheduler |
| DagBagSize | dagbag\$1size | Anzahl | Funktion, DAG-Verarbeitung |
| DagCallbackExceptions | dag.callback\$1exceptions | Anzahl | DAG, Alle |
| Fehlgeschlagene SLAEmail Versuche Nicht verfügbar für Apache Airflow v3.0.6 und höher. | sla\$1email\$1notification\$1failure | Anzahl | Funktion, Scheduler |
| TaskInstanceFinished | bis ich fertig bin. \$1tag\$1id\$1. \$1Aufgaben-ID\$1. \$1Bundesstaat\$1 | Anzahl | TAG, \$1tag\$1id\$1 Aufgabe, \$1task\$1id\$1 Bundesstaat, \$1Bundesstaat\$1 |
| JobEnd | \$1Jobname\$1 \$1Ende | Anzahl | Job, \$1job\$1name\$1 |
| JobHeartbeatFailure | \$1Jobname\$1 \$1Heartbeat\$1Failure | Anzahl | Job, \$1job\$1name\$1 |
| JobStart | \$1Jobname\$1 \$1Start | Anzahl | Job, \$1job\$1name\$1 |
| ManagerStalls | dag\$1processing.manager\$1stalls | Anzahl | Funktion, DAG-Verarbeitung |
| OperatorFailures | operator\$1failures\$1 \$1operator\$1name\$1 | Anzahl | Betreiber, \$1operator\$1name\$1 |
| OperatorSuccesses | operator\$1successes\$1 \$1operator\$1name\$1 | Anzahl | Betreiber, \$1operator\$1name\$1 |
| OtherCallbackCount Verfügbar in Apache Airflow v2.6.3 und höher. | dag\$1processing.other\$1callback\$1count | Anzahl | Funktion, Scheduler |
| Prozesse | dag\$1processing.processes | Anzahl | Funktion, DAG-Verarbeitung |
| SchedulerHeartbeat | scheduler\$1heartbeat | Anzahl | Funktion, Scheduler |
| StartedTaskInstances | ti.start. \$1tag\$1id\$1. \$1Aufgaben-ID\$1 | Anzahl | DAG, Alle Aufgabe, Alle |
| SlaCallbackCount | dag\$1processing.sla\$1callback\$1count Verfügbar für Apache Airflow v2.6.3 und höher. | Anzahl | Funktion, Scheduler |
| TasksKilledExternally | scheduler.tasks.killed\$1external | Anzahl | Funktion, Scheduler |
| TaskTimeoutError | celery.task\$1timeout\$1error | Anzahl | Funktion, Sellerie |
| TaskInstanceCreatedUsingOperator | task\$1instance\$1created- \$1Operatorname\$1 | Anzahl | Betreiber, \$1operator\$1name\$1 |
| TaskInstancePreviouslySucceeded | vorherig\$1erfolgreich | Anzahl | DAG, Alle Aufgabe, Alle |
| TaskInstanceFailures | ti\$1failures | Anzahl | DAG, Alle Aufgabe, Alle |
| TaskInstanceSuccesses | ti\$1successes | Anzahl | DAG, Alle Aufgabe, Alle |
| TaskRemovedFromTAG | task\$1from\$1dag entfernt. \$1tag\$1id\$1 | Anzahl | TAG, \$1dag\$1id\$1 |
| TaskRestoredToTAG | task\$1restored\$1to\$1dag. \$1tag\$1id\$1 | Anzahl | TAG, \$1dag\$1id\$1 |
| TriggersSucceeded Verfügbar für Apache Airflow v2.7.2 und höher. | triggers.erfolgreich | Anzahl | Funktion, Auslöser |
| TriggersFailed Verfügbar für Apache Airflow v2.7.2 und höher. | triggers.failed | Anzahl | Funktion, Auslöser |
| TriggersBlockedMainThread Verfügbar für Apache Airflow v2.7.2 und höher. | triggers.blocked\$1main\$1thread | Anzahl | Funktion, Auslöser |
| TriggerHeartbeat Verfügbar für Apache Airflow v2.8.1 und höher. | triggerer\$1heartbeat | Anzahl | Funktion, Triggerer |
| TaskInstanceCreatedUsingOperator | airflow.task\$1instance\$1created\$1 `{operator_name}` Verfügbar für Apache Airflow v2.7.2 und höher. | Anzahl | Betreiber, `{operator_name}` |
| ZombiesKilled | Zombies\$1getötet | Anzahl | DAG, Alle Aufgabe, Alle |
### Apache Airflow Luftstrommessgeräte
*Die Apache Airflow-Metriken in diesem Abschnitt enthalten Daten über [Apache Airflow Gauges](https://airflow.apache.org/docs/apache-airflow/stable/administration-and-deployment/logging-monitoring/metrics.html#gauges).*
| CloudWatch Metrik | Apache Airflow-Metrik | Einheit | Dimension |
| --- | --- | --- | --- |
| DAGFileRefreshError | dag\$1file\$1refresh\$1error | Anzahl | Funktion, DAG-Verarbeitung |
| ImportErrors | dag\$1processing.import\$1errors | Anzahl | Funktion, DAG-Verarbeitung |
| ExceptionFailures | smart\$1sensor\$1operator.exception\$1failures | Anzahl | Funktion, intelligenter Sensoroperator |
| ExecutedTasks | smart\$1sensor\$1operator.executed\$1tasks | Anzahl | Funktion, intelligenter Sensoroperator |
| InfraFailures | smart\$1sensor\$1operator.infra\$1failures | Anzahl | Funktion, intelligenter Sensoroperator |
| LoadedTasks | smart\$1sensor\$1operator.loaded\$1tasks | Anzahl | Funktion, intelligenter Sensoroperator |
| TotalParseTime | dag\$1processing.total\$1parse\$1time | Sekunden | Funktion, DAG-Verarbeitung |
| TriggeredDagRuns Verfügbar in Apache Airflow v2.6.3 und höher. | dataset.triggered\$1dagruns | Anzahl | Funktion, Scheduler |
| TriggersRunning Verfügbar in Apache Airflow v2.7.2 und höher. | löst aus. Wird ausgeführt. *\$1hostname\$1* | Anzahl | Funktion, Auslöser HostName, *\$1hostname\$1* |
| PoolDeferredSlots Verfügbar in Apache Airflow v2.7.2 und höher. | pool.deferred\$1slots. `{pool_name}` | Anzahl | Schwimmbad, \$1Poolname\$1 |
| DAGFileProcessingLastRunSecondsAgo | dag\$1processing.last\$1run.seconds\$1ago. \$1dag\$1Dateiname\$1 | Sekunden | DAG-Dateiname, \$1dag\$1filename\$1 |
| OpenSlots | executor.open\$1slots | Anzahl | Funktion, Executor |
| OrphanedTasksAdopted | scheduler.orphaned\$1tasks.adoptiert | Anzahl | Funktion, Scheduler |
| OrphanedTasksCleared | scheduler.orphaned\$1tasks.clear | Anzahl | Funktion, Scheduler |
| PokedExceptions | smart\$1sensor\$1operator.poked\$1exception | Anzahl | Funktion, intelligenter Sensoroperator |
| PokedSuccess | smart\$1sensor\$1operator.poked\$1success | Anzahl | Funktion, intelligenter Sensoroperator |
| PokedTasks | smart\$1sensor\$1operator.poked\$1tasks | Anzahl | Funktion, intelligenter Sensoroperator |
| PoolFailures | pool.open\$1slots. \$1Poolname\$1 | Anzahl | Schwimmbad, \$1Poolname\$1 |
| PoolStarvingTasks | pool.starving\$1tasks. \$1Poolname\$1 | Anzahl | Schwimmbad, \$1Poolname\$1 |
| PoolOpenSlots | pool.open\$1slots. \$1Poolname\$1 | Anzahl | Schwimmbad, \$1Poolname\$1 |
| PoolQueuedSlots | pool.queued\$1slots. \$1Poolname\$1 | Anzahl | Schwimmbad, \$1Poolname\$1 |
| PoolRunningSlots | pool.running\$1slots. \$1Poolname\$1 | Anzahl | Schwimmbad, \$1Poolname\$1 |
| ProcessorTimeouts | dag\$1processing.processor\$1timeouts | Anzahl | Funktion, DAG-Verarbeitung |
| QueuedTasks | executor.queued\$1tasks | Anzahl | Funktion, Executor |
| RunningTasks | executor.running\$1tasks | Anzahl | Funktion, Executor |
| TasksExecutable | scheduler.tasks.executable | Anzahl | Funktion, Scheduler |
| TasksPending Gilt nicht für Apache Airflow v2.2 und höher. | scheduler.tasks.pending | Anzahl | Funktion, Scheduler |
| TasksRunning | scheduler.tasks.running | Anzahl | Funktion, Scheduler |
| TasksStarving | scheduler.tasks.starving | Anzahl | Funktion, Scheduler |
| TasksWithoutDagRun | scheduler.tasks.without\$1dagrun | Anzahl | Funktion, Scheduler |
| DAGFileProcessingLastNumOfDbQueries Verfügbar in Apache Airflow v2.10.1 und höher. | dag\$1processing.last\$1num\$1of\$1db\$1queries. \$1dag\$1dateiname\$1 | Anzahl | DAG-Dateiname, \$1dag\$1filename\$1 |
| PoolScheduledSlots Verfügbar in Apache Airflow v2.10.1 und höher. | pool.scheduled\$1slots. \$1Poolname\$1 | Anzahl | Schwimmbad, \$1Poolname\$1 |
| TaskCpuUsage Verfügbar in Apache Airflow v2.10.1 und höher. | CPU.Nutzung. \$1tag\$1id\$1. \$1Aufgaben-ID\$1 | Prozent | TAG, \$1tag\$1id\$1 Aufgabe, \$1task\$1id\$1 |
| TaskMemoryUsage Verfügbar in Apache Airflow v2.10.1 und höher. | mem.usage. \$1tag\$1id\$1. \$1Aufgaben-ID\$1 | Prozent | TAG, \$1tag\$1id\$1 Aufgabe, \$1task\$1id\$1 |
### Apache Airflow Timer
*Die Apache Airflow-Metriken in diesem Abschnitt enthalten Daten über [Apache Airflow Timer](https://airflow.apache.org/docs/apache-airflow/stable/administration-and-deployment/logging-monitoring/metrics.html#timers).*
| CloudWatch Metrik | Apache Airflow-Metrik | Einheit | Dimension |
| --- | --- | --- | --- |
| Sammeln DBDags | collect\$1db\$1dags | Millisekunden | Funktion, DAG-Verarbeitung |
| CriticalSectionDuration | scheduler.critical\$1section\$1duration | Millisekunden | Funktion, Scheduler |
| CriticalSectionQueryDuration Verfügbar für Apache Airflow v2.5.1 und höher. | scheduler.critical\$1section\$1query\$1duration | Millisekunden | Funktion, Scheduler |
| DAGDependencyPrüfen | dagrun. Abhängigkeitsprüfung. \$1tag\$1id\$1 | Millisekunden | TAG, \$1dag\$1id\$1 |
| DAGDurationFehlgeschlagen | dagrun.duration.ist fehlgeschlagen. \$1dag\$1id\$1 | Millisekunden | TAG, \$1dag\$1id\$1 |
| DAGDurationErfolg | Tag. Dauer. Erfolg. \$1tag\$1id\$1 | Millisekunden | TAG, \$1dag\$1id\$1 |
| DAGFileProcessingLastDuration | dag\$1processing.last\$1duration. \$1dag\$1Dateiname\$1 | Sekunden | DAG-Dateiname, \$1dag\$1filename\$1 |
| DAGScheduleVerzögerung | dagrun.schedule\$1delay. \$1tag\$1id\$1 | Millisekunden | TAG, \$1dag\$1id\$1 |
| FirstTaskSchedulingDelay | Dagrun. \$1tag\$1id\$1 .first\$1task\$1scheduling\$1delay | Millisekunden | TAG, \$1dag\$1id\$1 |
| SchedulerLoopDuration Verfügbar für Apache Airflow v2.5.1 und höher. | scheduler.scheduler\$1loop\$1duration | Millisekunden | Funktion, Scheduler |
| TaskInstanceDuration | Tag. \$1tag\$1id\$1. \$1task\$1id\$1 .dauer | Millisekunden | Tag, \$1tag\$1id\$1 Aufgabe, \$1task\$1id\$1 |
| TaskInstanceQueuedDuration | Tag. `{dag_id}`. `{task_id}`. Dauer der Warteschlange Verfügbar für Apache Airflow v2.7.2 und höher. | Millisekunden | DAG, \$1dag\$1id\$1 Aufgabe, \$1task\$1id\$1 |
| TaskInstanceScheduledDuration Verfügbar für Apache Airflow v2.7.2 und höher. | Tag. `{dag_id}`. `{task_id}`.geplante Dauer | Millisekunden | Tag, \$1tag\$1id\$1 Aufgabe, \$1task\$1id\$1 |
## Auswahl der Metriken, die gemeldet werden
[Mithilfe der folgenden Amazon MWAA-Konfigurationsoptionen können Sie wählen CloudWatch, welche Apache Airflow-Metriken an Apache Airflow gesendet oder von Apache Airflow blockiert werden:](configuring-env-variables.md)
+ **`metrics.metrics_allow_list`**— Eine Liste von kommagetrennten Präfixen, anhand derer Sie auswählen können, an welche Metriken von Ihrer Umgebung ausgegeben werden. CloudWatch Verwenden Sie diese Option, wenn Sie möchten, dass Apache Airflow nicht alle verfügbaren Metriken sendet und stattdessen eine Teilmenge von Elementen auswählt. Beispiel, `scheduler,executor,dagrun`.
+ **`metrics.metrics_block_list`**— Eine Liste von kommagetrennten Präfixen, um Metriken herauszufiltern, die mit den Elementen der Liste beginnen. Beispiel, `scheduler,executor,dagrun`.
Wenn Sie `metrics.metrics_allow_list` sowohl als auch konfigurieren`metrics.metrics_block_list`, ignoriert `metrics.metrics_block_list` Apache Airflow. Wenn Sie konfigurieren, `metrics.metrics_block_list` aber nicht`metrics.metrics_allow_list`, filtert Apache Airflow die Elemente heraus, in `metrics.metrics_block_list` denen Sie angeben.
**Anmerkung**
Die `metrics.metrics_allow_list` und `metrics.metrics_block_list` Konfigurationsoptionen gelten nur für Apache Airflow v2.6.3 und höher. Verwenden Sie für frühere Versionen von Apache Airflow `metrics.statsd_block_list` stattdessen `metrics.statsd_allow_list` und.
## Als nächstes
+ Erkunden Sie den Amazon MWAA-API-Betrieb, der zur Veröffentlichung von Umweltgesundheitsmetriken verwendet wird, unter. [PublishMetrics](https://docs.aws.amazon.com/mwaa/latest/API/API_PublishMetrics.html)
# Container-, Warteschlangen- und Datenbankmetriken für Amazon MWAA
Zusätzlich zu den Apache Airflow-Metriken können Sie die zugrunde liegenden Komponenten Ihrer Amazon Managed Workflows für Apache Airflow Airflow-Umgebungen mithilfe CloudWatch von Amazon überwachen. Dabei werden Rohdaten gesammelt und Daten zu lesbaren, nahezu in Echtzeit verfügbaren Metriken verarbeitet. Mit diesen Umgebungsmetriken erhalten Sie einen besseren Einblick in wichtige Leistungsindikatoren, sodass Sie Ihre Umgebungen entsprechend dimensionieren und Probleme mit Ihren Workflows beheben können. Diese Metriken gelten für alle unterstützten Apache Airflow Airflow-Versionen auf Amazon MWAA.
Amazon MWAA stellt die CPU- und Speicherauslastung für jeden Amazon Elastic Container Service (Amazon ECS) -Container und jede Amazon Aurora PostgreSQL-Instance sowie Amazon Simple Queue Service (Amazon SQS) -Metriken für die Anzahl der Nachrichten und das Alter der ältesten Nachricht, Amazon Relational Database Service (Amazon RDS) -Metriken für Datenbankverbindungen, Festplattenwarteschlangentiefe, Schreibvorgänge, Latenz und Durchsatz sowie Amazon RDS Proxy-Metriken bereit. Diese Metriken beinhalten auch die Anzahl der Basisarbeiter, zusätzlichen Worker, Scheduler und Webserver.
Diese Statistiken werden 15 Monate lang aufbewahrt, sodass Sie auf historische Informationen zugreifen und einen besseren Überblick darüber erhalten, warum ein Zeitplan ausfällt, und die zugrunde liegenden Probleme beheben können. Sie können auch Alarme einrichten, die bestimmte Schwellenwerte überwachen, und Benachrichtigungen senden oder Maßnahmen ergreifen, wenn diese Schwellenwerte erreicht werden. Weitere Informationen finden Sie im [ CloudWatch Amazon-Benutzerhandbuch](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/).
**Topics**
+ [Bedingungen](#accessing-metrics-cw-container-queue-db-terms)
+ [Dimensionen](#accessing-metrics-cw-container-queue-db-dimensions)
+ [Zugreifen auf Metriken in der Konsole CloudWatch](#accessing-metrics-cw-container-queue-db-console)
+ [Liste der Metriken](#accessing-metrics-cw-container-queue-db-list)
## Bedingungen
**Namespace**
Ein Namespace ist ein Container für die CloudWatch Metriken eines AWS Dienstes. Für Amazon MWAA lautet der Namespace. `AWS/MWAA`
**CloudWatch Metriken**
Eine CloudWatch Metrik stellt einen nach der Zeit geordneten Satz von Datenpunkten dar, die spezifisch für sind. CloudWatch
**Dimension**
Eine Dimension ist ein name/value Paar, das Teil der Identität einer Metrik ist.
**Einheit**
Eine Statistik hat eine Maßeinheit. *Bei Amazon MWAA enthalten Einheiten die Anzahl.*
## Dimensionen
In diesem Abschnitt wird die Gruppierung der CloudWatch Dimensionen für Amazon MWAA-Metriken in beschrieben. CloudWatch
| Dimension | Description |
| --- | --- |
| Cluster | Metriken für die mindestens drei Amazon ECS-Container, die eine Amazon MWAA-Umgebung zur Ausführung von Apache Airflow Airflow-Komponenten verwendet: Scheduler, Worker und Webserver. |
| Warteschlange | Metriken für die Amazon SQS SQS-Warteschlangen, die den Scheduler von den Workern entkoppeln. Wenn Mitarbeiter die Nachrichten lesen, gelten sie als während des Fluges und sind für andere Mitarbeiter nicht verfügbar. Nachrichten können von anderen Mitarbeitern gelesen werden, sofern sie nicht vor Ablauf des 12-stündigen Sichtbarkeitszeitlimits gelöscht werden. |
| Datenbank | Metrikt die von Amazon MWAA verwendeten Aurora-Cluster. Dazu gehören Metriken für die primäre Datenbank-Instance und eine Read Replica zur Unterstützung der Lesevorgänge. Amazon MWAA veröffentlicht Datenbankmetriken für READER- und WRITER-Instances. |
## Zugreifen auf Metriken in der Konsole CloudWatch
In diesem Abschnitt wird beschrieben, wie Sie in auf Ihre Amazon MWAA-Metriken zugreifen können. CloudWatch
**So greifen Sie auf Leistungskennzahlen für eine Dimension zu**
1. Öffnen Sie die [Seite „Metriken“](https://console.aws.amazon.com/cloudwatch/home#metricsV2:graph=~()) in der CloudWatch Konsole.
1. Wählen Sie Ihre AWS-Region.
1. Wählen Sie den **AWS/MWAA-Namespace**.
1. Wählen Sie auf der Registerkarte **Alle Metriken** eine Dimension aus. Zum Beispiel **Cluster**.
1. Wählen Sie eine CloudWatch Metrik für eine Dimension aus. Zum Beispiel *NumSchedulers* oder *CPUUtilization*. Wählen Sie dann **Alle Suchergebnisse grafisch** darstellen aus.
1. Wählen Sie die Registerkarte **Graphische Kennzahlen**, um auf Leistungskennzahlen zuzugreifen.
## Liste der Metriken
In den folgenden Tabellen sind die Cluster-, Warteschlangen- und Datenbankservice-Metriken für Amazon MWAA aufgeführt. Um auf Beschreibungen von Metriken zuzugreifen, die direkt von Amazon ECS, Amazon SQS oder Amazon RDS ausgegeben werden, wählen Sie den entsprechenden Dokumentationslink.
**Topics**
+ [Cluster-Metriken](#container-list)
+ [Datenbankmetriken](#db-list)
+ [Warteschlangenmetriken](#queue-list)
+ [Application-Load-Balancer-Metriken](#alb-list)
### Cluster-Metriken
Die folgenden Metriken gelten für jeden Scheduler, Basisworker, zusätzlichen Worker und Webserver. Weitere Informationen und Beschreibungen der einzelnen Cluster-Metriken finden Sie unter [Verfügbare Metriken und Dimensionen](https://docs.aws.amazon.com/AmazonECS/latest/developerguide/cloudwatch-metrics.html#available_cloudwatch_metrics) im *Amazon ECS Developer Guide*.
| Namespace | Metrik | Einheit |
| --- | --- | --- |
| `AWS/MWAA` | `CPUUtilization` | Prozent |
| `AWS/MWAA` | `MemoryUtilization` | Prozent |
#### Bewertung der Anzahl zusätzlicher Worker- und Webserver-Container
Sie können die in der **Cluster-Dimension** bereitgestellten Komponentenmetriken verwenden, wie im folgenden Verfahren beschrieben, um zu beurteilen, wie viele zusätzliche Worker oder Webserver eine Umgebung zu einem bestimmten Zeitpunkt verwendet. **Sie können dies tun, indem Sie entweder die Metrik **CPUUtilization**oder die **MemoryUtilization**Metrik grafisch darstellen und den Statistiktyp auf Stichprobenanzahl festlegen.** Der resultierende Wert ist die Gesamtzahl der `RUNNING` Aufgaben für die `AdditionalWorker` Komponente. Wenn Sie die Anzahl der zusätzlichen Worker-Instanzen kennen, die von Ihrer Umgebung genutzt werden, können Sie besser einschätzen, wie Ihre Umgebung skaliert, und Sie können die Anzahl der zusätzlichen Worker optimieren.
------
#### [ Workers ]
**Um die Anzahl der zusätzlichen Mitarbeiter zu ermitteln, die AWS-Managementkonsole**
1. Wählen Sie den **AWS/MWAA-Namespace**.
1. **Wählen Sie auf der Registerkarte **Alle Metriken** die Cluster-Dimension aus.**
1. Wählen Sie in der **Cluster-Dimension** für entweder die **CPUUtilization**oder die **MemoryUtilization**Metrik aus. **AdditionalWorker**
1. Stellen Sie auf der Registerkarte **Graphische Metriken** die Option **Zeitraum** auf **1 Minute** und **Statistik** auf **Stichprobenanzahl** ein.
------
#### [ webservers ]
**Um die Anzahl der zusätzlichen Webserver mit dem zu ermitteln AWS-Managementkonsole**
1. Wählen Sie den **AWS/MWAA-Namespace**.
1. **Wählen Sie auf der Registerkarte **Alle Metriken** die Cluster-Dimension aus.**
1. Wählen Sie in der **Cluster-Dimension** für entweder die **CPUUtilization**oder die **MemoryUtilization**Metrik aus. **AdditionalWebservers**
1. Stellen Sie auf der Registerkarte **Graphische Metriken** die Option **Zeitraum** auf **1 Minute** und **Statistik** auf **Stichprobenanzahl** ein.
------
Weitere Informationen finden Sie unter [Anzahl der `RUNNING` Serviceaufgaben](https://docs.aws.amazon.com/AmazonECS/latest/developerguide/cloudwatch-metrics.html#cw_running_task_count) im *Amazon Elastic Container Service Developer Guide*.
### Datenbankmetriken
Die folgenden Metriken gelten für jede Datenbank-Instance, die der Amazon MWAA-Umgebung zugeordnet ist.
| Namespace | Metrik | Einheit |
| --- | --- | --- |
| `AWS/MWAA` | `CPUUtilization` | Prozent |
| `AWS/MWAA` | `DatabaseConnections` | Anzahl |
| `AWS/MWAA` | `DiskQueueDepth` | Anzahl |
| `AWS/MWAA` | `FreeableMemory` | Bytes |
| `AWS/MWAA` | `VolumeWriteIOPS` | Zähle alle fünf Minuten |
| `AWS/MWAA` | `WriteIOPS` | Anzahl pro Sekunde |
| `AWS/MWAA` | `WriteLatency` | Sekunden |
| `AWS/MWAA` | `WriteThroughput` | Bytes pro Sekunde |
### Warteschlangenmetriken
Weitere Informationen zu Einheiten und Beschreibungen für die folgenden Warteschlangenmetriken finden Sie unter [Verfügbare CloudWatch Metriken für Amazon SQS](https://docs.aws.amazon.com/AWSSimpleQueueService/latest/SQSDeveloperGuide/sqs-available-cloudwatch-metrics.html) im *Amazon Simple Queue Service Developer Guide*.
| Namespace | Metrik | Einheit |
| --- | --- | --- |
| `AWS/MWAA` | `ApproximateAgeOfOldestTask` | Sekunden |
| `AWS/MWAA` | `RunningTasks` | Anzahl |
| `AWS/MWAA` | `QueuedTasks` | Anzahl |
### Application-Load-Balancer-Metriken
Die Application Load Balancer Balancer-Metriken gelten für die Webserver, die in Ihrer Umgebung ausgeführt werden. Amazon MWAA verwendet diese Metriken, um Ihre Webserver basierend auf der Menge des Datenverkehrs zu skalieren. Weitere Informationen zu Einheiten und Beschreibungen der folgenden Load Balancer-Metriken finden Sie unter [CloudWatch Metriken für Ihren Application Load Balancer](https://docs.aws.amazon.com/elasticloadbalancing/latest/application/load-balancer-cloudwatch-metrics.html) im *Application Load Balancers User Guide*.
| Namespace | Metrik | Einheit |
| --- | --- | --- |
| `AWS/MWAA` | `ActiveConnectionCount` | Anzahl |