Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Dashboard di monitoraggio e allarmi su Amazon MWAA
La pagina dei dettagli dell'ambiente per un ambiente Amazon Managed Workflows for Apache Airflow include un CloudWatch dashboard delle metriche e un Allarmi ambientali tavolo. Puoi utilizzare queste funzionalità per monitorare lo stato del tuo ambiente direttamente nella console Amazon MWAA, senza alcuna configurazione aggiuntiva.
Apache Airflow espone le metriche per diversi processi, tra cui il numero di processi DAG, la dimensione del contenitore DAG, le attività attualmente in esecuzione, gli errori delle attività e i risultati riusciti. Quando crei un ambiente, Apache Airflow invia automaticamente le metriche relative al tuo ambiente Amazon MWAA a CloudWatch. Oltre alla dashboard integrata, puoi creare dashboard personalizzate in Amazon CloudWatch e aggiungi allarmi per metriche particolari. Quando un allarme è presente su una dashboard, diventa rosso quando entra nel ALARM stato. Ciò semplifica il monitoraggio proattivo dello stato del tuo ambiente Amazon MWAA.
Indice
Visualizza la dashboard delle metriche
La pagina dei dettagli dell'ambiente include una funzionalità integrata CloudWatch dashboard delle metriche, mostrato nella console sotto CloudWatch metriche. Questo incorporato CloudWatch La dashboard mostra i grafici per il tuo ambiente senza alcuna configurazione aggiuntiva.
Per aprire il set completo di metriche nel CloudWatch console, scegli Visualizza tutto in CloudWatch.
La dashboard mostra le metriche delle due seguenti CloudWatch namespace:
-
AmazonMWAA— Metriche di Apache Airflow. -
AWS/MWAA— Metriche relative a contenitori, code e database.
È possibile utilizzare i seguenti controlli per modificare ciò che viene visualizzato nella dashboard:
-
Attiva il Consigli sugli allarmi attiva questa opzione per mostrare solo le metriche consigliate. Quando attivi questo interruttore, ogni grafico disegna la propria soglia di allarme come annotazione. L'annotazione recita Allarmi se
metricsopra o Allarmi semetricsotto, a seconda della metrica. -
Usa il Sezioni metriche filtro per mostrare solo i grafici di un gruppo specifico. I gruppi disponibili sono Contenitori, Database e coda, Pianificatore, elaborazione DAG, Compiti, e Trigger.
Nota
Se configuri un ambiente per filtrare le metriche di Apache Airflow pubblicate utilizzando le opzioni di elenco consentito o elenco di blocco delle metriche, alcuni grafici potrebbero non contenere dati.
Nota
Per visualizzare il dashboard delle metriche, la tua identità IAM deve avere l'autorizzazione di lettura CloudWatch metriche, tra cui cloudwatch:GetMetricData, cloudwatch:GetMetricStatistics, e cloudwatch:ListMetrics. Senza queste autorizzazioni, i grafici vengono visualizzati senza dati.
Per l'elenco completo delle metriche pubblicate da Amazon MWAA, consulta Metriche dell'ambiente Apache Airflow in CloudWatch.
Metriche visualizzate nella dashboard
La dashboard organizza i grafici in sei sezioni con cui puoi filtrare Sezioni metriche. Mostra una serie curata di metriche a livello ambientale; i grafici provengono da AmazonMWAA namespace (metriche Apache Airflow) e AWS/MWAA namespace (metriche relative a contenitori, code e database). La tabella seguente elenca i grafici in ogni sezione e i CloudWatch metriche visualizzate da ciascuna di esse.
| Sezione | Grafico | CloudWatch metriche |
|---|---|---|
| Container | utilizzo della CPU di Scheduler | CPUUtilization |
| Container | Utilizzo della memoria dello Scheduler | MemoryUtilization |
| Container | Utilizzo della CPU dei lavoratori | CPUUtilization (BaseWorker e AdditionalWorker) |
| Container | Utilizzo della memoria del lavoratore | MemoryUtilization (BaseWorker e AdditionalWorker) |
| Container | Utilizzo della CPU del server Web | CPUUtilization |
| Container | Utilizzo della memoria del server Web | MemoryUtilization |
| Container | Contenitori di lavoro in esecuzione | Derivato da CPUUtilization numero di campioni |
| Container | Battito cardiaco del lavoratore | CeleryWorkerHeartbeat |
| Database e coda | Memoria liberabile del database | FreeableMemory |
| Database e coda | Utilizzo della CPU del database | CPUUtilization |
| Database e coda | Connessioni database | DatabaseConnections |
| Database e coda | Latenza di scrittura del database | WriteLatency |
| Database e coda | Età dell'attività in coda più vecchia | ApproximateAgeOfOldestTask |
| Scheduler | Scheduler del battito cardiaco | SchedulerHeartbeat |
| Scheduler | Durata della sezione critica dello Scheduler | CriticalSectionDuration |
| Scheduler | Stati delle attività dello Scheduler | TasksExecutable, TasksStarving, TasksWithoutDagRun |
| Scheduler | Attività terminate esternamente | TasksKilledExternally |
| Scheduler | Slot aperti di Executor | OpenSlots |
| Elaborazione DAG | Tempo di analisi DAG | TotalParseTime |
| Elaborazione DAG | Dimensioni della borsa DAG | DagBagSize |
| Elaborazione DAG | Errori di importazione DAG | ImportErrors, DAGFileRefreshError |
| Elaborazione DAG | Stato del processore DAG | ProcessorTimeouts, ManagerStalls |
| Processi | Coda delle attività | QueuedTasks, RunningTasks |
| Processi | Successi e fallimenti delle attività | TaskInstanceSuccesses, TaskInstanceFailures |
| Processi | Compiti zombie terminati | ZombiesKilled |
| Trigger | Innesco del battito cardiaco | TriggererHeartbeat |
| Trigger | Risultati del trigger | TriggersSucceeded, TriggersFailed |
Nota
I grafici Triggerer vengono visualizzati solo nelle versioni più recenti di Apache Airflow. Risultati dei trigger richiede Apache Airflow v2.7.2 o successivo e Attivatore del battito cardiaco richiede v2.8.1 o successivo.
La dashboard mostra metriche aggregate a livello di ambiente. Non rappresenta le metriche ad alta cardinalità pubblicate da Apache Airflow per DAG, task, pool, operatore o file DAG e riporta la CPU e la memoria del contenitore, ma non tutte le metriche dei container. Per l'elenco completo delle metriche pubblicate, consulta Metriche dell'ambiente Apache Airflow in CloudWatch e Metriche relative a contenitori, code e database per Amazon MWAA.
Crea e monitora gli allarmi
La pagina dei dettagli dell'ambiente include un Allarmi pannello in cui puoi creare e gestire i tuoi allarmi CloudWatch, quindi monitorali nel contesto. Il riquadro mostra un Allarmi ambientali tabella che elenca i CloudWatch allarmi attribuiti all'ambiente. Amazon MWAA abbina questi allarmi per CloudWatch namespace e Environment dimensione, in modo che la tabella includa gli allarmi creati dall'utente, non solo gli allarmi consigliati.
L'intestazione del riquadro mostra un In allarme conteggio del numero di allarmi ambientali attualmente presenti nel ALARM stato. Il Allarmi ambientali la tabella contiene le seguenti colonne.
| Nome | Stato | Condizione | Azione | Ultimo aggiornamento |
|---|---|---|---|---|
| Il nome dell'avviso, che si collega all'avviso in CloudWatch console. | Lo stato dell'allarme: In allarme, OK o Dati insufficienti. | La condizione di allarme, mostrata come per n punti dati all'interno duration. |
L'azione dell'allarme, ad esempio Notifica l'argomento SNS topic, o - se l'allarme non funziona. |
La data e l'ora dell'ultimo aggiornamento della sveglia. |
Nota
Per visualizzare gli allarmi in questa tabella, è necessario disporre del cloudwatch:DescribeAlarms autorizzazione.
Se l'ambiente non ha allarmi, Allarmi ambientali la tabella è vuota e fornisce indicazioni per creare gli allarmi consigliati per iniziare a monitorare l'ambiente.
La Allarmi il riquadro fornisce i due pulsanti seguenti:
-
Crea allarmi consigliati — Apre un CloudFormation crea rapidamente uno stack in una nuova scheda. La pila è denominata
MWAA-alarms-e crea un set standard di allarmi consigliati per l'ambiente.environment-name -
Gestisci in CloudWatch — Apre la pagina degli allarmi nel CloudWatch console.
Per creare gli allarmi consigliati
-
Aprire il Console Amazon MWAA
, quindi scegli il tuo ambiente per aprire la pagina dei dettagli. -
Nel Monitoraggio visualizza, individua il Allarmi riquadro.
-
Scegli Crea allarmi consigliati. Il CloudFormation lo stack di creazione rapida si apre in una nuova scheda del browser.
-
Esamina lo stack nel CloudFormation console. Se richiesto, seleziona la conferma che CloudFormation potrebbe creare risorse IAM.
-
Seleziona Crea stack.
Dopo CloudFormation crea la pila, gli allarmi vengono visualizzati nel Allarmi ambientali tavolo e nel CloudWatch consolle. Per ulteriori informazioni sul significato di ogni stato di allarme, vedere Panoramica degli stati di allarme.
Allarmi raccomandati
Quando scegli Crea allarmi consigliati, il CloudFormation il modello crea i seguenti allarmi. CloudWatch valuta tutti questi allarmi in periodi di 5 minuti (300 secondi).
| Allarme | Parametro | Condizione di soglia |
|---|---|---|
| Scheduler del battito cardiaco | SchedulerHeartbeat |
Somma < 1 per 2 punti dati su 2; i dati mancanti vengono considerati in allarme. |
| Età dell'attività in coda più vecchia | ApproximateAgeOfOldestTask |
Massimo > 1800 secondi per 3 punti dati su 3. |
| Utilizzo della CPU dello Scheduler | CPUUtilization (Scheduler) |
Media > 95% per 3 punti dati su 3. |
| Utilizzo della memoria dello Scheduler | MemoryUtilization (Scheduler) |
Media > 95% per 3 punti dati su 3. |
| Utilizzo della CPU per i lavoratori | CPUUtilization (BaseWorker) |
Media > 95% per 6 punti dati su 6. |
| Utilizzo della memoria di lavoro | MemoryUtilization (BaseWorker) |
Media > 95% per 6 punti dati su 6. |
| Utilizzo della CPU del server Web | CPUUtilization (WebServer) |
Media > 95% per 3 punti dati su 3. |
| Utilizzo della memoria del server Web | MemoryUtilization (WebServer) |
Media > 95% per 3 punti dati su 3. |
| Utilizzo della CPU del database | CPUUtilization (SCRITTORE) |
Media > 95% per 3 punti dati su 3. |
| Memoria liberabile del database | FreeableMemory (SCRITTORE) |
Media < 512 MiB per 3 punti dati su 3. |
Panoramica degli stati di allarme
Un allarme di parametri può trovarsi nei possibili stati indicati di seguito:
-
OK- Il parametro o espressione rientra nella soglia definita. -
ALARM- Il parametro o espressione non rientra nella soglia definita. -
INSUFFICIENT_DATA- L’allarme è stato appena attivato, il parametro non è disponibile o la quantità di dati non è sufficiente affinché il parametro determini lo stato dell’allarme.
Esempi di dashboard e allarmi personalizzati
Puoi definire dashboard e allarmi personalizzati come infrastruttura come codice per creare dashboard personalizzate a livello di programmazione o per standardizzare il monitoraggio su più ambienti Amazon MWAA. In alternativa alla dashboard integrata nella pagina dei dettagli dell'ambiente, il seguente tutorial e CloudFormation modello: crea una dashboard di monitoraggio personalizzata. Questa dashboard mostra i grafici delle metriche selezionate per il tuo ambiente Amazon MWAA.
Informazioni su queste metriche
L'elenco seguente descrive ciascuna delle metriche create nella dashboard personalizzata in base alle definizioni del tutorial e dei modelli in questa sezione.
-
QueuedTasks - Il numero di attività con stato di coda. Corrisponde al
executor.queued_tasksMetrica Apache Airflow. -
TasksPending - Il numero di attività in sospeso nell'esecutore. Corrisponde al
scheduler.tasks.pendingMetrica Apache Airflow.Nota
Non si applica ad Apache Airflow v2.2 e versioni successive.
-
RunningTasks - Il numero di attività in esecuzione in executor. Corrisponde al
executor.running_tasksMetrica Apache Airflow. -
SchedulerHeartbeat - Il numero di check-in eseguiti da Apache Airflow sul processo di pianificazione. Corrisponde al
scheduler_heartbeatMetriche di Apache Airflow. -
TotalParseTime - Il numero di secondi impiegati per scansionare e importare tutti i file DAG una volta. Corrisponde al
dag_processing.total_parse_timeMetrica Apache Airflow.
Informazioni sulla dashboard
L'immagine seguente mostra il dashboard di monitoraggio creato dal tutorial e dalla definizione del modello in questa sezione.
Utilizzo AWS tutorial
Puoi usare quanto segue AWS tutorial per creare automaticamente un dashboard sullo stato di salute per tutti gli ambienti Amazon MWAA attualmente distribuiti. Inoltre crea CloudWatch allarmi per lavoratori insalubri e guasti cardiaci dello scheduler in tutti gli ambienti Amazon MWAA.
Utilizzo CloudFormation
Puoi usare CloudFormation definizione del modello in questa sezione per creare un dashboard di monitoraggio in CloudWatch, quindi aggiungi allarmi su CloudWatch console per ricevere notifiche quando una metrica supera una determinata soglia. Per creare lo stack utilizzando questa definizione di modello, fai riferimento a Creazione di una pila su CloudFormation plancia. Per aggiungere un allarme al pannello di controllo, consulta Utilizzo degli allarmi.
AWSTemplateFormatVersion: "2010-09-09" Description: Creates MWAA Cloudwatch Dashboard Parameters: DashboardName: Description: Enter the name of the CloudWatch Dashboard Type: String EnvironmentName: Description: Enter the name of the MWAA Environment Type: String Resources: BasicDashboard: Type: AWS::CloudWatch::Dashboard Properties: DashboardName: !Ref DashboardName DashboardBody: Fn::Sub: '{ "widgets": [ { "type": "metric", "x": 0, "y": 0, "width": 12, "height": 6, "properties": { "view": "timeSeries", "stacked": true, "metrics": [ [ "AmazonMWAA", "QueuedTasks", "Function", "Executor", "Environment", "${EnvironmentName}" ] ], "region": "${AWS::Region}", "title": "QueuedTasks ${EnvironmentName}", "period": 300 } }, { "type": "metric", "x": 0, "y": 6, "width": 12, "height": 6, "properties": { "view": "timeSeries", "stacked": true, "metrics": [ [ "AmazonMWAA", "RunningTasks", "Function", "Executor", "Environment", "${EnvironmentName}" ] ], "region": "${AWS::Region}", "title": "RunningTasks ${EnvironmentName}", "period": 300 } }, { "type": "metric", "x": 12, "y": 6, "width": 12, "height": 6, "properties": { "view": "timeSeries", "stacked": true, "metrics": [ [ "AmazonMWAA", "SchedulerHeartbeat", "Function", "Scheduler", "Environment", "${EnvironmentName}" ] ], "region": "${AWS::Region}", "title": "SchedulerHeartbeat ${EnvironmentName}", "period": 300 } }, { "type": "metric", "x": 12, "y": 0, "width": 12, "height": 6, "properties": { "view": "timeSeries", "stacked": true, "metrics": [ [ "AmazonMWAA", "TasksPending", "Function", "Scheduler", "Environment", "${EnvironmentName}" ] ], "region": "${AWS::Region}", "title": "TasksPending ${EnvironmentName}", "period": 300 } }, { "type": "metric", "x": 0, "y": 12, "width": 24, "height": 6, "properties": { "view": "timeSeries", "stacked": true, "region": "${AWS::Region}", "metrics": [ [ "AmazonMWAA", "TotalParseTime", "Function", "DAG Processing", "Environment", "${EnvironmentName}" ] ], "title": "TotalParseTime ${EnvironmentName}", "period": 300 } } ] }'
Eliminazione di metriche e dashboard
Se elimini un ambiente Amazon MWAA, viene eliminata anche la dashboard corrispondente. CloudWatch le metriche vengono archiviate per quindici (15) mesi e non possono essere eliminate. Le CloudWatch la console limita la ricerca delle metriche a due (2) settimane dopo l'ultima acquisizione di una metrica per garantire che vengano visualizzate le istanze più aggiornate per il tuo ambiente Amazon MWAA. Per ulteriori informazioni, consulta Amazon CloudWatch FAQs
Fasi successive
-
Scopri come creare un DAG che interroga il database di metadati Amazon Aurora PostgreSQL per il tuo ambiente e pubblica metriche personalizzate su CloudWatch nel Utilizzo di un DAG per scrivere metriche personalizzate in CloudWatch.