Parametri di container, code e database per Amazon MWAA - Amazon Managed Workflows for Apache Airflow

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Parametri di container, code e database per Amazon MWAA

Oltre ai parametri di Apache Airflow, puoi monitorare i componenti sottostanti dei tuoi ambienti Amazon Managed Workflows for Apache Airflow utilizzando CloudWatch, che raccoglie dati grezzi ed elabora i dati in metriche leggibili quasi in tempo reale. Grazie a queste metriche ambientali, avrai una maggiore visibilità sugli indicatori chiave di prestazione per aiutarti a dimensionare in modo appropriato gli ambienti e a risolvere i problemi relativi ai flussi di lavoro. Questi parametri si applicano a tutte le versioni di Apache Airflow supportate su Amazon MWAA.

Amazon MWAA fornirà l'utilizzo della CPU e della memoria per ogni container Amazon Elastic Container Service (Amazon ECS) e Amazon Aurora PostgreSQL e i parametri di Amazon Simple Queue Service (Amazon SQS) per il numero di messaggi e l'età del messaggio più vecchio, Amazon Relational Database Service (Amazon Relational Database Service) Parametri (Amazon RDS) per connessioni al database, profondità della coda su disco, operazioni di scrittura, latenza e velocità effettiva e metriche del proxy Amazon RDS. Queste metriche includono anche il numero di lavoratori di base, lavoratori aggiuntivi, pianificatori e server Web.

Queste statistiche vengono conservate per 15 mesi, in modo da poter accedere alle informazioni storiche e avere una prospettiva migliore sul motivo per cui una pianificazione non funziona e risolvere i problemi sottostanti. È anche possibile impostare allarmi che controllano determinate soglie e inviare notifiche o intraprendere azioni quando queste soglie vengono raggiunte. Per ulteriori informazioni, consulta la Amazon CloudWatch User Guide.

Termini

Spazio dei nomi

Un namespace è un contenitore per le CloudWatch metriche di un servizio. AWS Per Amazon MWAA, lo spazio dei nomi è. AWS/MWAA

CloudWatch metriche

Una CloudWatch metrica rappresenta un insieme ordinato nel tempo di punti dati specifici per. CloudWatch

Dimensione

Una dimensione è una coppia nome-valore che fa parte dell'identità di un parametro.

Unità

Una statistica ha un'unità di misura. Per Amazon MWAA, le unità includono Count.

Dimensioni

Questa sezione descrive il raggruppamento delle CloudWatch dimensioni per i parametri di Amazon MWAA in. CloudWatch

Dimensione Descrizione

Cluster

Parametri per il minimo di tre container Amazon ECS utilizzati da un ambiente Amazon MWAA per eseguire i componenti di Apache Airflow: scheduler, worker e web server.

Queue

Metriche per le code di Amazon SQS che separano lo scheduler dai lavoratori. Quando i lavoratori leggono i messaggi, vengono considerati in volo e non disponibili per gli altri lavoratori. I messaggi diventano disponibili per la lettura da parte degli altri lavoratori se non vengono eliminati prima del timeout di visibilità di 12 ore.

Database

Parametri dei cluster Aurora utilizzati da Amazon MWAA. Ciò include i parametri per l'istanza del database principale e una replica di lettura per supportare le operazioni di lettura. Amazon MWAA pubblica i parametri del database per le istanze READER e WRITER.

Accesso ai parametri nella console CloudWatch

Questa sezione descrive come accedere ai parametri di Amazon MWAA in. CloudWatch

Per visualizzare i parametri prestazionali per una dimensione
  1. Apri la pagina Metriche sulla console. CloudWatch

  2. Usa il selettore AWS della regione per selezionare la tua regione.

  3. Scegli lo spazio dei nomi AWS/MWAA.

  4. Nella scheda Tutte le metriche, scegli una dimensione. Ad esempio, Cluster.

  5. Scegli una CloudWatch metrica per una dimensione. Ad esempio NumSchedulers o CPUUtilization. Quindi, scegli Grafica tutti i risultati della ricerca.

  6. Scegli la scheda Metriche grafiche per visualizzare le metriche delle prestazioni.

Elenco delle metriche

Le tabelle seguenti elencano i parametri del cluster, della coda e dei servizi di database per Amazon MWAA. Per visualizzare le descrizioni delle metriche emesse direttamente da Amazon ECS, Amazon SQS o Amazon RDS, scegli il rispettivo link alla documentazione.

Parametri cluster

Le seguenti metriche si applicano a ogni programmatore, lavoratore di base, lavoratore aggiuntivo e server web. Per ulteriori informazioni e descrizioni di ogni metrica del cluster, consulta Metriche e dimensioni disponibili nella Amazon ECS Developer Guide.

Spazio dei nomi Parametro Unità

AWS/MWAA

CPUUtilization

Percentuale

AWS/MWAA

MemoryUtilization

Percentuale

Valutazione del numero di container di worker e server Web aggiuntivi

È possibile utilizzare le metriche dei componenti fornite nella dimensione Cluster, come descritto nella procedura seguente, per valutare il numero di worker o server Web aggiuntivi utilizzati da un ambiente in un determinato momento. È possibile farlo rappresentando graficamente la MemoryUtilizationmetrica CPUUtilizationo impostando il tipo di statistica su Sample Count. Il valore risultante è il numero totale di RUNNING attività per il componente. AdditionalWorker La comprensione del numero di istanze di worker aggiuntive utilizzate dall'ambiente può aiutare a valutare la scalabilità dell'ambiente e consentire di ottimizzare il numero di lavoratori aggiuntivi.

Workers
Per valutare il numero di lavoratori aggiuntivi utilizzando il AWS Management Console
  1. Scegli lo spazio dei nomi AWS/MWAA.

  2. Nella scheda Tutte le metriche, scegli la dimensione Cluster.

  3. Nella dimensione Cluster, per AdditionalWorker, scegli la CPUUtilizationo la MemoryUtilizationmetrica.

  4. Nella scheda Metriche grafiche, imposta Periodo su 1 minuto e Statistica su Numero di campioni.

Web servers
Per valutare il numero di server Web aggiuntivi utilizzando il AWS Management Console
  1. Scegli lo spazio dei nomi AWS/MWAA.

  2. Nella scheda Tutte le metriche, scegli la dimensione Cluster.

  3. Nella dimensione Cluster, per AdditionalWebservers, scegli la CPUUtilizationo la MemoryUtilizationmetrica.

  4. Nella scheda Metriche grafiche, imposta Periodo su 1 minuto e Statistica su Numero di campioni.

Per ulteriori informazioni, consulta Service RUNNING task count nella Amazon Elastic Container Service Developer Guide.

Parametri del database

Le seguenti metriche si applicano a ogni istanza di database associata all'ambiente Amazon MWAA.

Spazio dei nomi Parametro Unità

AWS/MWAA

CPUUtilization

Percentuale

AWS/MWAA

DatabaseConnections

Conteggio

AWS/MWAA

DiskQueueDepth

Conteggio

AWS/MWAA

FreeableMemory

Byte

AWS/MWAA

VolumeWriteIOPS

Conta ogni cinque minuti

AWS/MWAA

WriteIOPS

Conteggio al secondo

AWS/MWAA

WriteLatency

Secondi

AWS/MWAA

WriteThroughput

Byte al secondo

Parametri coda

Per ulteriori informazioni sulle unità e le descrizioni dei seguenti parametri di coda, consulta Parametri disponibili CloudWatch per Amazon SQS nella Amazon Simple Queue Service Developer Guide.

Spazio dei nomi Parametro Unità

AWS/MWAA

ApproximateAgeOfOldestTask

Secondi

AWS/MWAA

RunningTasks

Conteggio

AWS/MWAA

QueuedTasks

Conteggio

Parametri di Application Load Balancer

Le metriche di Application Load Balancer si applicano ai server Web in esecuzione nel tuo ambiente. Amazon MWAA utilizza questi parametri per scalare i server Web in base alla quantità di traffico. Per ulteriori informazioni sulle unità e le descrizioni delle seguenti metriche del load balancer, consulta le CloudWatch metriche per il tuo Application Load Balancer nella Application Load Balancer User Guide.

Spazio dei nomi Parametro Unità

AWS/MWAA

ActiveConnectionCount

Conteggio