Monitorización de paneles y alarmas en Amazon MWAA - Amazon Managed Workflows para Apache Airflow
MétricasInformación general sobre los estados de las alarmasEjemplos de paneles y alarmas personalizadosEliminación de métricas y panelesSiguientes pasos

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Monitorización de paneles y alarmas en Amazon MWAA

Puedes crear un panel personalizado en Amazon CloudWatch y añadir alarmas para una métrica concreta a fin de supervisar el estado de un entorno de Amazon Managed Workflows for Apache Airflow. Cuando hay una alarma en un panel de control, se pone roja cuando está en ese ALARM estado, lo que facilita la supervisión proactiva del estado de un entorno de Amazon MWAA.

Apache Airflow expone las métricas de varios procesos, incluida la cantidad de procesos del DAG, el tamaño de la bolsa del DAG, las tareas que se están ejecutando actualmente, los errores de las tareas y los éxitos. Al crear un entorno, Airflow envía automáticamente las métricas de un entorno de Amazon MWAA a. CloudWatch En esta página se describe cómo crear un panel de estado de salud para las métricas de Airflow en un CloudWatch entorno de Amazon MWAA.

Métricas

Puede crear paneles y alarmas personalizados para cualquiera de las métricas disponibles en su versión de Apache Airflow. Cada métrica corresponde a un indicador clave de rendimiento de Apache Airflow. Para acceder a una lista de métricas, consulte:

Información general sobre los estados de las alarmas

Una alarma de métrica tiene los siguientes estados posibles:

  • OK: la métrica o expresión está dentro del umbral definido.

  • ALARM: la métrica o expresión está fuera del umbral definido.

  • INSUFFICIENT_DATA: la alarma acaba de iniciarse, la métrica no está disponible o no hay suficientes datos disponibles en la métrica para determinar el estado de la alarma.

Ejemplos de paneles y alarmas personalizados

Puede crear un panel de monitorización personalizado que muestre gráficos de las métricas seleccionadas para su entorno de Amazon MWAA.

Acerca de las métricas

En la siguiente lista se describen cada una de las métricas que se han creado en el panel personalizado mediante el tutorial y las plantillas de esta sección.

  • QueuedTasks- El número de tareas en estado de cola. Se corresponde con la métrica executor.queued_tasks de Apache Airflow.

  • TasksPending- El número de tareas pendientes en el ejecutor. Se corresponde con la métrica scheduler.tasks.pending de Apache Airflow.

    nota

    No se aplica a Apache Airflow v2.2 y versiones posteriores.

  • RunningTasks- El número de tareas que se ejecutan en el ejecutor. Se corresponde con la métrica executor.running_tasks de Apache Airflow.

  • SchedulerHeartbeat- El número de comprobaciones que Apache Airflow realiza en el trabajo del programador. Se corresponde con la métrica scheduler_heartbeat de Apache Airflow.

  • TotalParseTime- El número de segundos que se tardan en escanear e importar todos los archivos DAG una vez. Se corresponde con la métrica dag_processing.total_parse_time de Apache Airflow.

Acerca del panel

La siguiente imagen muestra el panel de supervisión creado mediante el tutorial y la definición de la plantilla de esta sección.

Esta imagen muestra dónde encontrar la opción de red privada en la consola de Amazon MWAA.

Uso de tutoriales AWS

Puede usar el siguiente AWS tutorial para crear automáticamente un panel de estado de salud para cualquier entorno de Amazon MWAA que esté implementado actualmente. También crea CloudWatch alarmas para los trabajadores en mal estado y los fallos en los latidos del programador en todos los entornos de Amazon MWAA.

Usando AWS CloudFormation

Puede utilizar la definición de AWS CloudFormation plantilla de esta sección para crear un panel de supervisión y CloudWatch, a continuación, añadir alarmas a la CloudWatch consola para recibir notificaciones cuando una métrica supere un umbral determinado. Para crear la pila con esta definición de plantilla, consulte Creación de una pila en la AWS CloudFormation consola. Para añadir una alarma al panel de control, consulte Uso de alarmas.

AWSTemplateFormatVersion: "2010-09-09"
Description: Creates MWAA Cloudwatch Dashboard
Parameters:
  DashboardName:
    Description: Enter the name of the CloudWatch Dashboard
    Type: String
  EnvironmentName:
    Description: Enter the name of the MWAA Environment
    Type: String    
Resources:
  BasicDashboard:
    Type: AWS::CloudWatch::Dashboard
    Properties:
      DashboardName: !Ref DashboardName
      DashboardBody:
        Fn::Sub: '{
              "widgets": [
                  {
                      "type": "metric",
                      "x": 0,
                      "y": 0,
                      "width": 12,
                      "height": 6,
                      "properties": {
                          "view": "timeSeries",
                          "stacked": true,
                          "metrics": [
                              [
                                  "AmazonMWAA",
                                  "QueuedTasks",
                                  "Function",
                                  "Executor",
                                  "Environment",
                                  "${EnvironmentName}"
                              ]
                          ],
                          "region": "${AWS::Region}",
                          "title": "QueuedTasks ${EnvironmentName}",
                          "period": 300
                      }
                  },
                  {
                      "type": "metric",
                      "x": 0,
                      "y": 6,
                      "width": 12,
                      "height": 6,
                      "properties": {
                          "view": "timeSeries",
                          "stacked": true,
                          "metrics": [
                              [
                                  "AmazonMWAA",
                                  "RunningTasks",
                                  "Function",
                                  "Executor",
                                  "Environment",
                                  "${EnvironmentName}"
                              ]
                          ],
                          "region": "${AWS::Region}",
                          "title": "RunningTasks ${EnvironmentName}",
                          "period": 300
                      }
                  },
                  {
                      "type": "metric",
                      "x": 12,
                      "y": 6,
                      "width": 12,
                      "height": 6,
                      "properties": {
                          "view": "timeSeries",
                          "stacked": true,
                          "metrics": [
                              [
                                  "AmazonMWAA",
                                  "SchedulerHeartbeat",
                                  "Function",
                                  "Scheduler",
                                  "Environment",
                                  "${EnvironmentName}"
                              ]
                          ],
                          "region": "${AWS::Region}",
                          "title": "SchedulerHeartbeat ${EnvironmentName}",
                          "period": 300
                      }
                  },
                  {
                      "type": "metric",
                      "x": 12,
                      "y": 0,
                      "width": 12,
                      "height": 6,
                      "properties": {
                          "view": "timeSeries",
                          "stacked": true,
                          "metrics": [
                              [
                                  "AmazonMWAA",
                                  "TasksPending",
                                  "Function",
                                  "Scheduler",
                                  "Environment",
                                  "${EnvironmentName}"
                              ]
                          ],
                          "region": "${AWS::Region}",
                          "title": "TasksPending ${EnvironmentName}",
                          "period": 300
                      }
                  },
                  {
                      "type": "metric",
                      "x": 0,
                      "y": 12,
                      "width": 24,
                      "height": 6,
                      "properties": {
                          "view": "timeSeries",
                          "stacked": true,
                          "region": "${AWS::Region}",
                          "metrics": [
                              [
                                  "AmazonMWAA",
                                  "TotalParseTime",
                                  "Function",
                                  "DAG Processing",
                                  "Environment",
                                  "${EnvironmentName}"
                              ]
                          ],
                          "title": "TotalParseTime  ${EnvironmentName}",
                          "period": 300
                      }
                  }
              ]
          }'

Eliminación de métricas y paneles

Si elimina un entorno de Amazon MWAA, también se elimina el panel de control correspondiente. CloudWatch las métricas se almacenan durante quince (15) meses y no se pueden eliminar. La CloudWatch consola limita la búsqueda de métricas a dos (2) semanas después de la última ingesta de una métrica para garantizar que se muestren las instancias más actualizadas de su entorno de Amazon MWAA. Para obtener más información, consulta Amazon CloudWatch FAQs.

Siguientes pasos