Configuración de la clase de entorno Amazon MWAA

La clase de entorno que elija para su entorno Amazon MWAA determinará el tamaño de los AWS Fargate contenedores AWS gestionados en los que se ejecuta Celery Executor y de la base de datos de metadatos Amazon AWS Aurora PostgreSQL gestionada en la que los programadores de Apache Airflow crean instancias de tareas. En este tema se describe cada clase de entorno de Amazon MWAA y cómo actualizar la clase de entorno en la consola de Amazon MWAA.

Capacidades del entorno

La siguiente sección contiene las tareas simultáneas predeterminadas de Apache Airflow, la memoria de acceso aleatorio (RAM) y las unidades de procesamiento centralizado virtuales (CPUsv) para cada clase de entorno. Las tareas simultáneas enumeradas asumen que la simultaneidad de tareas no supera la capacidad de trabajo de Apache Airflow en el entorno.

En la siguiente tabla, la capacidad del DAG se refiere a las definiciones del DAG, no a las ejecuciones, y supone que DAGs usted es dinámico en un solo archivo de Python y está escrito con las mejores prácticas de Apache Airflow.

Las ejecuciones de tareas dependen de cuántas se programen simultáneamente y se parte del supuesto de que el número de ejecuciones del DAG programadas para que comiencen a la misma hora no supere el valor predeterminado max_dagruns_per_loop_to_schedule, así como el tamaño y la cantidad de trabajadores, tal como se detalla en este tema.

Se puede utilizar celery.worker_autoscale para aumentar las tareas por proceso de trabajo. Para obtener más información, consulte la. Ejemplo de caso de uso de alto rendimiento

Programadores Apache Airflow

La siguiente sección contiene las opciones de programadores de Apache Airflow disponibles en Amazon MWAA y de qué modo el número de programadores afecta al número de desencadenadores.

En Apache Airflow, un activador gestiona las tareas y las aplaza hasta que se cumplan determinadas condiciones especificadas mediante un activador. En Amazon MWAA, el desencadenador se ejecuta junto con el programador en la misma tarea de Fargate. Al aumentar el número de programadores, se aumenta, en consecuencia, el número de desencadenadores disponibles, lo que optimiza la forma en que el entorno administra las tareas aplazadas. Esto garantiza una administración eficiente de las tareas, programándolas rápidamente para que se ejecuten cuando se cumplan las condiciones.