Configuración de la clase de entorno Amazon MWAA

La clase de entorno que elija para su entorno Amazon MWAA determinará el tamaño de los contenedores AWS Fargate gestionados por AWS en los que se ejecuta Celery Executor y de la base de datos de metadatos PostgreSQL Amazon Aurora gestionada por AWS en la que los programadores de Apache Airflow crean instancias de tareas. En esta página, se describe cada clase de entorno de Amazon MWAA y los pasos para actualizar la clase de entorno en la consola Amazon MWAA.

Capacidades del entorno

La siguiente sección contiene las tareas simultáneas predeterminadas de Apache Airflow, la memoria de acceso aleatorio (RAM) y las unidades de procesamiento centralizado virtuales (vCPU) de cada clase de entorno. Las tareas simultáneas enumeradas suponen que la simultaneidad de las tareas no supera la capacidad de procesamiento de trabajo de Apache Airflow en el entorno.

En la siguiente tabla, la capacidad de los DAG se refiere a las definiciones de los DAG, no a las ejecuciones, y supone que los DAG son dinámicos en un único archivo de Python y están escritos siguiendo las prácticas recomendadas de Apache Airflow.

Las ejecuciones de tareas dependen del número de tareas programadas simultáneamente y se parte del supuesto de que el número de ejecuciones de DAG programadas para que comiencen al mismo tiempo no supere el valor predeterminado de max_dagruns_per_loop_to_schedule, así como el tamaño y la cantidad de procesos de trabajo, tal como se detalla en esta página.

Se puede utilizar celery.worker_autoscale para aumentar las tareas por proceso de trabajo. Para obtener más información, consulte Ejemplo de caso de uso de alto rendimiento.

Programadores de Apache Airflow

La siguiente sección contiene las opciones de programadores de Apache Airflow disponibles en Amazon MWAA y de qué modo el número de programadores afecta al número de desencadenadores.

En Apache Airflow, un desencadenador administra las tareas y las aplaza hasta que se cumplen determinadas condiciones especificadas mediante un desencadenador. En Amazon MWAA, el desencadenador se ejecuta junto con el programador en la misma tarea de Fargate. Al aumentar el número de programadores, se aumenta, en consecuencia, el número de desencadenadores disponibles, lo que optimiza la forma en que el entorno administra las tareas aplazadas. Esto garantiza una administración eficiente de las tareas, programándolas rápidamente para que se ejecuten cuando se cumplan las condiciones.