Preguntas frecuentes sobre Amazon MWAA

En esta página, se describen las preguntas más frecuentes que se pueden plantear al usar Amazon Managed Workflows para Apache Airflow.

Versiones compatibles

¿Qué es lo que Amazon MWAA admite para Apache Airflow v2?

Para obtener información sobre la compatibilidad de Amazon MWAA, consulte Versiones de Apache Airflow en Amazon Managed Workflows para Apache Airflow.

¿Qué versión de Python puedo usar?

Las siguientes versiones de Apache Airflow son compatibles con Amazon Managed Workflows para Apache Airflow.

Para obtener más información sobre la migración de sus implementaciones autoadministradas de Apache Airflow o la migración de un entorno Amazon MWAA existente, incluidas las instrucciones para realizar copias de seguridad de su base de datos de metadatos, consulte la guía de migración a Amazon MWAA.

Casos de uso

¿Puedo usar Amazon MWAA con Amazon SageMaker Unified Studio?

Sí. Con un flujo de trabajo de Amazon SageMaker Unified Studio, puede configurar y ejecutar una serie de tareas en ese entorno. Los flujos de trabajo de Amazon SageMaker Unified Studio usan Apache Airflow para modelar los procedimientos de procesamiento de datos y orquestar los artefactos de código de Amazon SageMaker Unified Studio. Para obtener más información, consulte la sección Flujos de trabajo. Para obtener más información sobre Amazon SageMaker, consulte ¿Qué es Amazon SageMaker?

¿Cuándo debo usar AWS Step Functions en vez de Amazon MWAA?

Notificaciones del entorno

¿Cuánto espacio de almacenamiento de tareas está disponible en cada entorno?

El almacenamiento de tareas está limitado a 20 GB y especificado por Amazon ECS Fargate 1.4. La cantidad de RAM viene determinada por la clase de entorno que especifique. Para obtener más información sobre las clases de entorno, consulte Configuración de la clase de entorno Amazon MWAA.

¿Cuál es el sistema operativo predeterminado que se utiliza para los entornos de Amazon MWAA?

Los entornos de Amazon MWAA se crean en instancias que ejecutan Amazon Linux 2 para las versiones 2.6 y anteriores y en instancias que ejecutan Amazon Linux 2023 para las versiones 2.7 y posteriores.

¿Puedo usar una imagen personalizada para mi entorno Amazon MWAA?

Las imágenes personalizadas no son compatibles. Amazon MWAA utiliza imágenes creadas en la AMI de Amazon Linux. Amazon MWAA instala los requisitos adicionales ejecutando pip3 -r install para los requisitos especificados en el archivo requirements.txt que añada al bucket de Amazon S3 para el entorno.

¿Cumple Amazon MWAA con la HIPAA?

Amazon MWAA es elegible para Ley de Portabilidad y Responsabilidad de Seguros Médicos de EE. UU (HIPAA). Si cuenta con un apéndice para socios comerciales (BAA) de la HIPAA con AWS, puede utilizar Amazon MWAA para los flujos de trabajo que gestionan la información de salud protegida (PHI) en entornos creados a partir del 14 de noviembre de 2022.

¿Amazon MWAA es compatible con instancias de spot?

Actualmente, Amazon MWAA no es compatible con los tipos de instancias de spot Amazon EC2 bajo demanda para Apache Airflow. Sin embargo, un entorno de Amazon MWAA puede activar instancias de spot en, por ejemplo, Amazon EMR y Amazon EC2.

¿Amazon MWAA es compatible con un dominio personalizado?

Para poder utilizar un dominio personalizado para el nombre de host de Amazon MWAA, realice una de las siguientes acciones:

¿Puedo usar SSH en mi entorno?

Si bien SSH no es compatible con un entorno Amazon MWAA, es posible utilizar un DAG para ejecutar comandos bash mediante el BashOperator. Por ejemplo:

from airflow import DAG
				from airflow.operators.bash_operator import BashOperator
				from airflow.utils.dates import days_ago
				with DAG(dag_id="any_bash_command_dag", schedule_interval=None, catchup=False, start_date=days_ago(1)) as dag:
				cli_command = BashOperator(
				task_id="bash_command",
				bash_command="{{ dag_run.conf['command'] }}"
				)

Para activar el DAG en la interfaz de usuario de Apache Airflow, utilice:

{ "command" : "your bash command"}

¿Por qué se requiere una regla de autorreferencia en el grupo de seguridad de VPC?

Si crea una regla de entrada con autorreferencia, puede restringir el origen al mismo grupo de seguridad de la VPC y no está abierto a todas las redes. Consulte Seguridad en la VPC en Amazon MWAA para obtener más información.

¿Puedo ocultar entornos de diferentes grupos en IAM?

Puede limitar el acceso especificando un nombre de entorno en AWS Identity and Access Management; sin embargo, el filtrado de visibilidad no está disponible en la consola de AWS. Si un usuario puede ver un entorno, podrá ver todos los entornos.

¿Puedo almacenar datos temporales en el proceso de trabajo de Apache Airflow?

Sus operadores de Apache Airflow pueden almacenar datos temporales sobre los procesos de trabajo. Los procesos de trabajo de Apache Airflow pueden acceder a los archivos temporales de /tmp en los contenedores de Fargate de su entorno.

¿Puedo especificar más de 25 procesos de trabajo de Apache Airflow?

Sí. Si bien puede especificar hasta 25 procesos de trabajo de Apache Airflow en la consola de Amazon MWAA, puede configurar hasta 50 en un entorno solicitando un aumento de la cuota. Para obtener más información, consulte cómo solicitar un aumento de cuota.

¿Admite Amazon MWAA subredes compartidas o VPC de Amazon compartidas?

Amazon MWAA no admite subredes compartidas o VPC de Amazon compartidas. La VPC de Amazon que seleccione al crear un entorno debe ser propiedad de la cuenta que intenta crear el entorno. Sin embargo, puede enrutar el tráfico desde una VPC de Amazon de la cuenta de Amazon MWAA a una VPC compartida. Para obtener más información y ver un ejemplo de enrutamiento del tráfico a una VPC de Amazon compartida, consulte Enrutamiento saliente centralizado a Internet en la guía de puertas de enlance en tránsito de Amazon VPC.

¿Puedo crear o integrar colas de Amazon SQS personalizadas para administrar la ejecución de tareas y la organización del flujo de trabajo en Apache Airflow?

No, no puede crear, modificar ni usar colas de Amazon SQS personalizadas en Amazon MWAA. Esto se debe a que Amazon MWAA aprovisiona y administra automáticamente su propia cola de Amazon SQS para cada entorno de Amazon MWAA.

Métricas

¿Qué métricas se usan para determinar si se deben escalar procesos de trabajo?

Amazon MWAA supervisa las tareas en cola y las tareas en ejecución en CloudWatch para determinar si se deben escalar los procesos de trabajo de Apache Airflow en su entorno. Consulte Monitorización y métricas de Amazon Managed Workflows para Apache Airflow para obtener más información.

¿Puedo crear una métrica personalizada en CloudWatch?

No en la consola de CloudWatch. Sin embargo, puede crear un DAG que escriba métricas personalizadas en CloudWatch. Para obtener más información, consulta Uso de un DAG para escribir métricas personalizadas en CloudWatch.

DAG, operadores, conexiones y otras preguntas

¿Puedo usar el PythonVirtualenvOperator?

Amazon MWAA no admite PythonVirtualenvOperator de forma explícita, pero puede crear un complemento personalizado que utilice PythonVirtualenvOperator. Para ver un ejemplo de código, consulte Creación de un complemento personalizado para Apache Airflow PythonVirtualEnvOperator.

¿Cuánto tarda Amazon MWAA en reconocer un nuevo archivo DAG?

Los DAG se sincronizan periódicamente desde el bucket de Amazon S3 hasta el entorno. Si añade un nuevo archivo DAG, Amazon MWAA tardará unos 300 segundos en empezar a utilizar el nuevo archivo. Si actualiza un DAG existente, Amazon MWAA tarda unos 30 segundos en reconocer las actualizaciones.

Estos valores, 300 segundos para los DAG nuevos y 30 segundos para las actualizaciones de los DAG existentes, corresponden a las opciones de configuración de Apache Airflow dag_dir_list_interval y min_file_process_interval respectivamente.

¿Por qué Apache Airflow no recoge mi archivo DAG?

Las siguientes son posibles soluciones para este problema:

¿Puedo eliminar un plugins.zip o requirements.txt de un entorno?

Actualmente, no hay forma de eliminar un archivo plugins.zip o requirements.txt de un entorno después de haberlo añadido, pero estamos trabajando para solucionar el problema. Mientras tanto, una solución alternativa es apuntar a un archivo de texto o zip vacío, respectivamente. Consulte Eliminación de archivos en Amazon S3 para obtener más información.

¿Por qué no veo mis complementos en el menú de complementos de administrador de Apache Airflow v2.0.2?

Por motivos de seguridad, el servidor web de Apache Airflow de Amazon MWAA tiene una salida de red limitada y no instala complementos ni dependencias de Python directamente en el servidor web de Apache Airflow para los entornos de la versión 2.0.2. El complemento que se muestra permite a Amazon MWAA autenticar a los usuarios de Apache Airflow en AWS Identity and Access Management (IAM).

Para poder instalar complementos y dependencias de Python directamente en el servidor web, recomendamos crear un nuevo entorno con Apache Airflow v2.2 y versiones posteriores. Amazon MWAA instala las dependencias de Python y los complementos personalizados directamente en el servidor web para Apache Airflow v2.2 y versiones posteriores.

¿Puedo utilizar operadores Database Migration Service (DMS) de AWS?

Amazon MWAA es compatible con los operadores de DMS. Sin embargo, este operador no se puede utilizar para realizar acciones en la base de datos de metadatos de Amazon Aurora PostgreSQL asociada a un entorno Amazon MWAA.

Si accedo a la API de REST de Airflow con las credenciales de AWS, ¿puedo aumentar la limitación a más de 10 transacciones por segundo (TPS)?

Sí, puede. Para aumentar la limitación, póngase en contacto con el servicio de atención al cliente de AWS.

¿Dónde se ejecuta el servidor de la API de ejecución de tareas de Airflow en Amazon MWAA?

Amazon MWAA ejecuta el servidor API de ejecución de tareas de Airflow en el componente de servidor web. Las API de ejecución de tareas solo están disponibles en Apache Airflow v3 y versiones posteriores. Para obtener más información sobre la arquitectura de Amazon MWAA, consulte Arquitectura.