View a markdown version of this page

Solución de problemas: creación y actualización de entornos de Amazon MWAA - Amazon Managed Workflows para Apache Airflow
Actualización de requirements.txt PluginsCreación de un bucketCreación de un entornoActualización de entornosAcceso a entornos

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Solución de problemas: creación y actualización de entornos de Amazon MWAA

En esta página, se describen los errores que puede encontrar al crear y actualizar entornos de Amazon Managed Workflows para Apache Airflow y cómo resolverlos.

Actualización de requirements.txt

En la siguiente página, se describen los errores que puede encontrar al actualizar su requirements.txt.

He especificado una nueva versión de mi requirements.txt y la actualización de mi entorno está tardando más de 20 minutos

Si su entorno tarda más de 20 minutos en instalar una nueva versión de un archivo requirements.txt, quiere decir que se ha producido un error en la actualización del entorno y Amazon MWAA está volviendo a la última versión estable de la imagen del contenedor.

  1. Compruebe las versiones de los paquetes. Recomendamos especificar siempre una versión específica (==) o una versión máxima (<=) para las dependencias de Python en su requirements.txt.

  2. Compruebe los registros de Apache Airflow. Si ha activado los registros de Apache Airflow, compruebe que los grupos de registros se hayan creado correctamente en la página de grupos de registros de la CloudWatch consola. Si obtiene registros en blanco, el motivo más común es que no tiene permisos en su rol de ejecución CloudWatch o en Amazon S3 donde se escriben los registros. Consulte Rol de ejecución para obtener más información.

  3. Compruebe las opciones de configuración de Apache Airflow. Si utiliza Secrets Manager, compruebe que los pares clave-valor que especificó como opción de configuración de Apache Airflow se hayan configurado correctamente. Consulte Configuración de una conexión Apache Airflow mediante un AWS Secrets Manager secreta para obtener más información.

  4. Compruebe la configuración de la red de VPC. Consulte He intentado crear un entorno y está bloqueado en el estado de creación para obtener más información.

  5. Compruebe los permisos de los roles de ejecución. Un rol de ejecución es un rol AWS Identity and Access Management (IAM) con una política de permisos que otorga a Amazon MWA permiso para invocar los recursos de otros AWS servicios (como Amazon S3 CloudWatch, Amazon SQS y Amazon ECR) en su nombre. También es necesario que se permita el acceso a su Customer-managed clave o AWS a la clave de su propiedad. Consulte Rol de ejecución para obtener más información.

  6. Para ejecutar un script de solución de problemas que compruebe la configuración de la red de Amazon VPC para su entorno de Amazon MWAA, consulte el script de verificación del entorno en las herramientas de soporte, en AWS la sección Herramientas de soporte. GitHub

Aparece el mensaje No se pueden instalar los paquetes debido a un error del sistema operativo [Error 28] No queda espacio en el dispositivo

Los contenedores de Amazon MWAA tienen una cantidad limitada de almacenamiento para el sistema operativo, los DAG, los tiempos de ejecución y las bibliotecas. Para obtener más información, consulte ¿Cuánto espacio de almacenamiento de tareas está disponible en cada entorno?.

Para reducir los requisitos de almacenamiento, puede utilizar --no-cache-dir la instalación de las bibliotecas con un script de inicio. Por ejemplo:

#!/bin/sh

if [[ "${MWAA_AIRFLOW_COMPONENT}" != "webserver" ]]
then
     # place requirements.txt in DAGs folder, and replace existing requirements.txt with an empty text file
     pip3 install --no-cache-dir -r /usr/local/airflow/dags/requirements.txt
fi

Para obtener más información, consulte Configuración de un script de inicio.

También puedes instalar tus bibliotecas a partir de archivos de Python Wheel. Para obtener más información, consulte Opción dos: archivos wheels de Python (.whl).

Plugins

En la siguiente página, se describen los problemas que pueden surgir al configurar o actualizar los complementos de Apache Airflow.

¿Admite Amazon MWAA la implementación de una interfaz de usuario personalizada?

A partir de la versión 2.2.2 de Apache Airflow, Amazon MWAA admite la instalación de complementos en el servidor web de Apache Airflow y la implementación de una UI personalizada. Si su entorno Amazon MWAA ejecuta Apache Airflow v2.0.2 o una versión anterior, no podrá implementar una interfaz de usuario personalizada.

Para obtener más información sobre la administración de versiones y la actualización de sus entornos existentes, consulte Versiones de Apache Airflow en Amazon Managed Workflows para Apache Airflow.

Creación de un bucket

En la siguiente página, se describen los errores que pueden generarse al crear un bucket de Amazon S3.

No puedo seleccionar la opción de bloqueo de acceso público en S3

El rol de ejecución de su entorno de Amazon MWAA necesita permiso para realizar la acción de GetBucketPublicAccessBlock en el bucket de Amazon S3 para verificar que el bucket ha bloqueado el acceso público. Recomendamos los siguientes pasos:

  1. Siga los pasos para adjuntar una política de JSON a su rol de ejecución.

  2. Adjunte la siguiente política JSON:

    {
  "Effect":"Allow",
  "Action":[
    "s3:GetObject*",
    "s3:GetBucket*",
    "s3:List*"
  ],
  "Resource":[
    "arn:aws:s3:::amzn-s3-demo-bucket",
    "arn:aws:s3:::amzn-s3-demo-bucket/*"
  ]
}

    Sustituya los marcadores de posición de muestra por el amzn-s3-demo-bucket nombre de su bucket de Amazon S3.

  3. Para ejecutar un script de solución de problemas que compruebe la configuración de la red de Amazon VPC para su entorno de Amazon MWAA, consulte el script de verificación del entorno en las herramientas de soporte, en AWS la sección Herramientas de soporte. GitHub

Creación de un entorno

En la siguiente página, se describen los errores que pueden generarser al crear un entorno.

He intentado crear un entorno y está bloqueado en el estado de creación

Recomendamos los siguientes pasos:

  1. Compruebe la red de VPC con enrutamiento público. Si usa una Amazon VPC con acceso a Internet, compruebe lo siguiente:

    1. Que su Amazon VPC esté configurada para permitir el tráfico de red entre los diferentes AWS recursos que utiliza su entorno de Amazon MWAA, tal y como se define en. Acerca de las redes en Amazon MWAA Por ejemplo, su grupo de seguridad de VPC debe permitir todo el tráfico en una regla de autorreferencia o, si lo desea, especificar el rango de puertos para el rango de puertos HTTPS 443 y un rango de puertos TCP 5432.

  2. Compruebe la red de VPC con enrutamiento privado. Si usa una Amazon VPC sin acceso a Internet, compruebe lo siguiente:

    1. Que su Amazon VPC esté configurada para permitir el tráfico de red entre los distintos AWS recursos de su entorno de Amazon MWAA, tal y como se define en. Acerca de las redes en Amazon MWAA Por ejemplo, sus dos subredes privadas no deben tener una tabla de enrutamiento a una puerta de enlace de NAT (o instancia de NAT) ni a una puerta de enlace de Internet.

  3. Para ejecutar un script de solución de problemas que compruebe la configuración de la red de Amazon VPC para su entorno de Amazon MWAA, consulte el script de verificación del entorno en las herramientas de soporte, en la sección Herramientas de soporte. AWS GitHub

He intentado crear un entorno, pero aparece el estado: No se pudo crear

Recomendamos los siguientes pasos:

  1. Compruebe la configuración de la red de VPC. Consulte He intentado crear un entorno y está bloqueado en el estado de creación para obtener más información.

  2. Compruebe los permisos de usuario. Amazon MWAA realiza una prueba con las credenciales de un usuario antes de crear un entorno. Cuenta de AWS Es posible que no tenga permiso en AWS Identity and Access Management (IAM) para crear algunos de los recursos para un entorno. Por ejemplo, si has elegido el modo de acceso Apache Airflow de red privada, tu administrador Cuenta de AWS debe haberte concedido acceso a la política de control de AmazonMWAAFullConsoleAccess acceso de tu entorno, que permite a tu cuenta crear puntos de enlace de VPC.

  3. Compruebe los permisos de los roles de ejecución. Un rol de ejecución es un rol AWS Identity and Access Management (IAM) con una política de permisos que otorga a Amazon MWAA permiso para invocar los recursos de otros AWS servicios (como Amazon S3, Amazon SQS CloudWatch, Amazon ECR) en tu nombre. También es necesario que se permita el acceso a su Customer-managed clave o AWS a la clave de su propiedad. Consulte Rol de ejecución para obtener más información.

  4. Compruebe los registros de Apache Airflow. Si ha activado los registros de Apache Airflow, compruebe que los grupos de registros se hayan creado correctamente en la página de grupos de registros de la CloudWatch consola. Si obtiene registros en blanco, el motivo más común es que no tiene permisos en su rol de ejecución CloudWatch o en Amazon S3 donde se escriben los registros. Consulte Rol de ejecución para obtener más información.

  5. Para ejecutar un script de solución de problemas que compruebe la configuración de la red de Amazon VPC para su entorno de Amazon MWAA, consulte el script de verificación del entorno en las herramientas de soporte, en la sección Herramientas de AWS soporte. GitHub

  6. Si utiliza una Amazon VPC sin acceso a Internet, asegúrese de haber creado un punto de enlace de Amazon S3 y de haber otorgado los permisos mínimos requeridos a Amazon ECR para acceder a Amazon S3. Para obtener más información sobre cómo crear un punto de conexión de puerta de enlace de Amazon S3, consulte los siguientes recursos:

Intenté seleccionar una VPC y recibí un error de red

Recomendamos los siguientes pasos:

  • Si aparece el error Network Failure al intentar seleccionar una Amazon VPC cuando se crea el entorno, desactive todos los proxies del navegador que se estén ejecutando e inténtelo de nuevo.

He intentado crear un entorno y he recibido un mensaje de error que indica que el servicio, la partición o el recurso “deben pasarse”

Recomendamos los siguientes pasos:

  • Es posible que reciba este error porque el URI que especificó para su bucket de Amazon S3 incluye una barra oblicua (“/”) al final del URI. Le recomendamos que elimine la barra inclinada (“/”) de la ruta. El valor debe tener el siguiente formato:

    s3://amzn-s3-demo-bucket

Intenté crear un entorno y aparece el estado como Disponible, pero cuando intento acceder a la interfaz de usuario de Airflow aparece una respuesta vacía del servidor o aparece el error 502 Bad Gateway

Recomendamos los siguientes pasos:

  1. Compruebe la configuración del grupo de seguridad de VPC. Consulte He intentado crear un entorno y está bloqueado en el estado de creación para obtener más información.

  2. Confirme que todos los paquetes de Apache Airflow que haya publicado en requirements.txt corresponden a la versión de Apache Airflow que utiliza en Amazon MWAA. Consulte Instalación de dependencias de Python para obtener más información.

  3. Para ejecutar un script de solución de problemas que compruebe la configuración de la red de Amazon VPC para su entorno de Amazon MWAA, consulte el script de verificación del entorno en la sección Herramientas de soporte, en AWS la sección Herramientas de soporte. GitHub

Intenté crear un entorno y mi nombre de usuario es un conjunto de nombres de caracteres aleatorios

  • Apache Airflow tiene un máximo de 64 caracteres para los nombres de usuario. Si su rol AWS Identity and Access Management (IAM) supera esta longitud, se utiliza un algoritmo hash para reducirlo sin dejar de ser único.

Actualización de entornos

En la siguiente página, se describen los errores que se pueden producir al actualizar un entorno.

Intenté cambiar la clase del entorno, pero la actualización falló

Si actualiza su entorno a una clase de entorno diferente (por ejemplo, al cambiar de un mw1.medium a un mw1.small) y la solicitud de actualización no se puede realizar correctamente, el estado del entorno pasará a UPDATE_FAILED y el entorno se revertirá a su versión estable anterior y se facturará de acuerdo con ella.

Recomendamos los siguientes pasos:

  1. Pruebe sus DAG, complementos personalizados y dependencias de Python de forma local con aws-mwaa-docker-images on. GitHub

  2. Para ejecutar un script de solución de problemas que compruebe la configuración de la red de Amazon VPC para su entorno de Amazon MWAA, consulte el script de verificación del entorno en la sección Herramientas de soporte, en la sección Herramientas de soporte. https://github.com/awslabs/aws-support-tools/tree/master/MWAA AWS GitHub

Acceso a entornos

En la siguiente página, se describen los errores que se pueden producir al acceder un entorno.

No puedo acceder a la interfaz de usuario de Apache Airflow

Recomendamos los siguientes pasos:

  1. Compruebe los permisos de usuario. Es posible que no se le haya concedido acceso a una política de permisos que le permita ver la UI de Apache Airflow. Consulte Acceso a un entorno de Amazon MWAA para obtener más información.

  2. Compruebe el acceso a la red. Esto puede deberse a que seleccionó el modo de acceso de red privada. Si la URL de la UI de Apache Airflow tiene el siguiente formato 387fbcn-8dh4-9hfj-0dnd-834jhdfb-vpce.c10.us-west-2.airflow.amazonaws.com, significa que está usando un enrutamiento privado para su servidor web de Apache Airflow. Puede actualizar el modo de acceso de Apache Airflow al modo de acceso de red pública o crear un mecanismo para acceder al punto de conexión de VPC de su servidor web de Apache Airflow. Consulte Administración del acceso a los puntos de conexión de Amazon VPC específicos del servicio en Amazon MWAA para obtener más información.