Solución de problemas: creación y actualización de entornos de Amazon MWAA - Amazon Managed Workflows para Apache Airflow
Actualización de requirements.txtComplementosCrear un bucketCreación de un entornoActualización de entornosAcceso a entornos

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Solución de problemas: creación y actualización de entornos de Amazon MWAA

Los temas de esta página contienen errores que puede encontrar al crear y actualizar un entorno de Amazon Managed Workflows para Apache Airflow y cómo resolver estos errores.

Actualización de requirements.txt

En el siguiente tema se describen los errores que puede recibir al actualizar surequirements.txt.

He especificado una nueva versión de mi requirements.txt y la actualización de mi entorno está tardando más de 20 minutos

Si su entorno tarda más de 20 minutos en instalar una nueva versión de un archivo requirements.txt, quiere decir que se ha producido un error en la actualización del entorno y Amazon MWAA está volviendo a la última versión estable de la imagen del contenedor.

  1. Compruebe las versiones de los paquetes. Recomendamos especificar siempre una versión específica (==) o una versión máxima (<=) para las dependencias de Python en su requirements.txt.

  2. Compruebe los registros de Apache Airflow. Si habilitó los registros de Apache Airflow, compruebe que los grupos de registros se hayan creado correctamente en la página Grupos de registros de la CloudWatch consola. Si obtiene registros en blanco, el motivo más común es que faltan permisos en su función de ejecución CloudWatch o en Amazon S3, donde se escriben los registros. Para obtener más información, consulteRol de ejecución.

  3. Compruebe las opciones de configuración de Apache Airflow. Si utiliza Secrets Manager, compruebe que los pares clave-valor que especificó como opción de configuración de Apache Airflow se hayan configurado correctamente. Para obtener más información, consulteConfiguración de una conexión Apache Airflow mediante un secreto AWS Secrets Manager.

  4. Compruebe la configuración de la red de VPC. Para obtener más información, consulteIntenté crear un entorno y está atascado en el Creating estado.

  5. Compruebe los permisos de los roles de ejecución. Un rol de ejecución es un rol AWS Identity and Access Management (IAM) con una política de permisos que otorga a Amazon MWAA permiso para invocar los recursos de otros AWS servicios (como Amazon S3, Amazon CloudWatch SQS o Amazon ECR) en su nombre. También se debe permitir el acceso a su clave gestionada por el cliente o su clave AWS propiedad. Para obtener más información, consulte. Rol de ejecución

  6. Para ejecutar un script de solución de problemas que compruebe la configuración de la red de Amazon VPC para su entorno de Amazon MWAA, consulte el script Verify Environment en Support AWS Tools en. GitHub

Complementos

En el siguiente tema se describen los problemas que pueden surgir al configurar o actualizar los complementos de Apache Airflow.

¿Admite Amazon MWAA la implementación de una interfaz de usuario personalizada?

A partir de la versión 2.2.2 de Apache Airflow, Amazon MWAA admite la instalación de complementos en el servidor web Apache Airflow y la implementación de una interfaz de usuario personalizada. Si su entorno Amazon MWAA ejecuta Apache Airflow v2.0.2 o una versión anterior, no podrá implementar una interfaz de usuario personalizada.

Para obtener más información sobre la administración de versiones y la actualización de sus entornos existentes, consulte. Versiones de Apache Airflow en Amazon Managed Workflows para Apache Airflow

Crear un bucket

En el siguiente tema se describen los errores que puede recibir al crear un bucket de Amazon S3.

No puedo seleccionar la opción de bloqueo de acceso público en S3

El rol de ejecución de su entorno de Amazon MWAA necesita permiso para realizar la acción de GetBucketPublicAccessBlock en el bucket de Amazon S3 para verificar que el bucket ha bloqueado el acceso público. Recomendamos los siguientes pasos:

  1. Siga los pasos para adjuntar una política de JSON a su rol de ejecución.

  2. Adjunte la siguiente política JSON:

    {
  "Effect":"Allow",
  "Action":[
    "s3:GetObject*",
    "s3:GetBucket*",
    "s3:List*"
  ],
  "Resource":[
    "arn:aws:s3:::amzn-s3-demo-bucket",
    "arn:aws:s3:::amzn-s3-demo-bucket/*"
  ]
}

    Sustituya los marcadores de posición de muestra por el amzn-s3-demo-bucket nombre de su bucket de Amazon S3.

  3. Para ejecutar un script de solución de problemas que compruebe la configuración de la red de Amazon VPC para su entorno de Amazon MWAA, consulte el script Verify Environment en Support AWS Tools en. GitHub

Creación de un entorno

En el siguiente tema se describen los errores que puede recibir al crear un entorno.

Intenté crear un entorno y está atascado en el Creating estado

Recomendamos los siguientes pasos:

  1. Compruebe la red de VPC con enrutamiento público. Si utilizas una Amazon VPC con acceso a Internet, comprueba lo siguiente:

    1. Que su Amazon VPC esté configurada para permitir el tráfico de red entre los distintos AWS recursos que utiliza su entorno de Amazon MWAA, tal y como se define en. Acerca de las redes en Amazon MWAA Por ejemplo, su grupo de seguridad de VPC debe permitir todo el tráfico en una regla de autorreferencia o, si lo desea, especificar el rango de puertos para el rango de puertos HTTPS 443 y un rango de puertos TCP 5432.

  2. Compruebe la red de VPC con enrutamiento privado. Si utilizas una Amazon VPC sin acceso a Internet, comprueba lo siguiente:

    1. Que su Amazon VPC esté configurada para permitir el tráfico de red entre los distintos AWS recursos de su entorno de Amazon MWAA, tal y como se define en. Acerca de las redes en Amazon MWAA Por ejemplo, sus dos subredes privadas no deben tener una tabla de enrutamiento a una puerta de enlace de NAT (o instancia de NAT) ni a una puerta de enlace de Internet.

  3. Para ejecutar un script de solución de problemas que compruebe la configuración de la red de Amazon VPC para su entorno de Amazon MWAA, consulte el script Verify Environment en Support AWS Tools en. GitHub

Intenté crear un entorno, pero muestra el estado como Create failed

Recomendamos los siguientes pasos:

  1. Compruebe la configuración de la red de VPC. Para obtener más información, consulteIntenté crear un entorno y está atascado en el Creating estado.

  2. Compruebe los permisos de usuario. Amazon MWAA realiza una prueba con las credenciales de un usuario antes de crear un entorno. Cuenta de AWS Es posible que no tenga permiso AWS Identity and Access Management (IAM) para crear algunos de los recursos de un entorno. Por ejemplo, si eligió el modo de acceso Apache Airflow a la red privada, su administrador Cuenta de AWS debe haberle concedido acceso a la política de control de MWAAFull ConsoleAccess acceso de Amazon para su entorno, que permite a su cuenta crear puntos de enlace de VPC.

  3. Compruebe los permisos de los roles de ejecución. Un rol de ejecución es un rol AWS Identity and Access Management (IAM) con una política de permisos que otorga a Amazon MWAA permiso para invocar los recursos de otros AWS servicios (como Amazon S3, Amazon CloudWatch SQS o Amazon ECR) en su nombre. También se debe permitir el acceso a su clave gestionada por el cliente o su clave AWS propiedad. Para obtener más información, consulte. Rol de ejecución

  4. Compruebe los registros de Apache Airflow. Si habilitó los registros de Apache Airflow, compruebe que los grupos de registros se hayan creado correctamente en la página Grupos de registros de la CloudWatch consola. Si obtiene registros en blanco, el motivo más común es que faltan permisos en su función de ejecución CloudWatch o en Amazon S3, donde se escriben los registros. Para obtener más información, consulteRol de ejecución.

  5. Para ejecutar un script de solución de problemas que compruebe la configuración de la red de Amazon VPC para su entorno de Amazon MWAA, consulte el script Verify Environment en Support AWS Tools en. GitHub

  6. Si utiliza una Amazon VPC sin acceso a Internet, asegúrese de haber creado un punto de conexión de puerta de enlace de Amazon S3 y de haber concedido los permisos mínimos necesarios a Amazon ECR para acceder a Amazon S3. Para obtener más información sobre la creación de un punto de enlace de puerta de enlace Amazon S3, consulte lo siguiente:

He intentado seleccionar una VPC y he recibido un error Network Failure

Recomendamos los siguientes pasos:

  • Si Network Failure aparece un error al intentar seleccionar una Amazon VPC al crear el entorno, desactive todos los proxies del navegador que se estén ejecutando e inténtelo de nuevo.

He intentado crear un entorno y he recibido un mensaje de error que indica que el servicio, la partición o el recurso “deben pasarse”

Recomendamos los siguientes pasos:

  • Es posible que recibas este error porque el URI que especificaste para tu bucket de Amazon S3 incluye una «/» al final del URI. Le recomendamos que elimine la barra inclinada (“/”) de la ruta. El valor debe tener el siguiente formato:

    s3://amzn-s3-demo-bucket

He intentado crear un entorno y muestra el estado comoAvailable, pero cuando intento acceder a la interfaz de usuario de Airflow aparece un Empty Reply from Server502 Bad Gateway error

Recomendamos los siguientes pasos:

  1. Compruebe la configuración del grupo de seguridad de VPC. Para obtener más información, consulte. Intenté crear un entorno y está atascado en el Creating estado

  2. Confirme que todos los paquetes de Apache Airflow que haya publicado en requirements.txt corresponden a la versión de Apache Airflow que utiliza en Amazon MWAA. Para obtener más información, consulteInstalación de dependencias de Python.

  3. Para ejecutar un script de solución de problemas que compruebe la configuración de la red de Amazon VPC para su entorno de Amazon MWAA, consulte el script Verify Environment en Support AWS Tools en. GitHub

Intenté crear un entorno y mi nombre de usuario es un conjunto de nombres de caracteres aleatorios

  • Apache Airflow tiene un máximo de 64 caracteres para los nombres de usuario. Si su función AWS Identity and Access Management (IAM) supera esta longitud, se utiliza un algoritmo de hash para reducirla y, al mismo tiempo, seguir siendo única.

Actualización de entornos

En el siguiente tema se describen los errores que puede recibir al actualizar un entorno.

Intenté cambiar la clase del entorno, pero la actualización falló

Si actualiza su entorno a una clase de entorno diferente (por ejemplo, al cambiar de un mw1.medium a un mw1.small) y la solicitud de actualización no se puede realizar correctamente, el estado del entorno pasará a UPDATE_FAILED y el entorno se revertirá a su versión estable anterior y se facturará de acuerdo con ella.

Recomendamos los siguientes pasos:

  1. Pruebe sus DAGs complementos personalizados y sus dependencias de Python localmente con aws-mwaa-docker-imageson GitHub.

  2. Para ejecutar un script de solución de problemas que compruebe la configuración de la red de Amazon VPC para su entorno de Amazon MWAA, consulte el script Verify Environment en Support AWS Tools en. GitHub

Acceso a entornos

En el siguiente tema se describen los errores que puede recibir al acceder a un entorno.

No puedo acceder a la interfaz de usuario de Apache Airflow

Recomendamos los siguientes pasos:

  1. Compruebe los permisos de usuario. Es posible que no se le haya concedido acceso a una política de permisos que le permita acceder a la interfaz de usuario de Apache Airflow. Para obtener más información, consulte. Acceso a un entorno de Amazon MWAA

  2. Compruebe el acceso a la red. Esto puede deberse a que seleccionó el modo de acceso a la red privada. Si la URL de la interfaz de usuario de Apache Airflow tiene el siguiente formato387fbcn-8dh4-9hfj-0dnd-834jhdfb-vpce.c10.us-west-2.airflow.amazonaws.com, significa que está utilizando un enrutamiento privado para su servidor web Apache Airflow. Puede actualizar el modo de acceso de Apache Airflow al modo de acceso de red pública o crear un mecanismo para acceder al punto de conexión de VPC de su servidor web de Apache Airflow. Para obtener más información, consulta. Administración del acceso a los puntos de conexión de Amazon VPC específicos del servicio en Amazon MWAA