Instalación de dependencias de Python - Amazon Managed Workflows para Apache Airflow
Requisitos previosFuncionamientoDescripción general de las dependencias de PythonCreación de un archivo requirements.txtCómo cargar requirements.txt a Amazon S3Instalación de dependencias de Python en su entornoVisualización de registros para su requirements.txtSiguientes pasos

Instalación de dependencias de Python

Una dependencia de Python es cualquier paquete o distribución que no esté incluido en la instalación base de Apache Airflow para su versión de Apache Airflow en su entorno de Amazon Managed Workflows para Apache Airflow. En esta página, se describen los pasos para instalar las dependencias de Python de Apache Airflow en su entorno de Amazon MWAA mediante un archivo requirements.txt en su bucket de Amazon S3.

Requisitos previos

Para poder llevar a cabo los pasos de esta página, necesitará lo siguiente.

  • Permisos: el administrador debe haber concedido a su Cuenta de AWS acceso a la política de control de acceso de AmazonMWAAFullConsoleAccess para su entorno. Además, su rol de ejecución debe permitir que su entorno de Amazon MWAA acceda a los recursos de AWS que utiliza su entorno.

  • Acceso: si tiene que acceder a los repositorios públicos para instalar dependencias directamente en el servidor web, su entorno debe estar configurado con acceso a un servidor web de red pública. Para obtener más información, consulta Modos de acceso de Apache Airflow.

  • Configuración de Amazon S3: el bucket de Amazon S3 que se utiliza para almacenar los DAG, los complementos personalizados en plugins.zip y las dependencias de Python en requirements.txt deben estar configurados con el acceso público bloqueado y el control de versiones activado.

Funcionamiento

En Amazon MWAA, para instalar todas las dependencias de Python, debe cargar un archivo requirements.txt en su bucket de Amazon S3 y, a continuación, especificar la versión del archivo en la consola de Amazon MWAA cada vez que actualice el archivo. Amazon MWAA ejecuta pip3 install -r requirements.txt para instalar las dependencias de Python en el programador de Apache Airflow y en cada uno de los procesos de trabajo.

Para ejecutar las dependencias de Python en su entorno, debe hacer tres cosas:

  1. Cree un archivo requirements.txt local.

  2. Cargue el requirements.txt local en su bucket de Amazon S3.

  3. Especifique la versión de este archivo en el campo Archivo de requisitos de la consola de Amazon MWAA.

nota

Si es la primera vez que crea y sube un archivo requirements.txt a su bucket de Amazon S3, también tendrá que especificar la ruta al archivo en la consola de Amazon MWAA. Solo necesita realizar este paso una vez.

Descripción general de las dependencias de Python

Puede instalar los extras de Apache Airflow y otras dependencias de Python desde el Python Package Index (PyPI.org), ruedas de Python (.whl) o las dependencias de Python alojadas en un repositorio privado compatible con PyPI/PEP-503 en su entorno.

Límites de ubicación y tamaño de las dependencias de Python

El programador de Apache Airflow y los procesos de trabajo buscan los paquetes en el archivo requirements.txt y los paquetes se instalan en el entorno en /usr/local/airflow/.local/bin.

  • Límite de tamaño. Recomendamos un archivo requirements.txt que haga referencia a bibliotecas cuyo tamaño combinado sea inferior a 1 GB. Cuantas más bibliotecas necesite instalar Amazon MWAA, mayor será el tiempo de inicio de un entorno. Aunque Amazon MWAA no limita el tamaño de las bibliotecas instaladas de forma explícita, si las dependencias no se pueden instalar en diez minutos, el servicio Fargate agotará el tiempo de espera e intentará revertir el entorno a un estado estable.

Creación de un archivo requirements.txt

En los pasos siguientes se describen los pasos que recomendamos para crear un archivo requirements.txt de forma local.

Paso uno: probar las dependencias de Python con la utilidad CLI de Amazon MWAA

  • La utilidad de la interfaz de la línea de comandos (CLI) replica entornos en Amazon Managed Workflows para Apache Airflow de forma local.

  • La CLI crea localmente una imagen de contenedor de Docker similar a una imagen de producción de Amazon MWAA. Esto le permite ejecutar un entorno local de Apache Airflow para desarrollar y probar los DAG, los complementos personalizados y las dependencias antes de implementarlos en Amazon MWAA.

  • Para ejecutar la CLI, consulte aws-mwaa-docker-images en GitHub.

Paso dos: crear el requirements.txt

La siguiente sección describe cómo especificar las dependencias de Python desde el Python Package Index en un archivo requirements.txt.

Apache Airflow v3

  1. Hacer una prueba local. Añada bibliotecas adicionales de forma iterativa para encontrar la combinación adecuada de paquetes y sus versiones antes de crear un archivo requirements.txt. Para ejecutar la utilidad de la CLI de Amazon MWAA, consulte aws-mwaa-docker-images en GitHub.

  2. Revise los extras del paquete Apache Airflow. Para acceder a una lista de los paquetes instalados para Apache Airflow v3 en Amazon MWAA, consulte aws-mwaa-docker-images requirements.txt en el sitio web de GitHub.

  3. Añada instrucciones respecto a las restricciones. Añada el archivo de restricciones para su entorno Apache Airflow v3 en la parte superior del archivo requirements.txt. Los archivos de restricciones de Apache Airflow especifican las versiones de proveedores disponibles en el momento de la publicación de Apache Airflow.

    En el siguiente ejemplo, sustituya {environment-version} con el número de versión de su entorno y {Python-version} con la versión de Python compatible con su entorno.

    Para obtener información sobre la versión de Python compatible con su entorno de Apache Airflow, consulte las versiones de Apache Airflow. 

    --constraint "https://raw.githubusercontent.com/apache/airflow/constraints-{Airflow-version}/constraints-{Python-version}.txt"

    Si el archivo de restricciones determina que el paquete xyz==1.0 no es compatible con otros paquetes de su entorno, pip3 install no podrá impedir que se instalen bibliotecas incompatibles en su entorno. Si se genera un error al instalar algún paquete, podrá ver los registros de errores de cada componente de Apache Airflow (el programador, el proceso de trabajo y el servidor web) en el flujo de registro correspondiente en los registros de CloudWatch. Para obtener más información sobre los tipos de registros, consulte Visualización de registros en Amazon CloudWatch.

  4. Paquetes de Apache Airflow. Añada los extras del paquete y la versión (==). Esto ayuda a evitar que se instalen en su entorno paquetes del mismo nombre, pero de una versión diferente.

    apache-airflow[package-extra]==2.5.1

  5. Bibliotecas Python. Añada el nombre del paquete y la versión (==) al archivo requirements.txt. Esto permite evitar que se lleve a cabo una actualización futura de última hora de PyPi.org automáticamente.

    library == version
    ejemplo Boto3 y psycopg2-binary

    Este caso se proporciona como ejemplo. Las bibliotecas boto y psycopg2-binary vienen incluidas en la instalación base de Apache Airflow v3, por lo que no es necesario especificarlas en un archivo requirements.txt.

    boto3==1.17.54
boto==2.49.0
botocore==1.20.54
psycopg2-binary==2.8.6

    Si un paquete se especifica sin versión, Amazon MWAA instalará la última versión del paquete que encuentre en PyPi.org. Esta versión puede entrar en conflicto con otros paquetes de su requirements.txt.

Apache Airflow v2

  1. Hacer una prueba local. Añada bibliotecas adicionales de forma iterativa para encontrar la combinación adecuada de paquetes y sus versiones antes de crear un archivo requirements.txt. Para ejecutar la utilidad de la CLI de Amazon MWAA, consulte aws-mwaa-docker-images en GitHub.

  2. Revise los extras del paquete Apache Airflow. Para acceder a una lista de los paquetes instalados para Apache Airflow v2 en Amazon MWAA, consulte aws-mwaa-docker-images requirements.txt en el sitio web de GitHub.

  3. Añada instrucciones respecto a las restricciones. Añada el archivo de restricciones para su entorno Apache Airflow v2 en la parte superior del archivo requirements.txt. Los archivos de restricciones de Apache Airflow especifican las versiones de proveedores disponibles en el momento de la publicación de Apache Airflow.

    A partir de la versión 2.7.2 de Apache Airflow, su archivo de requisitos debe incluir una instrucción --constraint. Si no proporciona ninguna restricción, Amazon MWAA especificará una para garantizar que los paquetes que figuran en sus requisitos sean compatibles con la versión de Apache Airflow que utilice.

    En el siguiente ejemplo, sustituya {environment-version} con el número de versión de su entorno y {Python-version} con la versión de Python compatible con su entorno.

    Para obtener información sobre la versión de Python compatible con su entorno de Apache Airflow, consulte las versiones de Apache Airflow.

    --constraint "https://raw.githubusercontent.com/apache/airflow/constraints-{Airflow-version}/constraints-{Python-version}.txt"

    Si el archivo de restricciones determina que el paquete xyz==1.0 no es compatible con otros paquetes de su entorno, pip3 install no podrá impedir que se instalen bibliotecas incompatibles en su entorno. Si se genera un error al instalar algún paquete, podrá ver los registros de errores de cada componente de Apache Airflow (el programador, el proceso de trabajo y el servidor web) en el flujo de registro correspondiente en los registros de CloudWatch. Para obtener más información sobre los tipos de registros, consulte Visualización de registros en Amazon CloudWatch.

  4. Paquetes de Apache Airflow. Añada los extras del paquete y la versión (==). Esto ayuda a evitar que se instalen en su entorno paquetes del mismo nombre, pero de una versión diferente.

    apache-airflow[package-extra]==2.5.1

  5. Bibliotecas Python. Añada el nombre del paquete y la versión (==) al archivo requirements.txt. Esto permite evitar que se lleve a cabo una actualización futura de última hora de PyPi.org automáticamente.

    library == version
    ejemplo Boto3 y psycopg2-binary

    Este caso se proporciona como ejemplo. Las bibliotecas boto y psycopg2-binary vienen incluidas en la instalación base de Apache Airflow v2, por lo que no es necesario especificarlas en un archivo requirements.txt.

    boto3==1.17.54
boto==2.49.0
botocore==1.20.54
psycopg2-binary==2.8.6

    Si un paquete se especifica sin versión, Amazon MWAA instalará la última versión del paquete que encuentre en PyPi.org. Esta versión puede entrar en conflicto con otros paquetes de su requirements.txt.

Cómo cargar requirements.txt a Amazon S3

Puede usar la consola de Amazon S3 o la AWS Command Line Interface (AWS CLI) para cargar un archivo requirements.txt a su bucket de Amazon S3.

Uso de AWS CLI

La AWS Command Line Interface (AWS CLI) es una herramienta de código abierto que le permite interactuar con los servicios de AWS mediante el uso de comandos en el shell de la línea de comandos. Para completar los pasos de esta página, necesita lo siguiente:

Carga mediante la AWS CLI

  1. Use el siguiente comando para obtener una lista de todos los buckets de Amazon S3.

    aws s3 ls

  2. Utilice el comando siguiente para enumerar los archivos y las carpetas del bucket de Amazon S3 para su entorno.

    aws s3 ls s3://YOUR_S3_BUCKET_NAME

  3. El siguiente comando carga un archivo requirements.txt en el bucket de Amazon S3.

    aws s3 cp requirements.txt s3://amzn-s3-demo-bucket/requirements.txt

Uso de la consola de Amazon S3

La consola de Amazon S3 es una interfaz de usuario basada en la web que le permite crear y administrar los recursos de su bucket de Amazon S3.

Carga del contenido usando la consola de Amazon S3

  1. Abra la página Entornos en la consola de Amazon MWAA.

  2. Seleccione un entorno.

  3. Seleccione el enlace del bucket S3 en el panel de códigos de DAG en S3 para abrir el bucket de almacenamiento en la consola.

  4. Seleccione Cargar.

  5. Elija Añadir archivo.

  6. Seleccione la copia local de su requirements.txt, elija Cargar.

Instalación de dependencias de Python en su entorno

En esta sección, se describe cómo instalar las dependencias que ha cargado en su bucket de Amazon S3 especificando la ruta al archivo requirements.txt y especificando la versión del archivo requirements.txt cada vez que se actualiza.

Especificación de la ruta a requirements.txt en la consola MWAA de Amazon (la primera vez)

Si es la primera vez que crea y sube un archivo requirements.txt a su bucket de Amazon S3, también tendrá que especificar la ruta al archivo en la consola de Amazon MWAA. Solo necesita realizar este paso una vez.

  1. Abra la página Entornos en la consola de Amazon MWAA.

  2. Seleccione un entorno.

  3. Elija Editar.

  4. En el panel DAG code in Amazon S3 (Código DAG en Amazon S3), elija Browse S3 (Explorar S3) junto al campo Requirements file - optional (Archivo de requisitos: opcional).

  5. Seleccione el archivo requirements.txt en su bucket de Amazon S3.

  6. Seleccione Elegir.

  7. Seleccione Siguiente, Actualizar entorno.

Puede empezar a usar los nuevos paquetes inmediatamente después de que su entorno termine de actualizarse.

Especificación de la versión de requirements.txt en la consola de Amazon MWAA

Debe especificar la versión de su archivo requirements.txt en la consola de Amazon MWAA cada vez que cargue una nueva versión de su requirements.txt en su bucket de Amazon S3.

  1. Abra la página Entornos en la consola de Amazon MWAA.

  2. Seleccione un entorno.

  3. Elija Editar.

  4. En el panel Código de DAG en Amazon S3, elija una versión de requirements.txt de la lista desplegable.

  5. Seleccione Siguiente, Actualizar entorno.

Puede empezar a usar los nuevos paquetes inmediatamente después de que su entorno termine de actualizarse.

Visualización de registros para su requirements.txt

Consulte los registros de Apache Airflow correspondientes al programador encargado de programar sus flujos de trabajo y de analizar su carpeta de dags. En los siguientes pasos, se describe cómo abrir el grupo de registros del programador en la consola de Amazon MWAA y cómo ver los registros de Apache Airflow en la consola de registros de CloudWatch.

Para acceder a los registros de un requirements.txt

  1. Abra la página Entornos en la consola de Amazon MWAA.

  2. Seleccione un entorno.

  3. Elija el Grupo de registro del programador de Airflow en el panel de Monitorización.

  4. Seleccione el registro requirements_install_ip en los flujos de registro.

  5. Consulte la lista de paquetes que se hayan instalado en el entorno en /usr/local/airflow/.local/bin. Por ejemplo:

    Collecting appdirs==1.4.4 (from -r /usr/local/airflow/.local/bin (line 1))
Downloading https://files.pythonhosted.org/packages/3b/00/2344469e2084fb28kjdsfiuyweb47389789vxbmnbjhsdgf5463acd6cf5e3db69324/appdirs-1.4.4-py2.py3-none-any.whl  
Collecting astroid==2.4.2 (from -r /usr/local/airflow/.local/bin (line 2))

  6. Consulte la lista de paquetes y compruebe si se produjo algún error en alguno de ellos durante la instalación. Si algo salió mal, es posible que aparezca un error similar al siguiente:

    2021-03-05T14:34:42.731-07:00
No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4))
No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4))

Siguientes pasos

Pruebe sus DAG, complementos personalizados y dependencias de Python de forma local con aws-mwaa-docker-images en GitHub.