Uso de bibliotecas de Python con AWS Glue

Puede instalar módulos y bibliotecas adicionales de Python para su uso con ETL de AWS Glue. Para AWS Glue 2.0 y versiones posteriores, AWS Glue utiliza el instalador de paquetes de Python (pip3) para instalar los módulos adicionales que utilizará ETL de AWS Glue. AWS Glue ofrece varias opciones para incorporar los módulos de Python adicionales a su entorno de trabajo de AWS Glue. Puede usar el parámetro --additional-python-modules para introducir módulos nuevos mediante archivos zip que contengan wheels de Python agrupados (también conocidos como “zip de wheels”, disponibles para AWS Glue 5.0 y versiones posteriores), archivos wheel de Python individuales, archivos de requisitos (requirements.txt, disponibles para AWS Glue 5.0 y versiones posteriores) o una lista de módulos de Python separados por comas. También se puede usar para cambiar la versión de los módulos de Python proporcionados en el entorno de AWS Glue (consulte Módulos de Python que ya se proporcionaron en AWS para obtener más detalles).

Instalación de módulos adicionales de Python en AWS Glue 2.0 (o posterior) con pip

AWS Glue utiliza el instalador de paquetes de Python (pip3) para instalar los módulos adicionales que serán utilizados por AWS Glue ETL. Puede utilizar el parámetro --additional-python-modules con una lista de módulos de Python separados por comas para agregar un nuevo módulo o cambiar la versión de un módulo existente. Puede instalar artefactos wheel generados mediante un zip de wheels o un artefacto wheel independiente; para ello, debe cargar el archivo en Amazon S3 y, a continuación, incluir la ruta al objeto de Amazon S3 en la lista de módulos. Para obtener más información sobre la configuración de parámetros de trabajo, consulte Uso de parámetros de trabajo en los trabajos de AWS Glue.

Puede pasar opciones adicionales a pip3 con el parámetro --python-modules-installer-option. Por ejemplo, podría transferir --only-binary para forzar a pip a instalar únicamente artefactos prediseñados para los paquetes especificados por --additional-python-modules. Para ver más ejemplos, consulte Creación de módulos Python a partir de un archivo Wheel para cargas de trabajo de ETL de Spark mediante AWS Glue 2.0.

Prácticas recomendadas para la administración de dependencias de Python

Para las cargas de trabajo de producción, AWS Glue recomienda empaquetar todas las dependencias de Python como archivos wheel en un único artefacto zip. Este enfoque proporciona lo siguiente:

Consideraciones importantes

Según el modelo de responsabilidad compartida de AWS, usted es responsable de la administración de los módulos y las bibliotecas de Python adicionales y sus dependencias. Esto incluye:

Si tiene dependencias mínimas, en cambio, puede considerar usar archivos wheel individuales.

--additional-python-modules s3://amzn-s3-demo-bucket/path/to/zip-of-wheels-1.0.0.gluewheels.zip
--python-modules-installer-option --no-index

--additional-python-modules s3://amzn-s3-demo-bucket/path/to/package-1.0.0-py3-none-any.whl,s3://your-bucket/path/to/another-package-2.1.0-cp311-cp311-linux_x86_64.whl

awswrangler==3.9.1
elasticsearch==8.15.1
PyAthena==3.9.0
PyMySQL==1.1.1
PyYAML==6.0.2
pyodbc==5.2.0
pyorc==0.9.0
redshift-connector==2.1.3
scipy==1.14.1
scikit-learn==1.5.2
SQLAlchemy==2.0.36

Inclusión de archivos de Python con características nativas de PySpark

AWS Glue utiliza PySpark para incluir archivos de Python en trabajos de ETL de AWS Glue. Podrá utilizar --additional-python-modules para administrar las dependencias cuando esté disponible. Puede utilizar el parámetro de trabajo --extra-py-files para incluir archivos de Python. Las dependencias deben estar alojadas en Amazon S3 y el valor del argumento debe ser una lista delimitada por comas de rutas de Amazon S3 sin espacios. Esta funcionalidad se comporta igual que la administración de dependencias de Python que se utilizaría con Spark. Para obtener más información sobre la administración de dependencias de Python en Spark, consulte la página Using PySpark Native Features (Uso de características nativas de PySpark) en la documentación de Apache Spark. --extra-py-files resulta útil en los casos en los que el código adicional no está empaquetado, o bien cuando se migra un programa de Spark con una cadena de herramientas existente para administrar las dependencias. Para que las herramientas para dependencias sean mantenibles, deberá agrupar las dependencias antes del envío.

Scripts de programación que utilizan transformaciones visuales

Al crear un trabajo de AWS Glue con la interfaz visual de AWS Glue Studio, puede transformar los datos con nodos administrados de transformación de datos y transformaciones visuales personalizadas. Par más información sobre los nodos administrados de transformación de datos, consulte Transformación de datos con transformaciones administradas de AWS Glue. Para obtener más información sobre las transformaciones visuales personalizadas, consulte Transformación de datos con transformaciones visuales personalizadas . Los scripts que utilizan transformaciones visuales solo se pueden generar cuando el Lenguaje del trabajo está establecido para que utilice Python.

Al generar un trabajo de AWS Glue con transformaciones visuales, AWS Glue Studio incluirá estas transformaciones en el entorno de tiempo de ejecución con el parámetro --extra-py-files en la configuración del trabajo. Para obtener más información acerca de la configuración de parámetros de trabajos, consulte Uso de los parámetros de trabajo en los trabajos de AWS Glue. Cuando se realizan cambios en un script generado o un entorno de tiempo de ejecución, necesitará conservar la configuración del trabajo para que script se ejecute de manera exitosa.

Compresión de bibliotecas para inclusión

Salvo que una biblioteca se encuentre en un único archivo .py, deberá empaquetarse en un archivo .zip. El directorio del paquete debe encontrarse en la raíz del archivo y debe contener un archivo __init__.py para el paquete. Posteriormente, Python podrá importar el paquete de la forma habitual.

Si la biblioteca se compone solamente de un único módulo de Python en un archivo .py, no será necesario comprimirlo en un archivo .zip.

Carga de bibliotecas de Python en cuadernos de AWS Glue Studio

Para especificar las bibliotecas de Python en los cuadernos de AWS Glue Studio, consulte Installing additional Python modules.

Carga de bibliotecas Python en un punto de conexión de desarrollo en AWS Glue 0.9/1.0

Si utiliza diferentes conjuntos de bibliotecas para distintos scripts de ETL, puede configurar puntos de enlace de desarrollo independientes para cada conjunto o bien, puede sobrescribir los archivos .zip de la biblioteca que carga el punto de enlace de desarrollo cada vez que usted cambia de script.

Puede utilizar la consola con el fin de especificar uno o varios archivos .zip para un punto de enlace de desarrollo cuando lo cree. Después de asignar un nombre y un rol de IAM, seleccione Script Libraries and job parameters (Bibliotecas de script y parámetros de trabajo) (opcional) y escriba la ruta de Amazon S3 completa para los archivos .zip de la biblioteca en el cuadro Python library path (Ruta de la biblioteca Python). Por ejemplo:

s3://bucket/prefix/site-packages.zip

También puede especificar varias rutas completas a los archivos; para ello, sepárelas con comas pero sin espacios, como sigue:

s3://bucket/prefix/lib_A.zip,s3://bucket_B/prefix/lib_X.zip

Si actualiza estos archivos .zip más adelante, puede utilizar la consola para volver a importarlos en el punto de enlace de desarrollo. Vaya al punto de enlace del desarrollador que corresponda, marque la casilla junto al mismo y seleccione Update ETL libraries (Actualizar bibliotecas de ETL) desde el menú Action (Acción).

De forma similar, puede especificar archivos de la biblioteca mediante las API de AWS Glue. Cuando crea un punto de enlace de desarrollo al invocar Acción CreateDevEndpoint (Python: create_dev_endpoint), puede especificar una o varias rutas completas para las bibliotecas en el parámetro ExtraPythonLibsS3Path, en una llamada con un formato similar al siguiente:

dep = glue.create_dev_endpoint(
             EndpointName="testDevEndpoint",
             RoleArn="arn:aws:iam::123456789012",
             SecurityGroupIds="sg-7f5ad1ff",
             SubnetId="subnet-c12fdba4",
             PublicKey="ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQCtp04H/y...",
             NumberOfNodes=3,
             ExtraPythonLibsS3Path="s3://bucket/prefix/lib_A.zip,s3://bucket_B/prefix/lib_X.zip")

Cuando actualice un punto de enlace de desarrollo, también puede actualizar las bibliotecas que carga con un objeto DevEndpointCustomLibraries y si establece el parámetro UpdateEtlLibraries en True a la hora de invocar UpdateDevEndpoint (update_dev_endpoint).

Uso de bibliotecas Python en un trabajo o JobRun

Cuando crea un trabajo nuevo en la consola, puede especificar uno o más archivos .zip de la biblioteca si selecciona Script Libraries and job parameters (Bibliotecas de script y parámetros de trabajo) (opcional) y escribe las rutas completas de la biblioteca de Amazon S3, igual que cuando crea un punto de enlace de desarrollo:

s3://bucket/prefix/lib_A.zip,s3://bucket_B/prefix/lib_X.zip

Si invoca CreateJob (create_job), puede especificar una o varias rutas completas para las bibliotecas predeterminadas mediante el parámetro predeterminado --extra-py-files , como se indica a continuación:

job = glue.create_job(Name='sampleJob',
                      Role='Glue_DefaultRole',
                      Command={'Name': 'glueetl',
                               'ScriptLocation': 's3://my_script_bucket/scripts/my_etl_script.py'},
                      DefaultArguments={'--extra-py-files': 's3://bucket/prefix/lib_A.zip,s3://bucket_B/prefix/lib_X.zip'})

Posteriormente, cuando inicie un JobRun, puede anular el valor predeterminado de la biblioteca con otro distinto:

runId = glue.start_job_run(JobName='sampleJob',
                           Arguments={'--extra-py-files': 's3://bucket/prefix/lib_B.zip'})

Analizar de forma proactiva las dependencias de Python

Para identificar de forma proactiva los posibles problemas de dependencia antes de implementarlos en AWS Glue, puede usar la herramienta de análisis de dependencias para cotejar sus paquetes de Python con el entorno de AWS Glue de destino.

AWS proporciona una herramienta de análisis de dependencias de Python de código abierto diseñada específicamente para entornos de AWS Glue. Esta herramienta está disponible en el repositorio de muestras de AWS Glue y se puede utilizar localmente para validar las dependencias antes de la implementación.

Este análisis ayuda a garantizar que sus dependencias sigan la práctica recomendada de anclar todas las versiones de la biblioteca para lograr implementaciones de producción coherentes. Para obtener más información, consulte el archivo README de la herramienta.

# Analyze a single Glue job
python glue_dependency_analyzer.py -j my-glue-job

# Analyze multiple jobs with specific AWS configuration
python glue_dependency_analyzer.py -j job1 -j job2 --aws-profile production --aws-region us-west-2

I have an AWS Glue job named <Job-Name> that has failed due to Python module installation conflicts. Please assist in diagnosing and resolving this issue using the following systematic approach. Proceed once sufficient information is available.

Objective: Implement a fix that addresses the root cause module while minimizing disruption to the existing working environment.

Step 1: Root Cause Analysis
• Retrieve the most recent failed job run ID for the specified Glue job
• Extract error logs from CloudWatch Logs using the job run ID as a log stream prefix
• Analyze the logs to identify:
  • The recently added or modified Python module that triggered the dependency conflict
  • The specific dependency chain causing the installation failure
  • Version compatibility conflicts between required and existing modules

Step 2: Baseline Configuration Identification
• Locate the last successful job run ID prior to the dependency failure
• Document the Python module versions that were functioning correctly in that baseline run
• Establish the compatible version constraints for conflicting dependencies

Step 3: Targeted Resolution Implementation
• Apply pinning by updating the job's additional_python_modules parameter
• Pin only the root cause module and its directly conflicting dependencies to compatible versions, and do not remove python modules unless necessary
• Preserve flexibility for non-conflicting modules by avoiding unnecessary version constraints
• Deploy the configuration changes with minimal changes to the existing configuration and execute a validation test run. Do not change the Glue versions.

Implementation Example:
Scenario: Recently added pandas==2.0.0 to additional_python_modules
Error: numpy version conflict (pandas 2.0.0 requires numpy>=1.21, but existing job code requires numpy<1.20)
Resolution: Update additional_python_modules to "pandas==1.5.3,numpy==1.19.5"
Rationale: Use pandas 1.5.3 (compatible with numpy 1.19.5) and pin numpy to last known working version

Expected Outcome: Restore job functionality with minimal configuration changes while maintaining system stability.

Módulos de Python que ya se proporcionaron en AWS

Para cambiar la versión de estos módulos proporcionados, indique las nuevas versiones con el parámetro de trabajo --additional-python-modules.

Apéndice A: Creación de un artefacto zip de wheels

Demostramos con un ejemplo cómo crear un artefacto zip de wheels. El ejemplo que se muestra descarga los paquetes cryptography y scipy en un artefacto zip de wheels y copia el zip de wheels en una ubicación de Amazon S3.

Apéndice B: Detalles del entorno de AWS Glue

Según el modelo de responsabilidad compartida de AWS, usted es responsable de la administración de los módulos y las bibliotecas de Python adicionales y las dependencias que utilice con sus trabajos de ETL de AWS Glue. Esto incluye la aplicación de actualizaciones y parches de seguridad.

AWS Glue no admite la compilación de código nativo en el entorno de trabajo. No obstante, los trabajos de AWS Glue se ejecutan en un entorno de Linux administrado por Amazon. Es posible que pueda proporcionar las dependencias nativas en forma compilada a través de un archivo Wheel de Python. Consulte la tabla anterior para ver los detalles de compatibilidad de las versiones de AWS Glue.