Usar bibliotecas Python com o AWS Glue

É possível instalar módulos e bibliotecas Python adicionais para uso com o ETL do AWS Glue. Para o AWS Glue 2.0 ou superior, o AWS Glue usa o Python Package Installer (pip3) para instalar módulos adicionais a serem usados pelo ETL do AWS Glue. AWS O Glue oferece várias opções para levar os módulos adicionais do Python ao seu ambiente de trabalho do AWS Glue. O parâmetro --additional-python-modules pode ser utilizado para trazer novos módulos por meio de arquivos zip contendo wheels Python empacotadas (também conhecido como “zip de wheel”, disponível para o AWS Glue 5.0 e versões superiores), arquivos de wheel Python individuais, arquivos de requisitos (requirements.txt, disponível para o AWS Glue 5.0 e versões superiores) ou uma lista de módulos Python separados por vírgula. Ele também pode ser usado para alterar a versão dos módulos python fornecidos no ambiente AWS Glue (consulte Módulos do Python já fornecidos no AWS Glue para obter mais detalhes).

Instalar módulos Python adicionais com pip no AWS Glue 2.0 ou posterior

O AWS Glue usa o Python Package Installer (pip3) para instalar módulos adicionais a serem usados pelo ETL do AWS Glue. Você pode usar o parâmetro --additional-python-modules com uma lista de módulos do Python separados por vírgulas para adicionar um novo módulo ou alterar a versão de um módulo existente. Você pode instalar artefatos de wheel construídos por meio de um zip de wheel ou de um artefato de wheel independente carregando o arquivo para o Amazon S3 e incluindo o caminho para o objeto do Amazon S3 na sua lista de módulos. Para obter mais informações sobre como configurar parâmetros de trabalho, consulte Usar parâmetros de trabalho em trabalhos do AWS Glue.

Você pode transmitir opções adicionais para o pip3 com o parâmetro --python-modules-installer-option. Por exemplo, você pode passar o --only-binary para forçar o pip a instalar somente artefatos pré-construídos para os pacotes especificados por --additional-python-modules. Para obter mais exemplos, consulte Desenvolver módulos Python de um wheel para workloads de ETL do Spark usando o AWS Glue 2.0.

Práticas recomendadas para o gerenciamento de dependências do Python

Para workloads de produção, o AWS Glue recomenda empacotar todas as suas dependências do Python como arquivos wheel em um único artefato zip. Essa abordagem fornece:

Considerações importantes

No modelo de responsabilidade compartilhada da AWS, você é responsável por gerenciar módulos adicionais do Phyton, bibliotecas e suas dependências. Isso inclui:

Se você tiver dependências mínimas, considere usar arquivos wheel individuais em vez disso.

--additional-python-modules s3://amzn-s3-demo-bucket/path/to/zip-of-wheels-1.0.0.gluewheels.zip
--python-modules-installer-option --no-index

--additional-python-modules s3://amzn-s3-demo-bucket/path/to/package-1.0.0-py3-none-any.whl,s3://your-bucket/path/to/another-package-2.1.0-cp311-cp311-linux_x86_64.whl

awswrangler==3.9.1
elasticsearch==8.15.1
PyAthena==3.9.0
PyMySQL==1.1.1
PyYAML==6.0.2
pyodbc==5.2.0
pyorc==0.9.0
redshift-connector==2.1.3
scipy==1.14.1
scikit-learn==1.5.2
SQLAlchemy==2.0.36

Inclusão de arquivos Python com recursos nativos do PySpark

O AWS Glue usa PySpark para incluir arquivos Python em trabalhos de ETL do AWS Glue. Recomenda-se usar --additional-python-modules para gerenciar suas dependências quando disponíveis. Você pode usar o parâmetro de trabalho --extra-py-files para incluir arquivos Python. As dependências devem ser hospedadas no Amazon S3, e o valor do argumento deve ser uma lista delimitada por vírgulas de caminhos do Amazon S3 sem espaços. Essa funcionalidade se comporta como o gerenciamento de dependências do Python que você usaria com o Spark. Para obter mais informações sobre o gerenciamento de dependências do Python no Spark, consulte a página Using PySpark Native Features (Usar recursos nativos do PySpark) na documentação do Apache Spark. --extra-py-files é útil em casos nos quais seu código adicional não está empacotado ou quando você está migrando um programa Spark com uma cadeia de ferramentas existente para gerenciar dependências. Para que suas ferramentas de dependência sejam passíveis de manutenção, você precisará empacotar suas dependências antes de enviá-las.

Scripts de programação que usam transformações visuais

Ao criar uma tarefa do AWS Glue usando a interface visual do AWS Glue Studio, é possível transformar seus dados com nós de transformação de dados gerenciados e transformações visuais personalizadas. Para obter mais informações sobre nós de transformações de dados gerenciados, consulte Transformar dados com transformações gerenciadas do AWS Glue. Para obter mais informações sobre transformações visuais personalizadas, consulte Transformar dados com transformações visuais personalizadas . Os scripts que usam transformações visuais só poderão ser gerados quando a Linguagem do trabalho estiver configurada para usar Python.

Ao gerar uma tarefa do AWS Glue usando transformações visuais, o AWS Glue Studio incluirá essas transformações no ambiente de runtime usando o parâmetro --extra-py-files na configuração da tarefa. Para obter mais informações sobre parâmetros de trabalho, consulte Usar parâmetros de tarefa em tarefas do AWS Glue. Ao fazer alterações em um script gerado ou em um ambiente de runtime, será necessário preservar essa configuração de trabalho para que seu script seja executado com êxito.

Compactar bibliotecas para inclusão

A menos que uma biblioteca esteja contida em um único arquivo .py, ela precisará ser compactada em uma pasta .zip. O diretório do pacote deve estar na raiz do arquivo e precisa conter um arquivo __init__.py para o pacote. Em seguida, o Python poderá importar o pacote normalmente.

Se a sua biblioteca contém um único módulo Python em um arquivo .py, você não precisará compactá-la em uma pasta .zip.

Carregar bibliotecas do Python em cadernos do AWS Glue Studio

Para especificar bibliotecas do Python nos cadernos do AWS Glue Studio, consulte Instalar módulos Python adicionais.

Carregar bibliotecas Python em um endpoint de desenvolvimento no AWS Glue 0.9/1.0

Se você estiver usando diferentes conjuntos de bibliotecas para diferentes scripts de ETL, poderá configurar um endpoint de desenvolvimento separado para cada conjunto ou substituir os arquivos .zip da biblioteca carregados pelo seu endpoint de desenvolvimento sempre que os scripts são alternados.

Você pode usar o console para especificar um ou mais arquivos .zip da biblioteca para um endpoint de desenvolvimento ao criá-lo. Depois de atribuir um nome e um perfil do IAM, escolha Script Libraries and job parameters (optional) (Bibliotecas de script e parâmetros de trabalho [opcional]) e insira o caminho completo do Amazon S3 para o arquivo .zip da sua biblioteca na caixa Python library path (Caminho da biblioteca Python). Por exemplo:

s3://bucket/prefix/site-packages.zip

Se quiser, você poderá especificar vários caminhos completos para arquivos, separando-os com vírgulas, mas sem espaços, da seguinte maneira:

s3://bucket/prefix/lib_A.zip,s3://bucket_B/prefix/lib_X.zip

Se você atualizar esses arquivos .zip posteriormente, poderá usar o console para importá-los novamente para o seu endpoint de desenvolvimento. Navegue até o endpoint do desenvolvedor em questão, marque a caixa de seleção ao lado e escolha Update ETL libraries no menu Action.

De forma semelhante, você pode especificar arquivos de biblioteca usando as APIs do AWS Glue. Ao criar um endpoint de desenvolvimento chamando Ação CreateDevEndpoint (Python: create_dev_endpoint), você pode especificar um ou mais caminhos completos para bibliotecas no parâmetro ExtraPythonLibsS3Path. Essa chamada é semelhante à seguinte:

dep = glue.create_dev_endpoint(
             EndpointName="testDevEndpoint",
             RoleArn="arn:aws:iam::123456789012",
             SecurityGroupIds="sg-7f5ad1ff",
             SubnetId="subnet-c12fdba4",
             PublicKey="ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQCtp04H/y...",
             NumberOfNodes=3,
             ExtraPythonLibsS3Path="s3://bucket/prefix/lib_A.zip,s3://bucket_B/prefix/lib_X.zip")

Ao atualizar um endpoint de desenvolvimento, você também pode atualizar as bibliotecas que ele carrega usando um objeto DevEndpointCustomLibraries e definindo o parâmetro UpdateEtlLibraries como True ao chamar UpdateDevEndpoint (update_dev_endpoint).

Usar bibliotecas Python em trabalho ou JobRun

Ao criar um novo trabalho no console, você pode especificar um ou mais arquivos .zip de biblioteca escolhendo a opção Script Libraries and job parameters (optional) (Bibliotecas de script e parâmetros de trabalho [opcional]) e inserindo os caminhos completos das bibliotecas do Amazon S3, da mesma maneira como você faria ao criar um endpoint de desenvolvimento:

s3://bucket/prefix/lib_A.zip,s3://bucket_B/prefix/lib_X.zip

Se você estiver chamando CreateJob (create_job), poderá especificar um ou mais caminhos completos para bibliotecas padrão usando o parâmetro padrão --extra-py-files, da seguinte maneira:

job = glue.create_job(Name='sampleJob',
                      Role='Glue_DefaultRole',
                      Command={'Name': 'glueetl',
                               'ScriptLocation': 's3://my_script_bucket/scripts/my_etl_script.py'},
                      DefaultArguments={'--extra-py-files': 's3://bucket/prefix/lib_A.zip,s3://bucket_B/prefix/lib_X.zip'})

Assim, quando estiver iniciando um JobRun, você poderá substituir a configuração da biblioteca padrão por uma diferente:

runId = glue.start_job_run(JobName='sampleJob',
                           Arguments={'--extra-py-files': 's3://bucket/prefix/lib_B.zip'})

Analisar proativamente dependências do Python

Para identificar proativamente possíveis problemas de dependência antes de implantar no AWS Glue, é possível usar a ferramenta de análise de dependências para validar seus pacotes Python em relação ao ambiente AWS Glue de destino.

A AWS oferece uma ferramenta de análise de dependências Python de código aberto projetada especificamente para ambientes AWS Glue. Essa ferramenta está disponível no repositório de amostras do AWS Glue e pode ser usada localmente para validar suas dependências antes da implantação.

Essa análise ajuda a garantir que suas dependências sigam a prática recomendada de fixar todas as versões da biblioteca para implantações de produção consistentes. Para obter mais detalhes, consulte o arquivo README da ferramenta.

# Analyze a single Glue job
python glue_dependency_analyzer.py -j my-glue-job

# Analyze multiple jobs with specific AWS configuration
python glue_dependency_analyzer.py -j job1 -j job2 --aws-profile production --aws-region us-west-2

I have an AWS Glue job named <Job-Name> that has failed due to Python module installation conflicts. Please assist in diagnosing and resolving this issue using the following systematic approach. Proceed once sufficient information is available.

Objective: Implement a fix that addresses the root cause module while minimizing disruption to the existing working environment.

Step 1: Root Cause Analysis
• Retrieve the most recent failed job run ID for the specified Glue job
• Extract error logs from CloudWatch Logs using the job run ID as a log stream prefix
• Analyze the logs to identify:
  • The recently added or modified Python module that triggered the dependency conflict
  • The specific dependency chain causing the installation failure
  • Version compatibility conflicts between required and existing modules

Step 2: Baseline Configuration Identification
• Locate the last successful job run ID prior to the dependency failure
• Document the Python module versions that were functioning correctly in that baseline run
• Establish the compatible version constraints for conflicting dependencies

Step 3: Targeted Resolution Implementation
• Apply pinning by updating the job's additional_python_modules parameter
• Pin only the root cause module and its directly conflicting dependencies to compatible versions, and do not remove python modules unless necessary
• Preserve flexibility for non-conflicting modules by avoiding unnecessary version constraints
• Deploy the configuration changes with minimal changes to the existing configuration and execute a validation test run. Do not change the Glue versions.

Implementation Example:
Scenario: Recently added pandas==2.0.0 to additional_python_modules
Error: numpy version conflict (pandas 2.0.0 requires numpy>=1.21, but existing job code requires numpy<1.20)
Resolution: Update additional_python_modules to "pandas==1.5.3,numpy==1.19.5"
Rationale: Use pandas 1.5.3 (compatible with numpy 1.19.5) and pin numpy to last known working version

Expected Outcome: Restore job functionality with minimal configuration changes while maintaining system stability.

Módulos do Python já fornecidos no AWS Glue

Para alterar a versão desses módulos fornecidos, forneça novas versões com o parâmetro de trabalho --additional-python-modules.

Apêndice A: Como criar um artefato de zip de wheels

Demonstramos, por exemplo, como criar um artefato de zip de wheels. O exemplo mostrado baixa os pacotes cryptography e scipy em um artefato com zip de wheels e copia o zip de wheels em um local do Amazon S3.

Apêndice B: Detalhes do ambiente AWS Glue

No modelo de responsabilidade compartilhada da AWS, você é responsável pelo gerenciamento de módulos, bibliotecas e dependências adicionais do Python que utiliza em tarefas de ETL do AWS Glue. Isso inclui a aplicação de atualizações e patches de segurança.

O AWS Glue não oferece suporte à compilação de código nativo no ambiente de trabalho. No entanto, os trabalhos do AWS Glue são executados em um ambiente Linux gerenciado pela Amazon. Talvez você possa fornecer suas dependências nativas em formato compilado por meio de um arquivo wheel Python. Consulte a tabela acima para obter detalhes sobre a compatibilidade de versões do AWS Glue.