Configurazione delle proprietà del processo per i processi shell di Python in AWS Glue

Puoi utilizzare un processo shell di Python per eseguire gli script di Python come una shell in AWS Glue. Con un processo shell di Python puoi eseguire script compatibili con Python 3.6 o Python 3.9.

Limitazioni

Tieni presente le seguenti limitazioni dei processi shell Python:

Definire le proprietà del processo per i processi shell di Python

In queste sezioni sono descritte le proprietà dei processi di definizione in AWS Glue Studio oppure tramite AWSCLI.

AWS Glue Studio

Quando definisci il processo della shell Python in AWS Glue Studio, fornisci alcune delle seguenti proprietà:

CLI

Puoi anche creare un processo Python shell (Shell Python) utilizzando la AWS CLI, come nell'esempio seguente.

 aws glue create-job --name python-job-cli --role Glue_DefaultRole 
     --command '{"Name" :  "pythonshell", "PythonVersion": "3.9", "ScriptLocation" : "s3://amzn-s3-demo-bucket/scriptname.py"}'  
     --max-capacity 0.0625

Processi creati con l'impostazione predefinita di AWS CLI in Python 3. Le versioni valide di Python sono 3 (corrispondenti a 3.6) e 3.9. Per specificare Python 3.6, aggiungi questa tupla al parametro --command: "PythonVersion":"3"

Per specificare Python 3.9, aggiungi questa tupla al parametro --command: "PythonVersion":"3.9"

Per impostare la capacità massima utilizzata da un processo shell di Python, fornire il parametro --max-capacity. Per i processi di shell di Python non è possibile utilizzare il parametro --allocated-capacity.

Librerie supportate dai processi shell di Python

Nella shell Python con Python 3.9 puoi scegliere il set di librerie per utilizzare set di librerie preconfezionati per le tue esigenze. Puoi utilizzare l'opzione library-set per scegliere il set di librerie. I valori validi sono analytics e none.

L'ambiente per l'esecuzione di un processo shell di Python supporta le seguenti librerie:

Puoi utilizzare la libreria NumPy in un processo shell di Python per il calcolo scientifico. Per ulteriori informazioni, consulta NumPy. L'esempio seguente mostra uno script NumPy che può essere utilizzato in un processo shell di Python. Lo script visualizza "Hello world" e i risultati di numerosi calcoli matematici.

import numpy as np
print("Hello world")

a = np.array([20,30,40,50])
print(a)

b = np.arange( 4 )

print(b)

c = a-b

print(c)

d = b**2

print(d)        

Fornire la propria libreria Python

Utilizzo di PIP

La shell Python che utilizza Python 3.9 consente di fornire moduli Python aggiuntivi o versioni diverse a livello di processo. Puoi utilizzare l'opzione --additional-python-modules con un elenco di moduli Python separati da virgole per aggiungere un nuovo modulo o modificare la versione di un modulo esistente. Non è possibile fornire moduli Python personalizzati ospitati su Amazon S3 con questo parametro quando si utilizzano processi di shell Python.

Ad esempio, per aggiornare o aggiungere un nuovo modulo scikit-learn usa la seguente coppia di chiave-valore: "--additional-python-modules", "scikit-learn==0.21.3".

AWS Glue utilizza Python Package Installer (pip3) per installare i moduli aggiuntivi. Puoi passare opzioni pip3 aggiuntive all'interno del valore di --additional-python-modules. Ad esempio, "scikit-learn==0.21.3 -i https://pypi.python.org/simple/". Si applicano eventuali incompatibilità o limitazioni da pip3.

Utilizzo di un file Egg o Whl

È possibile che uno o più pacchetti di librerie Python siano disponibili come un file .whl o .egg. In questo caso, puoi specificarli nel tuo processo utilizzando AWS Command Line Interface (AWS CLI) sotto il flag "--extra-py-files", come mostrato nell'esempio seguente.

aws glue create-job --name python-redshift-test-cli --role role --command '{"Name" :  "pythonshell", "ScriptLocation" : "s3://MyBucket/python/library/redshift_test.py"}' 
     --connections Connections=connection-name --default-arguments '{"--extra-py-files" : ["s3://amzn-s3-demo-bucket/EGG-FILE", "s3://amzn-s3-demo-bucket/WHEEL-FILE"]}'

In caso di dubbi su come creare un file .egg o .whl da una libreria Python, utilizza la procedura seguente. Questo esempio si applica su sistemi macOS, Linux e Windows Subsystem for Linux (WSL).

Utilizza AWS CloudFormation con processi shell di Python in AWS Glue

Puoi utilizzare AWS CloudFormation con i processi shell di Python in AWS Glue. Di seguito è riportato un esempio:

AWSTemplateFormatVersion: 2010-09-09
Resources:
  Python39Job:
    Type: 'AWS::Glue::Job'
    Properties:
      Command:
        Name: pythonshell
        PythonVersion: '3.9'
        ScriptLocation: 's3://bucket/location'
      MaxRetries: 0
      Name: python-39-job
      Role: RoleName           
        

Il gruppo Amazon CloudWatch Logs per l'output dei processi shell di Python è /aws-glue/python-jobs/output. Per gli errori, consulta il gruppo di log /aws-glue/python-jobs/error.

Migrazione dalla shell 3.6 di Python alla 3.9

Per eseguire la migrazione dei processi shell di Python all'ultima versione di AWS Glue: