Processore framework PyTorch

PyTorch è un framework di machine learning open source. Il PyTorchProcessor in Amazon SageMaker Python SDK offre la possibilità di eseguire processi di elaborazione con script PyTorch. Quando utilizzi PyTorchProcessor, puoi sfruttare un container Docker creato da Amazon con un ambiente PyTorch gestito in modo da non dover portare il tuo container.

Il seguente esempio di codice mostra come è possibile utilizzare PyTorchProcessor per eseguire un processo Processing utilizzando un’immagine Docker fornita e gestita da SageMaker AI. Si noti che quando si esegue il processo, è possibile specificare una directory contenente gli script e le dipendenze nell'argomento source_dir e d è possibile avere un file requirements.txt all'interno della directory source_dir che specifica le dipendenze per gli script di elaborazione. Elaborazione SageMaker installa le dipendenze in requirements.txt nel container per te.

Per le versioni di PyTorch supportate da SageMaker AI, consulta le immagini dei Container per il Deep Learning disponibili.

from sagemaker.pytorch.processing import PyTorchProcessor
from sagemaker.processing import ProcessingInput, ProcessingOutput
from sagemaker import get_execution_role

#Initialize the PyTorchProcessor
pytorch_processor = PyTorchProcessor(
    framework_version='1.8',
    role=get_execution_role(),
    instance_type='ml.m5.xlarge',
    instance_count=1,
    base_job_name='frameworkprocessor-PT'
)

#Run the processing job
pytorch_processor.run(
    code='processing-script.py',
    source_dir='scripts',
    inputs=[
        ProcessingInput(
            input_name='data',
            source=f's3://{BUCKET}/{S3_INPUT_PATH}',
            destination='/opt/ml/processing/input'
        )
    ],
    outputs=[
        ProcessingOutput(output_name='data_structured', source='/opt/ml/processing/tmp/data_structured', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'),
        ProcessingOutput(output_name='train', source='/opt/ml/processing/output/train', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'),
        ProcessingOutput(output_name='validation', source='/opt/ml/processing/output/val', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'),
        ProcessingOutput(output_name='test', source='/opt/ml/processing/output/test', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'),
        ProcessingOutput(output_name='logs', source='/opt/ml/processing/logs', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}')
    ]
)

Se hai un file requirements.txt, dovrebbe essere un elenco di librerie che desideri installare nel container. Il percorso per source_dir può essere un percorso URI relativo, assoluto o Amazon S3. Tuttavia, se utilizzi un URI Amazon S3, deve puntare a un file tar.gz. Puoi avere più script nella directory specificata per source_dir. Per ulteriori informazioni sulla classe PyTorchProcessor, consulta PyTorch Estimator in Amazon SageMaker Python SDK.