Procesador PyTorch Framework

PyTorch es un marco de machine learning de código abierto. El PyTorchProcessor de Amazon SageMaker Python SDK le permite ejecutar trabajos de procesamiento con scripts de PyTorch. Al utilizar el PyTorchProcessor, puede aprovechar un contenedor de Docker creado por Amazon con un entorno PyTorch gestionado para no tener que traer su propio contenedor.

En el siguiente ejemplo de código se muestra cómo se puede utilizar PyTorchProcessor para ejecutar el trabajo de procesamiento mediante una imagen de Docker proporcionada y mantenida por SageMaker AI. Tenga en cuenta que, al ejecutar el trabajo, puede especificar un directorio que contenga los scripts y las dependencias en el argumento source_dir, y puede tener un archivo requirements.txt ubicado dentro del directorio source_dir que especifique las dependencias de los scripts de procesamiento. Sagemaker Processing instala automáticamente las dependencias en requirements.txt en el contenedor.

Para ver las versiones de PyTorch compatibles con SageMaker AI, consulte las imágenes disponibles del contenedor de aprendizaje profundo.

from sagemaker.pytorch.processing import PyTorchProcessor
from sagemaker.processing import ProcessingInput, ProcessingOutput
from sagemaker import get_execution_role

#Initialize the PyTorchProcessor
pytorch_processor = PyTorchProcessor(
    framework_version='1.8',
    role=get_execution_role(),
    instance_type='ml.m5.xlarge',
    instance_count=1,
    base_job_name='frameworkprocessor-PT'
)

#Run the processing job
pytorch_processor.run(
    code='processing-script.py',
    source_dir='scripts',
    inputs=[
        ProcessingInput(
            input_name='data',
            source=f's3://{BUCKET}/{S3_INPUT_PATH}',
            destination='/opt/ml/processing/input'
        )
    ],
    outputs=[
        ProcessingOutput(output_name='data_structured', source='/opt/ml/processing/tmp/data_structured', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'),
        ProcessingOutput(output_name='train', source='/opt/ml/processing/output/train', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'),
        ProcessingOutput(output_name='validation', source='/opt/ml/processing/output/val', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'),
        ProcessingOutput(output_name='test', source='/opt/ml/processing/output/test', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'),
        ProcessingOutput(output_name='logs', source='/opt/ml/processing/logs', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}')
    ]
)

Si tiene un archivo requirements.txt, debería ser una lista de bibliotecas que desee instalar en el contenedor. La ruta para source_dir puede ser una ruta de URI relativa, absoluta o de Amazon S3. Sin embargo, si utiliza un URI de Amazon S3, debe apuntar a un archivo tar.gz. Puede tener varios scripts en el directorio que especifique para source_dir. Para obtener más información sobre la clase PyTorchProcessor, consulte PyTorch Estimator en el Amazon SageMaker Python SDK.