Processador do framework do PyTorch

O PyTorch é um framework de machine learning de código aberto. O PyTorchProcessor no Amazon SageMaker Python SDK oferece a capacidade de executar trabalhos de processamento com scripts do PyTorch. Ao usar o PyTorchProcessor, você pode aproveitar um contêiner do Docker integrado na Amazon com um ambiente gerenciado pelo PyTorch para não precisar trazer seu próprio contêiner.

O exemplo de código a seguir mostra como você pode usar o PyTorchProcessor para executar seu trabalho de processamento usando uma imagem do Docker fornecida e mantida pelo SageMaker AI. Observe que, ao executar o trabalho, você pode especificar um diretório contendo seus scripts e dependências no argumento source_dir e pode ter um arquivo requirements.txt localizado dentro do seu diretório source_dir que especifica as dependências dos seu(s) script(s) de processamento. O processamento do SageMaker instala as dependências em requirements.txt no contêiner para você.

Para ver as versões do PyTorch compatíveis com o SageMaker AI, consulte as imagens disponíveis no contêiner de deep learning.

from sagemaker.pytorch.processing import PyTorchProcessor
from sagemaker.processing import ProcessingInput, ProcessingOutput
from sagemaker import get_execution_role

#Initialize the PyTorchProcessor
pytorch_processor = PyTorchProcessor(
    framework_version='1.8',
    role=get_execution_role(),
    instance_type='ml.m5.xlarge',
    instance_count=1,
    base_job_name='frameworkprocessor-PT'
)

#Run the processing job
pytorch_processor.run(
    code='processing-script.py',
    source_dir='scripts',
    inputs=[
        ProcessingInput(
            input_name='data',
            source=f's3://{BUCKET}/{S3_INPUT_PATH}',
            destination='/opt/ml/processing/input'
        )
    ],
    outputs=[
        ProcessingOutput(output_name='data_structured', source='/opt/ml/processing/tmp/data_structured', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'),
        ProcessingOutput(output_name='train', source='/opt/ml/processing/output/train', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'),
        ProcessingOutput(output_name='validation', source='/opt/ml/processing/output/val', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'),
        ProcessingOutput(output_name='test', source='/opt/ml/processing/output/test', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'),
        ProcessingOutput(output_name='logs', source='/opt/ml/processing/logs', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}')
    ]
)

Se você tiver um arquivo requirements.txt, ele deverá ser uma lista das bibliotecas que você deseja instalar no contêiner. O caminho para source_dir pode ser um caminho de URI relativo, absoluto ou do Amazon S3. No entanto, se você usar um URI do Amazon S3, ele deverá apontar para um arquivo tar.gz. Você pode ter vários scripts no diretório que você especificar para source_dir. Para saber mais sobre a classe de PyTorchProcessor, consulte estimador do PyTorch no Amazon SageMaker Python SDK.