PyTorch Framework-Prozessor

PyTorch ist ein Open-Source-Framework für Machine Learning. Das PyTorchProcessor im Amazon SageMaker Python SDK bietet Ihnen die Möglichkeit, Verarbeitungsaufträge mit PyTorch-Skripts auszuführen. Wenn Sie den PyTorchProcessor verwenden, können Sie einen von Amazon erstellten Docker-Container mit einer verwalteten PyTorch-Umgebung nutzen, sodass Sie keinen eigenen Container mitbringen müssen.

Das folgende Codebeispiel zeigt, wie Sie PyTorchProcessor verwenden können, um Ihren Processing-Job unter Verwendung eines von SageMaker AI bereitgestellten und gepflegten Docker-Images auszuführen. Beachten Sie, dass Sie bei der Ausführung des Jobs ein Verzeichnis mit Ihren Skripten und Abhängigkeiten im source_dir-Argument angeben können und dass Sie eine requirements.txt Datei in Ihrem source_dir-Verzeichnis haben können, die die Abhängigkeiten für Ihr(e) Verarbeitungsskript(e) spezifiziert. SageMaker Processing installiert die Abhängigkeiten für Sie im requirements.txt im Container.

Die von SageMaker AI unterstützten PyTorch-Versionen finden Sie in den verfügbaren Images von Deep-Learning-Containern.

from sagemaker.pytorch.processing import PyTorchProcessor
from sagemaker.processing import ProcessingInput, ProcessingOutput
from sagemaker import get_execution_role

#Initialize the PyTorchProcessor
pytorch_processor = PyTorchProcessor(
    framework_version='1.8',
    role=get_execution_role(),
    instance_type='ml.m5.xlarge',
    instance_count=1,
    base_job_name='frameworkprocessor-PT'
)

#Run the processing job
pytorch_processor.run(
    code='processing-script.py',
    source_dir='scripts',
    inputs=[
        ProcessingInput(
            input_name='data',
            source=f's3://{BUCKET}/{S3_INPUT_PATH}',
            destination='/opt/ml/processing/input'
        )
    ],
    outputs=[
        ProcessingOutput(output_name='data_structured', source='/opt/ml/processing/tmp/data_structured', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'),
        ProcessingOutput(output_name='train', source='/opt/ml/processing/output/train', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'),
        ProcessingOutput(output_name='validation', source='/opt/ml/processing/output/val', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'),
        ProcessingOutput(output_name='test', source='/opt/ml/processing/output/test', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'),
        ProcessingOutput(output_name='logs', source='/opt/ml/processing/logs', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}')
    ]
)

Wenn Sie eine requirements.txt Datei haben, sollte es sich um eine Liste von Bibliotheken handeln, die Sie im Container installieren möchten. Der Pfad für source_dir kann ein relativer, absoluter oder Amazon-S3-URI-Pfad sein. Wenn Sie jedoch einen Amazon-S3-URI verwenden, muss dieser auf eine Datei tar.gz verweisen. Sie können mehrere Skripte in dem Verzeichnis haben, das Sie für source_dir angeben. Weitere Informationen zu der PyTorchProcessor Klasse finden Sie unter PyTorch Estimator im Amazon SageMaker Python SDK.