Processeur d’infrastructure PyTorch

PyTorch est une infrastructure open source de machine learning. Le PyTorchProcessor du kit Amazon SageMaker Python SDK vous permet d’exécuter des tâches de traitement avec des scripts PyTorch. Lorsque vous utilisez le PyTorchProcessor, vous pouvez exploiter un conteneur Docker créé par Amazon avec un environnement PyTorch géré afin que de ne pas devoir apporter votre propre conteneur.

L’exemple de code suivant illustre comment utiliser le PyTorchProcessor pour exécuter votre tâche de traitement à l’aide d’une image Docker fournie et gérée par SageMaker AI. Notez que lorsque vous exécutez la tâche, vous pouvez spécifier un répertoire contenant vos scripts et dépendances dans l’argument source_dir, et il se peut que vous ayez un fichier requirements.txt situé à l’intérieur de votre répertoire source_dir qui spécifie les dépendances de votre ou vos scripts de traitement. SageMaker Processing installe les dépendances dans requirements.txt au sein du conteneur, pour vous.

Pour connaître les versions de PyTorch prises en charge par SageMaker AI, consultez les images Deep Learning Containers disponibles.

from sagemaker.pytorch.processing import PyTorchProcessor
from sagemaker.processing import ProcessingInput, ProcessingOutput
from sagemaker import get_execution_role

#Initialize the PyTorchProcessor
pytorch_processor = PyTorchProcessor(
    framework_version='1.8',
    role=get_execution_role(),
    instance_type='ml.m5.xlarge',
    instance_count=1,
    base_job_name='frameworkprocessor-PT'
)

#Run the processing job
pytorch_processor.run(
    code='processing-script.py',
    source_dir='scripts',
    inputs=[
        ProcessingInput(
            input_name='data',
            source=f's3://{BUCKET}/{S3_INPUT_PATH}',
            destination='/opt/ml/processing/input'
        )
    ],
    outputs=[
        ProcessingOutput(output_name='data_structured', source='/opt/ml/processing/tmp/data_structured', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'),
        ProcessingOutput(output_name='train', source='/opt/ml/processing/output/train', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'),
        ProcessingOutput(output_name='validation', source='/opt/ml/processing/output/val', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'),
        ProcessingOutput(output_name='test', source='/opt/ml/processing/output/test', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'),
        ProcessingOutput(output_name='logs', source='/opt/ml/processing/logs', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}')
    ]
)

Si vous avez un fichier requirements.txt, il doit s’agir d’une liste de bibliothèques que vous souhaitez installer dans le conteneur. Le chemin d’accès pour source_dir peut être un chemin d’accès relatif, absolu ou par URI Amazon S3. Toutefois, si vous utilisez un chemin d’accès par URI Amazon S3, celui-ci doit pointer vers un fichier tar.gz. Vous pouvez disposer de plusieurs scripts dans le répertoire que vous spécifiez pour source_dir. Pour plus d’informations sur la classe PyTorchProcessor, consultez Estimateur PyTorch dans le kit Amazon SageMaker Python SDK.