PyTorch Processore Framework

PyTorch è un framework di apprendimento automatico open source. L'SDK PyTorchProcessor in Amazon SageMaker Python ti offre la possibilità di eseguire processi di elaborazione con script. PyTorch Quando usi ilPyTorchProcessor, puoi sfruttare un contenitore Amazon-built Docker con un PyTorch ambiente gestito in modo da non dover portare il tuo contenitore.

Il seguente esempio di codice mostra come eseguire il processo di elaborazione utilizzando un'immagine Docker fornita e gestita da AI. SageMaker Nota che quando esegui il lavoro, puoi specificare una directory contenente i tuoi script e le dipendenze nell'source_dirargomento e puoi avere un requirements.txt file all'interno della tua source_dir directory che specifica le dipendenze per i tuoi script di elaborazione. SageMaker L'elaborazione installa automaticamente le dipendenze nel requirements.txt contenitore.

Per le PyTorch versioni supportate dall' SageMaker IA, consulta le immagini disponibili del Deep Learning Container.

from sagemaker.core.resources import ProcessingJob
from sagemaker.core.helper.session_helper import get_execution_role

# Create a processing job with a PyTorch container
processing_job = ProcessingJob.create(
    processing_job_name='frameworkprocessor-PT',
    role_arn=get_execution_role(),
    app_specification={
        "image_uri": "pytorch-processing-image-uri",
        "container_entrypoint": ["python3", "/opt/ml/processing/input/code/processing-script.py"]
    },
    processing_resources={
        "cluster_config": {"instance_count": 1, "instance_type": "ml.m5.xlarge", "volume_size_in_gb": 30}
    },
    processing_inputs=[
        {"input_name": "data", "s3_input": {"s3_uri": f"s3://{{BUCKET}}/{{S3_INPUT_PATH}}", "local_path": "/opt/ml/processing/input", "s3_data_type": "S3Prefix", "s3_input_mode": "File"}},
        {"input_name": "code", "s3_input": {"s3_uri": "s3://path/to/scripts/", "local_path": "/opt/ml/processing/input/code", "s3_data_type": "S3Prefix", "s3_input_mode": "File"}}
    ],
    processing_output_config={
        "outputs": [
            {"output_name": "data_structured", "s3_output": {"s3_uri": f"s3://{{BUCKET}}/{{S3_OUTPUT_PATH}}", "local_path": "/opt/ml/processing/tmp/data_structured", "s3_upload_mode": "EndOfJob"}},
            {"output_name": "train", "s3_output": {"s3_uri": f"s3://{{BUCKET}}/{{S3_OUTPUT_PATH}}", "local_path": "/opt/ml/processing/output/train", "s3_upload_mode": "EndOfJob"}},
            {"output_name": "validation", "s3_output": {"s3_uri": f"s3://{{BUCKET}}/{{S3_OUTPUT_PATH}}", "local_path": "/opt/ml/processing/output/val", "s3_upload_mode": "EndOfJob"}},
            {"output_name": "test", "s3_output": {"s3_uri": f"s3://{{BUCKET}}/{{S3_OUTPUT_PATH}}", "local_path": "/opt/ml/processing/output/test", "s3_upload_mode": "EndOfJob"}},
            {"output_name": "logs", "s3_output": {"s3_uri": f"s3://{{BUCKET}}/{{S3_OUTPUT_PATH}}", "local_path": "/opt/ml/processing/logs", "s3_upload_mode": "EndOfJob"}}
        ]
    }
)

Se hai un file requirements.txt, dovrebbe essere un elenco di librerie che desideri installare nel container. Il percorso per source_dir può essere un percorso URI relativo, assoluto o Amazon S3. Tuttavia, se utilizzi un URI Amazon S3, deve puntare a un file tar.gz. Puoi avere più script nella directory specificata per source_dir. Per saperne di più sulla PyTorchProcessor classe, consulta PyTorch Estimator nell'SDK Amazon SageMaker Python.