PyTorch Prosesor Kerangka Kerja

PyTorch adalah kerangka kerja pembelajaran mesin open-source. PyTorchProcessorDi Amazon SageMaker Python SDK memberi Anda kemampuan untuk menjalankan pekerjaan pemrosesan dengan PyTorch skrip. Saat Anda menggunakanPyTorchProcessor, Anda dapat memanfaatkan wadah Amazon-built Docker dengan PyTorch lingkungan terkelola sehingga Anda tidak perlu membawa wadah Anda sendiri.

Contoh kode berikut menunjukkan bagaimana Anda dapat menjalankan pekerjaan Pemrosesan menggunakan gambar Docker yang disediakan dan dikelola oleh SageMaker AI. Perhatikan bahwa ketika Anda menjalankan pekerjaan, Anda dapat menentukan direktori yang berisi skrip dan dependensi Anda dalam source_dir argumen, dan Anda dapat memiliki requirements.txt file yang terletak di dalam source_dir direktori Anda yang menentukan dependensi untuk skrip pemrosesan Anda. SageMaker Pemrosesan menginstal dependensi di requirements.txt dalam wadah untuk Anda.

Untuk PyTorch versi yang didukung oleh SageMaker AI, lihat gambar Deep Learning Container yang tersedia.

from sagemaker.core.resources import ProcessingJob
from sagemaker.core.helper.session_helper import get_execution_role

# Create a processing job with a PyTorch container
processing_job = ProcessingJob.create(
    processing_job_name='frameworkprocessor-PT',
    role_arn=get_execution_role(),
    app_specification={
        "image_uri": "pytorch-processing-image-uri",
        "container_entrypoint": ["python3", "/opt/ml/processing/input/code/processing-script.py"]
    },
    processing_resources={
        "cluster_config": {"instance_count": 1, "instance_type": "ml.m5.xlarge", "volume_size_in_gb": 30}
    },
    processing_inputs=[
        {"input_name": "data", "s3_input": {"s3_uri": f"s3://{{BUCKET}}/{{S3_INPUT_PATH}}", "local_path": "/opt/ml/processing/input", "s3_data_type": "S3Prefix", "s3_input_mode": "File"}},
        {"input_name": "code", "s3_input": {"s3_uri": "s3://path/to/scripts/", "local_path": "/opt/ml/processing/input/code", "s3_data_type": "S3Prefix", "s3_input_mode": "File"}}
    ],
    processing_output_config={
        "outputs": [
            {"output_name": "data_structured", "s3_output": {"s3_uri": f"s3://{{BUCKET}}/{{S3_OUTPUT_PATH}}", "local_path": "/opt/ml/processing/tmp/data_structured", "s3_upload_mode": "EndOfJob"}},
            {"output_name": "train", "s3_output": {"s3_uri": f"s3://{{BUCKET}}/{{S3_OUTPUT_PATH}}", "local_path": "/opt/ml/processing/output/train", "s3_upload_mode": "EndOfJob"}},
            {"output_name": "validation", "s3_output": {"s3_uri": f"s3://{{BUCKET}}/{{S3_OUTPUT_PATH}}", "local_path": "/opt/ml/processing/output/val", "s3_upload_mode": "EndOfJob"}},
            {"output_name": "test", "s3_output": {"s3_uri": f"s3://{{BUCKET}}/{{S3_OUTPUT_PATH}}", "local_path": "/opt/ml/processing/output/test", "s3_upload_mode": "EndOfJob"}},
            {"output_name": "logs", "s3_output": {"s3_uri": f"s3://{{BUCKET}}/{{S3_OUTPUT_PATH}}", "local_path": "/opt/ml/processing/logs", "s3_upload_mode": "EndOfJob"}}
        ]
    }
)

Jika Anda memiliki requirements.txt file, itu harus berupa daftar pustaka yang ingin Anda instal di wadah. Jalur untuk source_dir dapat berupa jalur URI relatif, absolut, atau Amazon S3. Namun, jika Anda menggunakan URI Amazon S3, maka itu harus menunjuk ke file tar.gz. Anda dapat memiliki beberapa skrip di direktori yang Anda tentukansource_dir. Untuk mempelajari lebih lanjut tentang PyTorchProcessor kelas, lihat PyTorch Estimator di Amazon SageMaker Python SDK.