MXNet Framework-Prozessor

Apache MXNet ist ein Open-Source-Deep-Learning-Framework, das häufig für das Training und den Einsatz neuronaler Netzwerke verwendet wird. Das MXNetProcessor im Amazon SageMaker Python SDK bietet Ihnen die Möglichkeit, Verarbeitungsjobs mit MXNet-Skripten auszuführen. Wenn Sie den verwendenMXNetProcessor, können Sie einen Amazon-built Docker-Container mit einer verwalteten MXNet-Umgebung nutzen, sodass Sie keinen eigenen Container mitbringen müssen.

Das folgende Codebeispiel zeigt, wie Sie Ihren Processing-Job mithilfe eines von AI bereitgestellten und verwalteten Docker-Images ausführen können. SageMaker Beachten Sie, dass Sie bei der Ausführung des Jobs ein Verzeichnis angeben können, das Ihre Skripts und Abhängigkeiten im source_dir Argument enthält. Außerdem können Sie in Ihrem source_dir Verzeichnis eine requirements.txt Datei speichern, die die Abhängigkeiten für Ihre Verarbeitungsskripte angibt. SageMaker Processing installiert die Abhängigkeiten requirements.txt im Container für Sie.

from sagemaker.core.resources import ProcessingJob
from sagemaker.core.helper.session_helper import get_execution_role

# Create a processing job with an MXNet container
processing_job = ProcessingJob.create(
    processing_job_name='frameworkprocessor-mxnet',
    role_arn=get_execution_role(),
    app_specification={
        "image_uri": "mxnet-processing-image-uri",
        "container_entrypoint": ["python3", "/opt/ml/processing/input/code/processing-script.py"]
    },
    processing_resources={
        "cluster_config": {"instance_count": 1, "instance_type": "ml.c5.xlarge", "volume_size_in_gb": 30}
    },
    processing_inputs=[
        {"input_name": "data", "s3_input": {"s3_uri": f"s3://{{BUCKET}}/{{S3_INPUT_PATH}}", "local_path": "/opt/ml/processing/input/data/", "s3_data_type": "S3Prefix", "s3_input_mode": "File"}},
        {"input_name": "code", "s3_input": {"s3_uri": "s3://path/to/scripts/", "local_path": "/opt/ml/processing/input/code", "s3_data_type": "S3Prefix", "s3_input_mode": "File"}}
    ],
    processing_output_config={
        "outputs": [
            {"output_name": "processed_data", "s3_output": {"s3_uri": f"s3://{{BUCKET}}/{{S3_OUTPUT_PATH}}", "local_path": "/opt/ml/processing/output/", "s3_upload_mode": "EndOfJob"}}
        ]
    }
)

Wenn Sie eine requirements.txt Datei haben, sollte es sich um eine Liste von Bibliotheken handeln, die Sie im Container installieren möchten. Der Pfad für source_dir kann ein relativer, absoluter oder Amazon-S3-URI-Pfad sein. Wenn Sie jedoch einen Amazon-S3-URI verwenden, muss dieser auf eine Datei tar.gz verweisen. Sie können mehrere Skripte in dem Verzeichnis haben, das Sie für source_dir angeben. Weitere Informationen zur MXNetProcessor Klasse finden Sie unter MXNet Estimator im Amazon SageMaker Python SDK.