MXNet Framework-Prozessor

Apache MXNet ist ein Open-Source-Deep-Learning-Framework, das häufig für das Training und den Einsatz neuronaler Netzwerke verwendet wird. MXNetProcessor im Amazon SageMaker Python SDK bietet Ihnen die Möglichkeit, Verarbeitungsaufträge mit MXNet-Scripts auszuführen. Wenn Sie den MXNetProcessor verwenden, können Sie einen von Amazon erstellten Docker-Container mit einer verwalteten MXNet-Umgebung nutzen, sodass Sie keinen eigenen Container mitbringen müssen.

Das folgende Codebeispiel zeigt, wie Sie MXNetProcessor verwenden können, um Ihren Processing-Job unter Verwendung eines von SageMaker AI bereitgestellten und gepflegten Docker-Images auszuführen. Beachten Sie, dass Sie bei der Ausführung des Jobs ein Verzeichnis mit Ihren Skripten und Abhängigkeiten im source_dir-Argument angeben können und dass Sie eine requirements.txt Datei in Ihrem source_dir-Verzeichnis haben können, die die Abhängigkeiten für Ihr(e) Verarbeitungsskript(e) spezifiziert. SageMaker Processing installiert die Abhängigkeiten für Sie im requirements.txt im Container.

from sagemaker.mxnet import MXNetProcessor
from sagemaker.processing import ProcessingInput, ProcessingOutput
from sagemaker import get_execution_role

#Initialize the MXNetProcessor
mxp = MXNetProcessor(
    framework_version='1.8.0',
    py_version='py37',
    role=get_execution_role(), 
    instance_count=1,
    instance_type='ml.c5.xlarge',
    base_job_name='frameworkprocessor-mxnet'
)

#Run the processing job
mxp.run(
    code='processing-script.py',
    source_dir='scripts',
    inputs=[
        ProcessingInput(
            input_name='data',
            source=f's3://{BUCKET}/{S3_INPUT_PATH}',
            destination='/opt/ml/processing/input/data/'
        )
    ],
    outputs=[
        ProcessingOutput(
            output_name='processed_data',
            source='/opt/ml/processing/output/',
            destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'
        )
    ]
)

Wenn Sie eine requirements.txt Datei haben, sollte es sich um eine Liste von Bibliotheken handeln, die Sie im Container installieren möchten. Der Pfad für source_dir kann ein relativer, absoluter oder Amazon-S3-URI-Pfad sein. Wenn Sie jedoch einen Amazon-S3-URI verwenden, muss dieser auf eine Datei tar.gz verweisen. Sie können mehrere Skripte in dem Verzeichnis haben, das Sie für source_dir angeben. Weitere Informationen zu dieser MXNetProcessor Klasse finden Sie unter MXNet Schätzer im Amazon SageMaker Python SDK.