Processore del framework MXNet

Apache MXNet è un framework di deep learning open source comunemente usato per l'addestramento e l'implementazione di reti neurali. L'MXNetProcessorSDK Amazon SageMaker Python offre la possibilità di eseguire processi di elaborazione con script MXNet. Quando si utilizzaMXNetProcessor, è possibile sfruttare un contenitore Amazon-built Docker con un ambiente MXNet gestito in modo da non dover portare il proprio contenitore.

Il seguente esempio di codice mostra come è possibile utilizzare il MXNetProcessor per eseguire il processo di elaborazione utilizzando un'immagine Docker fornita e gestita da AI. SageMaker Nota che quando esegui il job, puoi specificare una directory contenente gli script e le dipendenze nell'source_dirargomento e puoi avere un requirements.txt file all'interno della tua source_dir directory che specifica le dipendenze per i tuoi script di elaborazione. SageMaker L'elaborazione installa automaticamente le dipendenze presenti nel requirements.txt contenitore.

from sagemaker.mxnet import MXNetProcessor
from sagemaker.processing import ProcessingInput, ProcessingOutput
from sagemaker import get_execution_role

#Initialize the MXNetProcessor
mxp = MXNetProcessor(
    framework_version='1.8.0',
    py_version='py37',
    role=get_execution_role(), 
    instance_count=1,
    instance_type='ml.c5.xlarge',
    base_job_name='frameworkprocessor-mxnet'
)

#Run the processing job
mxp.run(
    code='processing-script.py',
    source_dir='scripts',
    inputs=[
        ProcessingInput(
            input_name='data',
            source=f's3://{BUCKET}/{S3_INPUT_PATH}',
            destination='/opt/ml/processing/input/data/'
        )
    ],
    outputs=[
        ProcessingOutput(
            output_name='processed_data',
            source='/opt/ml/processing/output/',
            destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'
        )
    ]
)

Se hai un file requirements.txt, dovrebbe essere un elenco di librerie che desideri installare nel container. Il percorso per source_dir può essere un percorso URI relativo, assoluto o Amazon S3. Tuttavia, se utilizzi un URI Amazon S3, deve puntare a un file tar.gz. Puoi avere più script nella directory specificata per source_dir. Per ulteriori informazioni sulla MXNetProcessor classe, consulta MXNet Estimator nell'SDK Amazon Python SageMaker .