Processore del framework MXNet

Apache MXNet è un framework di deep learning open source comunemente usato per l'addestramento e l'implementazione di reti neurali. Il MXNetProcessor in Amazon SageMaker Python SDK offre la possibilità di eseguire processi di elaborazione con script MXNet. Quando utilizzi MXNetProcessor, puoi sfruttare un container Docker creato da Amazon con un ambiente MXNet gestito in modo da non dover portare il tuo container.

Il seguente esempio di codice mostra come è possibile utilizzare MXNetProcessor per eseguire un processo Processing utilizzando un’immagine Docker fornita e gestita da SageMaker AI. Si noti che quando si esegue il processo, è possibile specificare una directory contenente gli script e le dipendenze nell'argomento source_dir e d è possibile avere un file requirements.txt all'interno della directory source_dir che specifica le dipendenze per gli script di elaborazione. Elaborazione SageMaker installa le dipendenze in requirements.txt nel container per te.

from sagemaker.mxnet import MXNetProcessor
from sagemaker.processing import ProcessingInput, ProcessingOutput
from sagemaker import get_execution_role

#Initialize the MXNetProcessor
mxp = MXNetProcessor(
    framework_version='1.8.0',
    py_version='py37',
    role=get_execution_role(), 
    instance_count=1,
    instance_type='ml.c5.xlarge',
    base_job_name='frameworkprocessor-mxnet'
)

#Run the processing job
mxp.run(
    code='processing-script.py',
    source_dir='scripts',
    inputs=[
        ProcessingInput(
            input_name='data',
            source=f's3://{BUCKET}/{S3_INPUT_PATH}',
            destination='/opt/ml/processing/input/data/'
        )
    ],
    outputs=[
        ProcessingOutput(
            output_name='processed_data',
            source='/opt/ml/processing/output/',
            destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'
        )
    ]
)

Se hai un file requirements.txt, dovrebbe essere un elenco di librerie che desideri installare nel container. Il percorso per source_dir può essere un percorso URI relativo, assoluto o Amazon S3. Tuttavia, se utilizzi un URI Amazon S3, deve puntare a un file tar.gz. Puoi avere più script nella directory specificata per source_dir. Per ulteriori informazioni sulla classe MXNetProcessor, consulta MXNet Estimator in Amazon SageMaker Python SDK.