Processore del framework MXNet

Apache MXNet è un framework di deep learning open source comunemente usato per l'addestramento e l'implementazione di reti neurali. L'SDK MXNetProcessor di Amazon SageMaker Python ti offre la possibilità di eseguire processi di elaborazione con script MXNet. Quando usi ilMXNetProcessor, puoi sfruttare un contenitore Amazon-built Docker con un ambiente MXNet gestito in modo da non dover portare il tuo contenitore.

Il seguente esempio di codice mostra come è possibile eseguire il processo di elaborazione utilizzando un'immagine Docker fornita e gestita dall'IA. SageMaker Nota che quando esegui il lavoro, puoi specificare una directory contenente i tuoi script e le dipendenze nell'source_dirargomento e puoi avere un requirements.txt file all'interno della tua source_dir directory che specifica le dipendenze per i tuoi script di elaborazione. SageMaker L'elaborazione installa automaticamente le dipendenze nel requirements.txt contenitore.

from sagemaker.core.resources import ProcessingJob
from sagemaker.core.helper.session_helper import get_execution_role

# Create a processing job with an MXNet container
processing_job = ProcessingJob.create(
    processing_job_name='frameworkprocessor-mxnet',
    role_arn=get_execution_role(),
    app_specification={
        "image_uri": "mxnet-processing-image-uri",
        "container_entrypoint": ["python3", "/opt/ml/processing/input/code/processing-script.py"]
    },
    processing_resources={
        "cluster_config": {"instance_count": 1, "instance_type": "ml.c5.xlarge", "volume_size_in_gb": 30}
    },
    processing_inputs=[
        {"input_name": "data", "s3_input": {"s3_uri": f"s3://{{BUCKET}}/{{S3_INPUT_PATH}}", "local_path": "/opt/ml/processing/input/data/", "s3_data_type": "S3Prefix", "s3_input_mode": "File"}},
        {"input_name": "code", "s3_input": {"s3_uri": "s3://path/to/scripts/", "local_path": "/opt/ml/processing/input/code", "s3_data_type": "S3Prefix", "s3_input_mode": "File"}}
    ],
    processing_output_config={
        "outputs": [
            {"output_name": "processed_data", "s3_output": {"s3_uri": f"s3://{{BUCKET}}/{{S3_OUTPUT_PATH}}", "local_path": "/opt/ml/processing/output/", "s3_upload_mode": "EndOfJob"}}
        ]
    }
)

Se hai un file requirements.txt, dovrebbe essere un elenco di librerie che desideri installare nel container. Il percorso per source_dir può essere un percorso URI relativo, assoluto o Amazon S3. Tuttavia, se utilizzi un URI Amazon S3, deve puntare a un file tar.gz. Puoi avere più script nella directory specificata per source_dir. Per ulteriori informazioni sulla MXNetProcessor classe, consulta MXNet Estimator nell'SDK Amazon Python. SageMaker