Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Fase 2: Avvia un processo di formazione utilizzando SageMaker Python SDK

L'SDK SageMaker Python supporta l'addestramento gestito di modelli con framework ML come e. TensorFlow PyTorch Per avviare un processo di formazione utilizzando uno di questi framework, definisci uno stimatore, uno stimatore o uno SageMaker TensorFlow stimatore SageMaker generico per utilizzare lo SageMaker PyTorch script di addestramento modificato e la configurazione del parallelismo del modello.

PyTorch Utilizzo SageMaker TensorFlow di and Estimators

Le classi TensorFlow and PyTorch estimator contengono il distribution parametro, che è possibile utilizzare per specificare i parametri di configurazione per l'utilizzo di framework di formazione distribuiti. La libreria SageMaker Model Parallel utilizza internamente MPI per i dati ibridi e il parallelismo dei modelli, quindi è necessario utilizzare l'opzione MPI con la libreria.

Il seguente modello di PyTorch stimatore TensorFlow or mostra come configurare il distribution parametro per l'utilizzo della libreria parallela del modello con MPI. SageMaker

import sagemaker
from sagemaker.train import ModelTrainer
from sagemaker.train.configs import SourceCode, Compute
from sagemaker.train.distributed import Torchrun
from sagemaker.core.helper.session_helper import get_execution_role
from sagemaker.core import image_uris

training_image = image_uris.retrieve(
    framework="tensorflow", region=region, version='2.6.3',
    py_version='py38', instance_type='ml.p3.16xlarge',
    image_scope="training"
)

smd_mp_model_trainer = ModelTrainer(
    source_code=SourceCode(entry_script="your_training_script.py", source_dir="location_to_your_script"),
    role=get_execution_role(),
    compute=Compute(instance_count=1, instance_type='ml.p3.16xlarge'),
    training_image=training_image,
    distributed=Torchrun(),
    base_job_name="SMD-MP-demo",
)

smd_mp_model_trainer.train('s3://my_bucket/my_training_data/')

Per abilitare la libreria, è necessario passare i dizionari di configurazione alle "mpi" chiavi "smdistributed" e tramite l'distributionargomento dei costruttori dello stimatore. SageMaker

Per avviare il processo di formazione utilizzando lo stimatore e lo script di addestramento configurato in parallelo del SageMaker modello, eseguite la estimator.fit() funzione.

Usa le seguenti risorse per saperne di più sull'uso delle funzionalità di parallelismo dei modelli nell'SDK Python: SageMaker

Estendi un contenitore Pre-built Docker che contiene la libreria SageMaker parallela del modello distribuito

Per estendere un contenitore predefinito e utilizzare la libreria SageMaker di parallelismo dei modelli, è necessario utilizzare una delle immagini dei AWS Deep Learning Containers (DLC) disponibili per o. PyTorch TensorFlow La libreria di parallelismo dei SageMaker modelli è inclusa nelle immagini DLC TensorFlow (2.3.0 e successive) e (1.6.0 e successive) con CUDA PyTorch (). cuxyz Per un elenco completo delle immagini DLC, consulta Immagini disponibili dei Deep Learning Containers nel repository Deep Learning Containers. AWS GitHub

Ad esempio, il Dockerfile deve contenere un'istruzione FROM simile alla seguente:

# Use the SageMaker DLC image URI for TensorFlow or PyTorch
FROM aws-dlc-account-id.dkr.ecr.aws-region.amazonaws.com/framework-training:{framework-version-tag}

# Add your dependencies here
RUN ...

ENV PATH="/opt/ml/code:${PATH}"

# this environment variable is used by the SageMaker AI container to determine our user code directory.
ENV SAGEMAKER_SUBMIT_DIRECTORY /opt/ml/code

Inoltre, quando si definisce uno TensorFlow stimatore PyTorch or, è necessario specificarlo entry_point per lo script di addestramento. Questo deve essere lo stesso percorso identificato con ENV SAGEMAKER_SUBMIT_DIRECTORY nel Dockerfile.

Dopo aver completato l'hosting del contenitore Docker e aver recuperato l'URI dell'immagine del contenitore, crea un oggetto stimatore come segue. SageMaker PyTorch Questo esempio presuppone che tu abbia già definito smp_options e mpi_options.

smd_mp_estimator = Estimator(
    entry_point="your_training_script.py",
    role=sagemaker.get_execution_role(),
    instance_type='ml.p3.16xlarge',
    sagemaker_session=sagemaker_session,
    image_uri='your_aws_account_id.dkr.ecr.region.amazonaws.com/name:tag'
    instance_count=1,
    distribution={
        "smdistributed": smp_options,
        "mpi": mpi_options
    },
    base_job_name="SMD-MP-demo",
)

smd_mp_estimator.fit('s3://my_bucket/my_training_data/')

Crea il tuo container Docker con la Distributed Model Parallel Library SageMaker

Per creare il tuo contenitore Docker per l'addestramento e utilizzare la libreria parallela SageMaker modello, devi includere le dipendenze corrette e i file binari delle librerie parallele SageMaker distribuite nel tuo Dockerfile. Questa sezione fornisce il set minimo di blocchi di codice da includere per preparare correttamente un ambiente di SageMaker formazione e la libreria parallela del modello nel proprio contenitore Docker.