Esegui lavori TensorFlow di formazione con SageMaker Training Compiler

Puoi utilizzare qualsiasi interfaccia SageMaker AI per eseguire un lavoro di formazione con SageMaker Training Compiler: Amazon SageMaker Studio Classic, istanze Amazon SageMaker Notebook e. AWS SDK per Python (Boto3) AWS Command Line Interface

Usare l'SDK Python SageMaker

Per attivare SageMaker Training Compiler, aggiungi il compiler_config parametro allo stimatore SageMaker AI TensorFlow o Hugging Face. Importa la classe TrainingCompilerConfig e passa un'istanza al parametro compiler_config. I seguenti esempi di codice mostrano la struttura delle classi di stimatori SageMaker AI con SageMaker Training Compiler attivato.

Per informazioni adatte al tuo caso d'uso, consulta una delle seguenti opzioni.

L'elenco seguente è il set minimo di parametri necessari per eseguire un processo di SageMaker formazione con il compilatore.

disable_profiler=True,
debugger_hook_config=False

Se il processo di addestramento con il compilatore viene avviato correttamente, durante la fase di inizializzazione del processo vengono ricevuti i seguenti log:

Utilizzo di SageMaker AI Python SDK ed SageMaker Extending AI Framework Deep Learning Containers

AWS Le versioni adattate all' TensorFlow uso dei TensorFlow Deep Learning Containers (DLC) includono modifiche al framework open source. TensorFlow Gli SageMaker AI Framework Deep Learning Containers sono ottimizzati per l' AWS infrastruttura sottostante e Amazon SageMaker AI. Con il vantaggio dell'utilizzo dei DLC, l'integrazione del SageMaker Training Compiler aggiunge ulteriori miglioramenti delle prestazioni rispetto a quella nativa. TensorFlow Inoltre, puoi creare un container di addestramento personalizzato estendendo l'immagine DLC.

Per estendere e personalizzare i TensorFlow DLC SageMaker AI in base al tuo caso d'uso, utilizza le seguenti istruzioni.

Crea un Dockerfile.

Usa il seguente modello di Dockerfile per estendere il DLC AI. SageMaker TensorFlow È necessario utilizzare l'immagine SageMaker AI TensorFlow DLC come immagine base del contenitore Docker. Per trovare gli URI delle immagini SageMaker AI TensorFlow DLC, consulta Supported Frameworks. https://docs.aws.amazon.com/sagemaker/latest/dg/training-compiler-support.html#training-compiler-supported-frameworks

# SageMaker AI TensorFlow Deep Learning Container image
FROM 763104351884.dkr.ecr.<aws-region>.amazonaws.com/tensorflow-training:<image-tag>

ENV PATH="/opt/ml/code:${PATH}"

# This environment variable is used by the SageMaker AI container 
# to determine user code directory.
ENV SAGEMAKER_SUBMIT_DIRECTORY /opt/ml/code

# Add more code lines to customize for your use-case
...

Per ulteriori informazioni, consulta Fase 2: creare e caricare gli script di addestramento Dockerfile e Python.

Quando estendi i DLC di AI Framework, considera le seguenti insidie: SageMaker

Ad esempio, c'è un problema noto per cui le tensorflow/text librerie tensorflow/models e le librerie tentano sempre di reinstallare l'open source. TensorFlow Se devi installare queste librerie per scegliere una versione specifica per il tuo caso d'uso, ti consigliamo di esaminare il TensorFlow DLC SageMaker AI Dockerfiles per la versione 2.9 o successiva. I percorsi dei Dockerfile sono in genere nel seguente formato: tensorflow/training/docker/<tensorflow-version>/py3/<cuda-version>/Dockerfile.gpu. Nei Dockerfiles, dovresti trovare le righe di codice per reinstallare il TensorFlow binario AWS gestito (specificato nella variabile di TF_URL ambiente) e le altre dipendenze in ordine. La sezione di reinstallazione sarà simile all'esempio seguente:

# tf-models does not respect existing installations of TensorFlow 
# and always installs open source TensorFlow

RUN pip3 install --no-cache-dir -U \
    tf-models-official==x.y.z

RUN pip3 uninstall -y tensorflow tensorflow-gpu \
  ; pip3 install --no-cache-dir -U \
    ${TF_URL} \
    tensorflow-io==x.y.z \
    tensorflow-datasets==x.y.z

Crea e invia a ECR

Per creare e inviare il tuo container Docker ad Amazon ECR, segui le istruzioni nei seguenti link:

Esegui usando Python SDK Estimator SageMaker

Usa lo stimatore del TensorFlow framework SageMaker AI come al solito. Devi specificare image_uri per utilizzare il nuovo container ospitato in Amazon ECR.

import sagemaker, boto3
from sagemaker import get_execution_role
from sagemaker.tensorflow import TensorFlow, TrainingCompilerConfig

account_id = boto3.client('sts').get_caller_identity().get('Account')
ecr_repository = 'tf-custom-container-test'
tag = ':latest'

region = boto3.session.Session().region_name

uri_suffix = 'amazonaws.com'

byoc_image_uri = '{}.dkr.ecr.{}.{}/{}'.format(
    account_id, region, uri_suffix, ecr_repository + tag
)

byoc_image_uri
# This should return something like
# 111122223333.dkr.ecr.us-east-2.amazonaws.com/tf-custom-container-test:latest

estimator = TensorFlow(
    image_uri=image_uri,
    role=get_execution_role(),
    base_job_name='tf-custom-container-test-job',
    instance_count=1,
    instance_type='ml.p3.8xlarge'
    compiler_config=TrainingCompilerConfig(),
    disable_profiler=True,
    debugger_hook_config=False
)

# Start training
estimator.fit()

Abilita il SageMaker Training Compiler utilizzando l'operazione SageMaker AI API CreateTrainingJob

SageMaker Le opzioni di configurazione del Training Compiler devono essere specificate tramite il HyperParameters campo AlgorithmSpecification and nella sintassi della richiesta per il funzionamento dell'CreateTrainingJobAPI.

"AlgorithmSpecification": {
    "TrainingImage": "<sagemaker-training-compiler-enabled-dlc-image>"
},

"HyperParameters": {
    "sagemaker_training_compiler_enabled": "true",
    "sagemaker_training_compiler_debug_mode": "false"
}

Per trovare un elenco completo degli URI di immagini dei contenitori di deep learning in cui è implementato SageMaker Training Compiler, consulta. Framework supportati