Exécutez TensorFlow des tâches de formation avec SageMaker Training Compiler

Vous pouvez utiliser n'importe quelle interface d' SageMaker IA pour exécuter une tâche de formation avec SageMaker Training Compiler : Amazon SageMaker Studio Classic, Amazon SageMaker Notebook instances AWS SDK pour Python (Boto3), et AWS Command Line Interface.

Utilisation du SDK SageMaker Python

Pour activer SageMaker Training Compiler, ajoutez le compiler_config paramètre à l'estimateur SageMaker AI TensorFlow ou Hugging Face. Importez la classe TrainingCompilerConfig et transmettez-en une instance au paramètre compiler_config. Les exemples de code suivants montrent la structure des classes d'estimateur SageMaker AI lorsque SageMaker Training Compiler est activé.

Pour obtenir des informations adaptées à votre cas d’utilisation, consultez l’une des options suivantes.

La liste suivante représente l'ensemble minimal de paramètres requis pour exécuter une tâche de SageMaker formation avec le compilateur.

disable_profiler=True,
debugger_hook_config=False

Si la tâche d’entraînement avec le compilateur est lancée avec succès, vous recevez les journaux suivants lors de la phase d’initialisation de la tâche :

Utilisation du SDK SageMaker AI Python et extension des conteneurs d'apprentissage profond SageMaker AI Framework

AWS Des versions adaptées de Deep Learning Containers (DLC) à TensorFlow utiliser incluent des modifications en plus du framework open source TensorFlow . TensorFlow Les conteneurs d'apprentissage profond SageMaker AI Framework sont optimisés pour l' AWS infrastructure sous-jacente et Amazon SageMaker AI. Avec l'avantage d'utiliser les DLC, l'intégration de SageMaker Training Compiler améliore encore les performances par rapport à la version native TensorFlow. En outre, vous pouvez créer un conteneur d’entraînement personnalisé en étendant l’image DLC.

Pour étendre et personnaliser les TensorFlow DLC SageMaker AI en fonction de votre cas d'utilisation, suivez les instructions suivantes.

Création d’un fichier Dockerfile

Utilisez le modèle Dockerfile suivant pour étendre le DLC SageMaker AI TensorFlow . Vous devez utiliser l'image du TensorFlow DLC SageMaker AI comme image de base de votre conteneur Docker. Pour trouver les URI des images du TensorFlow DLC SageMaker AI, consultez Frameworks pris en charge.

# SageMaker AI TensorFlow Deep Learning Container image
FROM 763104351884.dkr.ecr.<aws-region>.amazonaws.com/tensorflow-training:<image-tag>

ENV PATH="/opt/ml/code:${PATH}"

# This environment variable is used by the SageMaker AI container 
# to determine user code directory.
ENV SAGEMAKER_SUBMIT_DIRECTORY /opt/ml/code

# Add more code lines to customize for your use-case
...

Pour plus d’informations, consultez Étape 2 : créer et télécharger le fichier Dockerfile et les scripts d’entraînement Python.

Tenez compte des pièges suivants lors de l'extension des DLC SageMaker AI Framework :

Par exemple, il existe un problème connu selon lequel les tensorflow/text bibliothèques tensorflow/models et tentent toujours de réinstaller l'open source TensorFlow. Si vous devez installer ces bibliothèques pour choisir une version spécifique adaptée à votre cas d'utilisation, nous vous recommandons de consulter les Dockerfiles du TensorFlow DLC SageMaker AI pour la version 2.9 ou ultérieure. Les chemins d’accès aux fichiers Dockerfile sont généralement au format suivant : tensorflow/training/docker/<tensorflow-version>/py3/<cuda-version>/Dockerfile.gpu. Dans les Dockerfiles, vous devriez trouver les lignes de code pour réinstaller le TensorFlow binaire AWS géré (spécifié dans la variable d'TF_URLenvironnement) et les autres dépendances dans l'ordre. La section de réinstallation doit ressembler à l’exemple suivant :

# tf-models does not respect existing installations of TensorFlow 
# and always installs open source TensorFlow

RUN pip3 install --no-cache-dir -U \
    tf-models-official==x.y.z

RUN pip3 uninstall -y tensorflow tensorflow-gpu \
  ; pip3 install --no-cache-dir -U \
    ${TF_URL} \
    tensorflow-io==x.y.z \
    tensorflow-datasets==x.y.z

Génération et envoi (push) vers ECR

Pour générer et envoyer (push) votre conteneur Docker vers Amazon ECR, suivez les instructions des liens suivants :

Exécuter à l'aide de l' SageMaker estimateur du SDK Python

Utilisez l'estimateur SageMaker AI TensorFlow Framework comme d'habitude. Vous devez spécifier image_uri pour utiliser le nouveau conteneur que vous avez hébergé dans Amazon ECR.

import sagemaker, boto3
from sagemaker import get_execution_role
from sagemaker.tensorflow import TensorFlow, TrainingCompilerConfig

account_id = boto3.client('sts').get_caller_identity().get('Account')
ecr_repository = 'tf-custom-container-test'
tag = ':latest'

region = boto3.session.Session().region_name

uri_suffix = 'amazonaws.com'

byoc_image_uri = '{}.dkr.ecr.{}.{}/{}'.format(
    account_id, region, uri_suffix, ecr_repository + tag
)

byoc_image_uri
# This should return something like
# 111122223333.dkr.ecr.us-east-2.amazonaws.com/tf-custom-container-test:latest

estimator = TensorFlow(
    image_uri=image_uri,
    role=get_execution_role(),
    base_job_name='tf-custom-container-test-job',
    instance_count=1,
    instance_type='ml.p3.8xlarge'
    compiler_config=TrainingCompilerConfig(),
    disable_profiler=True,
    debugger_hook_config=False
)

# Start training
estimator.fit()

Activer le compilateur de SageMaker formation à l'aide de l'opération CreateTrainingJob d'API SageMaker AI

SageMaker Les options de configuration du compilateur de formation doivent être spécifiées via le HyperParameters champ AlgorithmSpecification et de la syntaxe de demande pour l'opération de l'CreateTrainingJobAPI.

"AlgorithmSpecification": {
    "TrainingImage": "<sagemaker-training-compiler-enabled-dlc-image>"
},

"HyperParameters": {
    "sagemaker_training_compiler_enabled": "true",
    "sagemaker_training_compiler_debug_mode": "false"
}

Pour obtenir la liste complète des URI d'images de conteneurs de deep learning qui ont été implémentés par SageMaker Training Compiler, consultezCadres pris en charge.