Préparer un travail de formation pour collecter les données TensorBoard de sortie

Un travail de formation typique pour l'apprentissage automatique en SageMaker IA comprend deux étapes principales : la préparation d'un script d'entraînement et la configuration d'un objet SageMaker AI ModelTrainer (anciennement estimateur dans PySDK v2) du SageMaker SDK AI Python. Dans cette section, vous découvrirez les modifications nécessaires pour collecter des TensorBoard-compatible données sur les emplois de SageMaker formation.

Conditions préalables

La liste suivante indique les prérequis pour commencer à utiliser l' SageMaker IA avec TensorBoard.

Étape 1 : modifiez votre script de formation à l'aide d'outils d' TensorBoard assistance open source

Assurez-vous de déterminer les tenseurs de sortie et les scalaires à collecter et de modifier les lignes de code de votre script d'entraînement à l'aide de l'un des outils suivants : TensorBoard X, TensorFlow Summary Writer, PyTorch Summary Writer ou SageMaker Debugger.

Assurez-vous également de spécifier le chemin de sortie TensorBoard des données comme répertoire du journal (log_dir) pour le rappel dans le conteneur de formation.

Pour plus d’informations sur les rappels par framework, consultez les ressources suivantes.

Étape 2 : Création d'un ModelTrainer objet d' SageMaker entraînement avec la configuration TensorBoard de sortie

Utilisez-le sagemaker.debugger.TensorBoardOutputConfig lors de la configuration d'une SageMaker IA ModelTrainer. Cette API de configuration mappe le compartiment S3 que vous spécifiez pour enregistrer les TensorBoard données avec le chemin local dans le conteneur d'entraînement (/opt/ml/output/tensorboard). Passez l'objet du module au tensorboard_output_config paramètre de la ModelTrainer classe. L'extrait de code suivant montre un exemple de préparation d'un TensorFlow ModelTrainer avec le paramètre de configuration de TensorBoard sortie.

"TensorBoardOutputConfig": { 
  "LocalPath": "/opt/ml/output/tensorboard",
  "S3OutputPath": "s3_output_bucket"
}

import os
from sagemaker.train import ModelTrainer
from sagemaker.train.configs import SourceCode
from sagemaker.core.debugger import TensorBoardOutputConfig
from sagemaker.train.configs import Compute

# Set variables for training job information, 
# such as s3_out_bucket and other unique tags.
... 

LOG_DIR="/opt/ml/output/tensorboard"

output_path = os.path.join(
    "s3_output_bucket", "sagemaker-output", "date_str", "your-training_job_name"
)

tensorboard_output_config = TensorBoardOutputConfig(
    s3_output_path=os.path.join(output_path, 'tensorboard'),
    container_local_output_path=LOG_DIR
)

model_trainer = ModelTrainer(
    source_code=SourceCode(entry_script="train.py", source_dir="src"),
    role=role,
    training_image=image_uri,
    compute=Compute(instance_count=1, instance_type="ml.c5.xlarge"),
    base_job_name="your-training_job_name",
    tensorboard_output_config=tensorboard_output_config,
    hyperparameters=hyperparameters
)