Prepare um trabalho de treinamento para coletar dados TensorBoard de saída

Um trabalho de treinamento típico para aprendizado de máquina em SageMaker IA consiste em duas etapas principais: preparar um script de treinamento e configurar um objeto de SageMaker IA ModelTrainer (antigo estimador no PySDK v2) do SDK do AI Python. SageMaker Nesta seção, você aprenderá sobre as mudanças necessárias para coletar TensorBoard-compatible dados de trabalhos de SageMaker treinamento.

Pré-requisitos

A lista a seguir mostra os pré-requisitos para começar a usar a SageMaker IA. TensorBoard

Etapa 1: modifique seu script de treinamento com ferramentas TensorBoard auxiliares de código aberto

Certifique-se de determinar quais tensores e escalares de saída coletar e modifique as linhas de código em seu script de treinamento usando qualquer uma das seguintes ferramentas: TensorBoard X, TensorFlow Summary Writer, PyTorch Summary Writer ou SageMaker Debugger.

Além disso, certifique-se de especificar o caminho de saída de TensorBoard dados como o diretório de log (log_dir) para retorno de chamada no contêiner de treinamento.

Para obter mais informações sobre retornos de chamada por estrutura, consulte os recursos a seguir.

Etapa 2: criar um ModelTrainer objeto SageMaker de treinamento com a configuração TensorBoard de saída

Use o sagemaker.debugger.TensorBoardOutputConfig enquanto configura uma SageMaker IA ModelTrainer. Essa API de configuração mapeia o bucket do S3 que você especifica para salvar TensorBoard dados com o caminho local no contêiner de treinamento (/opt/ml/output/tensorboard). Passe o objeto do módulo para o tensorboard_output_config parâmetro da ModelTrainer classe. O trecho de código a seguir mostra um exemplo de como preparar um TensorFlow ModelTrainer com o parâmetro de configuração TensorBoard de saída.

"TensorBoardOutputConfig": { 
  "LocalPath": "/opt/ml/output/tensorboard",
  "S3OutputPath": "s3_output_bucket"
}

import os
from sagemaker.train import ModelTrainer
from sagemaker.train.configs import SourceCode
from sagemaker.core.debugger import TensorBoardOutputConfig
from sagemaker.train.configs import Compute

# Set variables for training job information, 
# such as s3_out_bucket and other unique tags.
... 

LOG_DIR="/opt/ml/output/tensorboard"

output_path = os.path.join(
    "s3_output_bucket", "sagemaker-output", "date_str", "your-training_job_name"
)

tensorboard_output_config = TensorBoardOutputConfig(
    s3_output_path=os.path.join(output_path, 'tensorboard'),
    container_local_output_path=LOG_DIR
)

model_trainer = ModelTrainer(
    source_code=SourceCode(entry_script="train.py", source_dir="src"),
    role=role,
    training_image=image_uri,
    compute=Compute(instance_count=1, instance_type="ml.c5.xlarge"),
    base_job_name="your-training_job_name",
    tensorboard_output_config=tensorboard_output_config,
    hyperparameters=hyperparameters
)