Apéndice - Amazon SageMaker AI

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Apéndice

Supervisa los resultados del entrenamiento mediante HyperPod recetas

SageMaker HyperPod Las recetas ofrecen la integración de Tensorboard para analizar el comportamiento del entrenamiento. Estas recetas también incorporan VizTracer, que es una herramienta de bajo coste para rastrear y visualizar la ejecución del código de Python. Para obtener más información, consulte VizTracer.

Los registros de Tensorboard se generan y almacenan dentro del. log_dir Para acceder a estos registros y analizarlos localmente, utilice el siguiente procedimiento:

  1. Descargue la carpeta de experimentos de Tensorboard de su entorno de entrenamiento en su equipo local.

  2. Abra el símbolo del sistema o el terminal en su equipo local.

  3. Navegue hasta el directorio que contiene la carpeta del experimento descargada.

  4. Inicie Tensorboard ejecutando el comando:

    tensorboard --port=<port> --bind_all --logdir experiment.

  5. Abre tu navegador web y visita. http://localhost:8008

Ahora puede ver el estado y las visualizaciones de sus trabajos de entrenamiento en la interfaz de Tensorboard. Ver el estado y las visualizaciones le ayuda a supervisar y analizar el proceso de entrenamiento. Supervisar y analizar el proceso de entrenamiento le ayuda a obtener información sobre el comportamiento y el rendimiento de sus modelos. Para obtener más información sobre cómo monitorizar y analizar el entrenamiento con Tensorboard, consulta la Guía del usuario de NVIDIA NeMo Framework.

VizTracer

Para habilitarlo VizTracer, puedes modificar tu receta configurando la variable ENABLE_VIZTRACER de entorno en. 1 Una vez finalizada la formación, su VizTracer perfil estará en la carpeta del experimentolog_dir/viztracer_xxx.json. Para analizar su perfil, puede descargarlo y abrirlo con la vizviewer herramienta:

vizviewer --port <port> viztracer_xxx.json

Este comando lanza el vizviewer en el puerto 9001. Puedes verlo en http://localhost: <port>en tu navegador. VizTracer Tras abrirla VizTracer, empezará a analizar la formación. Para obtener más información sobre su uso VizTracer, consulte VizTracer la documentación.