Apêndice - SageMaker IA da Amazon

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Apêndice

Monitore os resultados do treinamento por meio de HyperPod receitas

SageMaker HyperPod as receitas oferecem integração com o Tensorboard para analisar o comportamento do treinamento. Essas receitas também incorporam VizTracer, que é uma ferramenta de baixa sobrecarga para rastrear e visualizar a execução do código Python. Para obter mais informações, consulte VizTracer.

Os registros do tensorboard são gerados e armazenados no. log_dir Para acessar e analisar esses logs localmente, use o seguinte procedimento:

  1. Baixe a pasta de experimentos do TensorBoard do seu ambiente de treinamento na máquina local.

  2. Abra um terminal ou prompt de comando em sua máquina local.

  3. Navegue até o diretório que contém a pasta de experimentos baixados.

  4. Inicie o Tensorboard executando o comando:

    tensorboard --port=<port> --bind_all --logdir experiment.

  5. Abra seu navegador da web e visitehttp://localhost:8008.

Agora você pode ver o status e as visualizações de suas tarefas de treinamento na interface do TensorBoard. Ver o status e as visualizações ajuda você a monitorar e analisar o processo de treinamento. O monitoramento e a análise do processo de treinamento ajudam você a obter informações sobre o comportamento e o desempenho de seus modelos. Para obter mais informações sobre como você monitora e analisa o treinamento com o Tensorboard, consulte o Guia do usuário do NVIDIA NeMo Framework.

VizTracer

Para habilitar VizTracer, você pode modificar sua receita definindo ENABLE_VIZTRACER a variável de ambiente como1. Depois que o treinamento for concluído, seu VizTracer perfil estará na pasta do experimentolog_dir/viztracer_xxx.json. Para analisar seu perfil, você pode baixá-lo e abri-lo usando a vizviewer ferramenta:

vizviewer --port <port> viztracer_xxx.json

Esse comando inicia o VizViewer na porta 9001. Você pode ver o seu VizTracer acessando http://localhost: <port>no seu navegador. Depois de abrir VizTracer, você começa a analisar o treinamento. Para obter mais informações sobre o uso VizTracer, consulte a VizTracer documentação.