Trabalhos de treinamento para o perfil Cadernos de exemplo do Depurador para a análise de parâmetros do modelo

cadernos de exemplos do Depurador

SageMaker Os notebooks de exemplo do Debugger são fornecidos no repositório aws/. amazon-sagemaker-examples Os cadernos de exemplo do Debugger orientam você nos casos de uso básicos e avançados de trabalhos de treinamento de depuração e criação de perfil.

Recomendamos que você execute os notebooks de exemplo no SageMaker Studio ou em uma instância do SageMaker Notebook porque a maioria dos exemplos foi projetada para trabalhos de treinamento no ecossistema de SageMaker IA, incluindo Amazon EC2, Amazon S3 e Amazon SageMaker Python SDK.

Para clonar o repositório de exemplo no SageMaker Studio, siga as instruções no Amazon SageMaker Studio Tour.

Importante

Para usar os novos recursos do Debugger, você precisa atualizar o SDK do SageMaker Python e a biblioteca cliente. SMDebug No kernel do IPython, no Jupyter Notebook JupyterLab ou no ambiente, execute o código a seguir para instalar as versões mais recentes das bibliotecas e reiniciar o kernel.


import sys
import IPython
!{sys.executable} -m pip install -U sagemaker smdebug
IPython.Application.instance().kernel.do_shutdown(True)

Cadernos de exemplo do Depurador para a criação de perfis de trabalhos de treinamento

A lista a seguir mostra exemplos de cadernos do Debugger que apresentam a adaptabilidade do Debugger para monitorar e criar perfis de tarefas de treinamento para vários modelos, conjuntos de dados e estruturas de machine learning.

Título do caderno	Framework	Modelo	Conjunto de dados	Description
Análise de dados de perfil do Amazon SageMaker Debugger	TensorFlow	Keras 50 ResNet	Cifar-10	Este notebook fornece uma introdução à análise interativa de dados perfilados capturados pelo SageMaker Debugger. Explore a funcionalidade completa das ferramentas de análise interativa `SMDebug`.
Treinamento de aprendizado de máquina de perfil com o Amazon SageMaker Debugger	TensorFlow	Rede neural convolucional 1-D	Conjunto de dados do IMDB	Crie o perfil de uma CNN TensorFlow 1-D para análise de sentimentos dos dados do IMDB que consistem em resenhas de filmes rotuladas como tendo sentimentos positivos ou negativos. Explore os insights do Studio Debugger e o relatório de criação de perfil do Debugger.
TensorFlow ResNet Modelo de criação de perfil de treinamento com várias configurações de treinamento distribuídas	TensorFlow	ResNet50	Cifar-10	Execute trabalhos TensorFlow de treinamento com várias configurações de treinamento distribuídas, monitore a utilização dos recursos do sistema e defina o perfil do desempenho do modelo usando o Debugger.
PyTorch ResNet Modelo de criação de perfil de treinamento com várias configurações de treinamento distribuídas	PyTorch	ResNet50	Cifar-10	Execute trabalhos PyTorch de treinamento com várias configurações de treinamento distribuídas, monitore a utilização dos recursos do sistema e defina o perfil do desempenho do modelo usando o Debugger.

Cadernos de exemplo do Depurador para a análise de parâmetros do modelo

A lista a seguir mostra exemplos de cadernos do Debugger que apresentam a adaptabilidade do Debugger para depurar trabalhos de treinamento para vários modelos, conjuntos de dados e estruturas de machine learning.

Título do caderno	Framework	Modelo	Conjunto de dados	Description
Amazon SageMaker Debugger - Use uma regra integrada	TensorFlow	Rede neural convolucional	MNIST	Use as regras integradas do Amazon SageMaker Debugger para depurar um modelo. TensorFlow
Amazon SageMaker Debugger - Tensorflow 2.1	TensorFlow	ResNet50	Cifar-10	Use a configuração de gancho do Amazon SageMaker Debugger e as regras integradas para depurar um modelo com a estrutura Tensorflow 2.1.
Visualizando tensores de depuração do treinamento MXNet	MXNet	Rede Neural Convolucional Gluon	Modo MNIST	Execute um trabalho de treinamento e configure o SageMaker Debugger para armazenar todos os tensores desse trabalho e, em seguida, visualize esses tensores em um notebook.
Habilite o treinamento pontual com o Amazon SageMaker Debugger	MXNet	Rede Neural Convolucional Gluon	Modo MNIST	Saiba como o Debugger coleta dados de tensores de um trabalho de treinamento em uma instância spot e como usar as regras integradas do Debugger com treinamento spot gerenciado.
Explique um XGBoost modelo que prevê a renda de um indivíduo com o Amazon SageMaker Debugger	XGBoost	XGBoost Regressão	Conjunto de dados do Censo de Adultos	Aprenda a usar o gancho do Debugger e as regras integradas para coletar e visualizar dados de tensores de um modelo de XGBoost regressão, como valores de perda, recursos e valores SHAP.

Para encontrar visualizações avançadas dos parâmetros do modelo e dos casos de uso, consulte o próximo tópico em Demonstrações e visualização avançadas do Depurador.

Atenção O Javascript está desativado ou não está disponível no seu navegador.

Para usar a documentação da AWS, o Javascript deve estar ativado. Consulte as páginas de Ajuda do navegador para obter instruções.

Convenções do documento

Tutoriais em vídeo

Demonstrações e visualização avançadas