2. Experimentação - AWS Orientação prescritiva

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

2. Experimentação

A experimentação abrange registro em log, rastreamento e métricas de experimentos. Isso se traduz em experimentar a integração de metadados em toda a plataforma, no controle de origem e em ambientes de desenvolvimento. A experimentação também inclui a capacidade de otimizar a performance e a precisão do modelo por meio da depuração.

2.1 Ambientes de desenvolvimento integrados

Um ambiente de desenvolvimento integrado (IDE) é integrado diretamente com a nuvem. O IDE pode interagir e enviar comandos para o sistema maior. O ideal é que seja compatível com o seguinte:

  • Desenvolvimento local

  • Integração de controle de versão

  • Depuração em vigor, com todos os logs e artefatos gerados entrando no controle de versão

2.2 Controle de versão do código

Para ajudar a garantir a reprodutibilidade e a reutilização, todo o código é enviado ao repositório de origem com o controle de versão adequado. Isso inclui o código de infraestrutura, o código de aplicação, o código de modelo e até mesmo de cadernos (se você optar por usá-los).

2.3 Rastreamento

Um projeto de ML requer uma ferramenta que possa rastrear e analisar experimentos de machine learning. Essa ferramenta deve registrar em log todas as métricas, parâmetros e artefatos durante a execução de um experimento de machine learning, registrando todos os metadados em um local central. A localização central fornecerá a capacidade de analisar, visualizar e auditar todos os experimentos que você executa.

2.4 Integração multiplataforma

Os resultados históricos dos experimentos e todos os seus metadados ficam acessíveis em outras partes do sistema. Por exemplo, os pipelines de orquestração existentes podem acessar esses dados, assim como as ferramentas de monitoramento.

2.5 Depuração: precisão e performance do sistema

Existe um framework abrangente de depuração de modelos para examinar as execuções do seguinte:

  • Encontrar gargalos

  • Alertar sobre anomalias

  • Maximizar a utilização de recursos

  • Ajudar na análise de experimentos

Quando o treinamento é intensivo, a capacidade de maximizar o throughput é crucial e o torna uma ferramenta necessária para a otimização de custos.