Personalização de modelos com a Amazon AI SageMaker - SageMaker IA da Amazon

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Personalização de modelos com a Amazon AI SageMaker

A personalização do modelo de SageMaker IA da Amazon é um recurso que transforma o processo tradicionalmente complexo e demorado de personalizar modelos de IA de um esforço de meses em um fluxo de trabalho simplificado que pode ser concluído em dias. Esse recurso aborda o desafio crítico enfrentado pelos desenvolvedores de IA que precisam personalizar modelos básicos com dados proprietários para criar experiências de cliente altamente diferenciadas. Documentação detalhada de personalização, incluindo step-by-step guias e opções avançadas de configuração, é fornecida neste guia de SageMaker IA. Para uma breve visão geral da personalização do modelo Nova, consulte Personalizar e ajustar no Guia SageMaker do usuário do Amazon Nova.

O recurso inclui uma nova interface de usuário guiada que compreende os requisitos de linguagem natural, com um conjunto abrangente de técnicas avançadas de personalização de modelos, tudo alimentado por uma infraestrutura sem servidor que elimina a sobrecarga operacional do gerenciamento de recursos computacionais. Se você está criando aplicativos de pesquisa jurídica, aprimorando chatbots de atendimento ao cliente ou desenvolvendo agentes de IA específicos de um domínio, esse recurso acelera seu caminho até a implantação da produção. proof-of-concept

Os recursos de personalização de modelos fornecidos pelo Amazon Bedrock Evaluations podem transmitir dados com segurança em sua Regiões da AWS região geográfica para processamento. Para obter mais informações, acesse a documentação do Amazon Bedrock Evaluations.

Principais conceitos

Treinamento sem servidor

Uma infraestrutura de computação totalmente gerenciada que elimina toda a complexidade da infraestrutura, permitindo que você se concentre exclusivamente no desenvolvimento de modelos. Isso inclui provisionamento automático de instâncias de GPU (P5, P4de, P4d, G5) com base no tamanho do modelo e nos requisitos de treinamento, receitas de treinamento pré-otimizadas que incorporam as melhores práticas para cada técnica de personalização, monitoramento em tempo real com métricas e registros ao vivo acessíveis por meio da interface do usuário e limpeza automática de recursos após a conclusão do treinamento para otimizar custos.

Técnicas de personalização de modelos

Conjunto abrangente de métodos avançados, incluindo ajuste fino supervisionado (SFT), otimização de preferência direta (DPO), aprendizado por reforço com recompensas verificáveis (RLVR) e aprendizado por reforço com feedback de IA (RLAIF).

Modelo personalizado

Uma versão especializada de um modelo básico de base que foi adaptada a um caso de uso específico treinando-o com seus próprios dados, resultando em um modelo de IA que retém os recursos gerais do modelo básico original e adiciona conhecimento, terminologia, estilo ou comportamento específicos do domínio, adaptados às suas necessidades.

Ativos de personalização do modelo de IA

Recursos e artefatos usados para treinar, refinar e avaliar modelos personalizados durante o processo de personalização do modelo. Esses ativos incluem conjuntos de dados, que são coleções de exemplos de treinamento (pares de resposta rápida, texto específico de domínio ou dados rotulados) usados para ajustar um modelo básico para aprender comportamentos, conhecimentos ou estilos específicos, e avaliadores, que são mecanismos para avaliar e melhorar o desempenho do modelo por meio de funções de recompensa (lógica baseada em código que pontua os resultados do modelo com base em critérios específicos, usados no treinamento de RLVR e na avaliação personalizada de pontuadores) ou por meio de funções de recompensa (lógica baseada em código que pontua os resultados do modelo com base em critérios específicos, usados no treinamento de RLVR e na avaliação personalizada de pontuadores). tetas ( instruções em linguagem natural que orientam um LLM para avaliar a qualidade das respostas do modelo, usadas no treinamento e avaliação do RLAIF). LLM-as-a-judge

Grupo de pacotes de modelos

Um contêiner de coleta que rastreia todos os modelos registrados dos trabalhos de treinamento, fornecendo um local centralizado para as versões do modelo e sua linhagem.

Modelo registrado

A saída criada pela SageMaker IA ao executar trabalhos de treinamento sem servidor. Isso pode ser um modelo ajustado (trabalho bem-sucedido), um ponto de verificação (trabalho com falha com ponto de verificação) ou metadados associados (trabalho com falha sem ponto de verificação).

Modelo registrado

Um modelo registrado que foi marcado para fins formais de rastreamento e governança, permitindo o gerenciamento completo da linhagem e do ciclo de vida.

Linhagem

As relações capturadas automaticamente entre trabalhos de treinamento, conjuntos de dados de entrada, modelos de saída, trabalhos de avaliação e implantações em SageMaker IA e Amazon Bedrock.

Compartilhamento entre contas

A capacidade de compartilhar modelos, conjuntos de dados e avaliadores entre AWS contas usando o AWS Resource Access Manager (RAM), mantendo a visibilidade completa da linhagem.