As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Pré-treinamento contínuo (CPT)
O pré-treinamento contínuo (CPT) é uma técnica de treinamento que estende a fase de pré-treinamento de um modelo básico, expondo-o a texto adicional sem rótulo de domínios ou corpora específicos. Ao contrário do ajuste fino supervisionado, que requer pares de entrada-saída rotulados, o CPT treina em documentos brutos para ajudar o modelo a adquirir um conhecimento mais profundo de novos domínios, aprender a terminologia e os padrões de escrita específicos do domínio e se adaptar a determinados tipos de conteúdo ou áreas temáticas.
Essa abordagem é particularmente valiosa quando você tem grandes volumes (dezenas de bilhões de tokens) de dados de texto específicos do domínio, como documentos legais, literatura médica, documentação técnica ou conteúdo comercial proprietário, e deseja que o modelo desenvolva fluência nativa nesse domínio. Geralmente, após o estágio CPT, o modelo precisa passar por estágios adicionais de ajuste de instruções para permitir que o modelo use o conhecimento recém-adquirido e conclua tarefas úteis.
Modelos compatíveis
O CPT está disponível para os seguintes modelos do Amazon Nova:
-
Nova 1.0 (Micro, Lite, Pro)
-
Nova 2.0 (Lite)
Quando usar o Nova 1.0 versus o Nova 2.0
A família de modelos Amazon Nova oferece vários pontos operacionais de preço-desempenho para otimizar entre precisão, velocidade e custo.
Escolha Nova 2.0 quando precisar do seguinte:
-
Capacidades avançadas de raciocínio para tarefas analíticas complexas
-
Desempenho superior em codificação, matemática e resolução de problemas científicos
-
Suporte de maior comprimento de contexto
-
Melhor desempenho multilíngue
Escolha Nova 1.0 quando o seguinte se aplica:
-
Seu caso de uso requer compreensão da linguagem padrão sem raciocínio avançado.
-
Você deseja otimizar para reduzir os custos de treinamento e inferência.
-
Seu foco é ensinar ao modelo conhecimentos e comportamentos específicos do domínio, em vez de tarefas complexas de raciocínio.
-
Você já validou o desempenho no Nova 1.0 e não precisa de recursos adicionais.
nota
O modelo maior nem sempre é melhor. Considere a relação custo-desempenho e seus requisitos comerciais específicos ao escolher entre os modelos Nova 1.0 e Nova 2.0.
