As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Hiperparâmetros de modelo personalizado
O conteúdo de referência a seguir abrange os hiperparâmetros que estão disponíveis para o treinamento de cada modelo personalizado do Amazon Bedrock.
Um hiperparâmetro é um parâmetro que controla o processo de treinamento, como a taxa de aprendizado ou a contagem de epochs. Você define hiperparâmetros para o treinamento de modelos personalizados ao enviar o trabalho de ajuste fino com o console Amazon Bedrock ou ao chamar a operação da CreateModelCustomizationJobAPI.
Os modelos Amazon Nova Lite, Amazon Nova Micro e Amazon Nova Pro permitem os hiperparâmetros a seguir para a personalização de modelos. Para obter mais informações, consulte Personalizar o modelo para melhorar a performance para o caso de uso.
Para ter informações sobre o ajuste fino dos modelos do Amazon Nova, consulte Ajuste dos modelos do Amazon Nova.
O número de épocas que você especifica aumenta o custo de personalização do modelo ao processar mais tokens. Cada época processa todo o conjunto de dados de treinamento uma vez. Para obter mais informações sobre preços, consulte Preços do Amazon Bedrock
| Hiperparâmetro (console) | Hiperparâmetro (API) | Definição | Tipo | Mínimo | Máximo | Padrão |
|---|---|---|---|---|---|---|
| Epochs | epochCount | O número de iterações em todo o conjunto de dados de treinamento | integer | 1 | 5 | 2 |
| Taxa de aprendizado | learningRate | A taxa em que os parâmetros do modelo são atualizados após cada lote | flutuação | 1,00E-6 | 1.00E-4 | 1,00E-5 |
| Etapas de aquecimento da taxa de aprendizado | learningRateWarmupEtapas | O número de iterações necessárias para que a taxa de aprendizado seja aumentada gradualmente na taxa especificada | integer | 0 | 100 | 10 |
O número padrão de épocas é 2, o que funciona na maioria dos casos. Em geral, conjuntos de dados maiores exigem menos épocas para convergir, enquanto conjuntos de dados menores exigem mais épocas para convergir. Uma convergência mais rápida também pode ser alcançada aumentando a taxa de aprendizado, mas isso é menos desejável porque pode levar à instabilidade do treinamento na convergência. Recomendamos começar com os hiperparâmetros padrão, que são baseados em nossa avaliação em tarefas de diferentes complexidades e tamanhos de dados.
A taxa de aprendizado aumentará gradualmente até o valor definido durante o aquecimento. Portanto, recomendamos evitar um valor grande de aquecimento quando a amostra de treinamento é pequena, porque a taxa de aprendizado pode nunca atingir o valor definido durante o processo de treinamento. Recomendamos definir as etapas de aquecimento dividindo o tamanho do conjunto de dados por 640 para o Amazon Nova Micro, 160 para o Amazon Nova Lite e 320 para o Amazon Nova Pro.
O modelo Amazon Nova Canvas é permite os hiperparâmetros a seguir para a personalização de modelos.
| Hiperparâmetro (console) | Hiperparâmetro (API) | Definição | Mínimo | Máximo | Padrão |
|---|---|---|---|---|---|
| Tamanho do lote | batchSize | Número de amostras processadas antes da atualização dos parâmetros do modelo | 8 | 192 | 8 |
| Etapas | stepCount | Número de vezes que o modelo é exposto a cada lote | 10 | 20.000 | 500 |
| Taxa de aprendizado | learningRate | Taxa em que os parâmetros do modelo são atualizados após cada lote | 1.00E-7 | 1.00E-4 | 1,00E-5 |
O modelo Amazon Titan Text Premier aceita os hiperparâmetros a seguir para a personalização de modelos. O número de épocas que você especifica aumenta o custo de personalização do modelo ao processar mais tokens. Cada época processa todo o conjunto de dados de treinamento uma vez. Para obter mais informações sobre preços, consulte Preços do Amazon Bedrock
| Hiperparâmetro (console) | Hiperparâmetro (API) | Definição | Tipo | Mínimo | Máximo | Padrão |
|---|---|---|---|---|---|---|
| Epochs | epochCount | O número de iterações em todo o conjunto de dados de treinamento | integer | 1 | 5 | 2 |
| Tamanho do lote (micro) | batchSize | O número de amostras processadas antes da atualização dos parâmetros do modelo | integer | 1 | 1 | 1 |
| Taxa de aprendizado | learningRate | A taxa em que os parâmetros do modelo são atualizados após cada lote | flutuação | 1.00E-07 | 1.00E-05 | 1.00E-06 |
| Etapas de aquecimento da taxa de aprendizado | learningRateWarmupEtapas | O número de iterações necessárias para que a taxa de aprendizado seja aumentada gradualmente na taxa especificada | integer | 0 | 20 | 5 |
Os modelos Amazon Titan Text, como Lite e Express, aceitam os seguintes hiperparâmetros para a personalização de modelos: O número de épocas que você especifica aumenta o custo de personalização do modelo ao processar mais tokens. Cada época processa todo o conjunto de dados de treinamento uma vez. Para obter mais informações sobre preços, consulte Preços do Amazon Bedrock
| Hiperparâmetro (console) | Hiperparâmetro (API) | Definição | Tipo | Mínimo | Máximo | Padrão |
|---|---|---|---|---|---|---|
| Epochs | epochCount | O número de iterações em todo o conjunto de dados de treinamento | integer | 1 | 10 | 5 |
| Tamanho do lote (micro) | batchSize | O número de amostras processadas antes da atualização dos parâmetros do modelo | integer | 1 | 64 | 1 |
| Taxa de aprendizado | learningRate | A taxa em que os parâmetros do modelo são atualizados após cada lote | flutuação | 0.0 | 1 | 1,00E-5 |
| Etapas de aquecimento da taxa de aprendizado | learningRateWarmupEtapas | O número de iterações necessárias para que a taxa de aprendizado seja aumentada gradualmente na taxa especificada | integer | 0 | 250 | 5 |
O modelo Gerador de Imagens do Amazon Titan G1 aceita os hiperparâmetros a seguir para a personalização de modelos.
nota
stepCount não tem nenhum valor padrão e deve ser especificado. stepCount é compatível com o valor auto. auto prioriza a performance do modelo em relação ao custo do treinamento determinando automaticamente um número com base no tamanho do conjunto de dados. Os custos do trabalho de treinamento dependem do número determinado por auto. Para compreender como o custo do trabalho é calculado e ver exemplos, consulte Preços do Amazon Bedrock
| Hiperparâmetro (console) | Hiperparâmetro (API) | Definição | Mínimo | Máximo | Padrão |
|---|---|---|---|---|---|
| Tamanho do lote | batchSize | Número de amostras processadas antes da atualização dos parâmetros do modelo | 8 | 192 | 8 |
| Etapas | stepCount | Número de vezes que o modelo é exposto a cada lote | 10 | 40.000 | N/D |
| Taxa de aprendizado | learningRate | Taxa em que os parâmetros do modelo são atualizados após cada lote | 1.00E-7 | 1 | 1,00E-5 |
O modelo Amazon Titan Multimodal Embeddings G1 é compatível com os hiperparâmetros a seguir para a personalização de modelos. O número de épocas que você especifica aumenta o custo de personalização do modelo ao processar mais tokens. Cada época processa todo o conjunto de dados de treinamento uma vez. Para obter mais informações sobre preços, consulte Preços do Amazon Bedrock
nota
epochCount não tem nenhum valor padrão e deve ser especificado. epochCount é compatível com o valor Auto. Auto prioriza a performance do modelo em relação ao custo do treinamento determinando automaticamente um número com base no tamanho do conjunto de dados. Os custos do trabalho de treinamento dependem do número determinado por Auto. Para compreender como o custo do trabalho é calculado e ver exemplos, consulte Preços do Amazon Bedrock
| Hiperparâmetro (console) | Hiperparâmetro (API) | Definição | Tipo | Mínimo | Máximo | Padrão |
|---|---|---|---|---|---|---|
| Epochs | epochCount | O número de iterações em todo o conjunto de dados de treinamento | integer | 1 | 100 | N/D |
| Tamanho do lote | batchSize | O número de amostras processadas antes da atualização dos parâmetros do modelo | integer | 256 | 9,216 | 576 |
| Taxa de aprendizado | learningRate | A taxa em que os parâmetros do modelo são atualizados após cada lote | flutuação | 5.00E-8 | 1 | 5.00E-5 |
Os modelos Claude 3 da Anthropic 3 aceitam os hiperparâmetros a seguir para personalização de modelos. O número de épocas que você especifica aumenta o custo de personalização do modelo ao processar mais tokens. Cada época processa todo o conjunto de dados de treinamento uma vez. Para obter mais informações sobre preços, consulte Preços do Amazon Bedrock
| Nome do console | Nome da API | Definição | Padrão | Mínimo | Máximo |
|---|---|---|---|---|---|
| Contagem de épocas | epochCount | O número máximo de iterações em todo o conjunto de dados de treinamento | 2 | 1 | 10 |
| Tamanho do lote | batchSize | Número de amostras processadas antes da atualização dos parâmetros do modelo | 32 | 4 | 256 |
| Multiplicador da taxa de aprendizagem | learningRateMultiplier | Multiplicador que influencia a taxa de aprendizado na qual os parâmetros de modelo são atualizados após cada lote | 1 | 0.1 | 2 |
| Tolerância para interrupção antecipada | earlyStoppingThreshold | A melhoria mínima na perda de validação necessária para evitar o término prematuro do processo de treinamento | 0.001 | 0 | 0.1 |
| Tolerância para interrupção antecipada | earlyStoppingPatience | A tolerância à estagnação na métrica de perda de validação antes de interromper o processo de treinamento. | 2 | 1 | 10 |
Os modelos Command da Cohere e Command Light da Cohere são compatíveis com os seguintes hiperparâmetros para a personalização de modelos: O número de épocas que você especifica aumenta o custo de personalização do modelo ao processar mais tokens. Cada época processa todo o conjunto de dados de treinamento uma vez. Para obter mais informações sobre preços, consulte Preços do Amazon Bedrock
Para obter informações sobre Cohere modelos de ajuste fino, consulte a Cohere documentação em ajuste https://docs.cohere.com/docs/fino
nota
A cota de epochCount é ajustável.
| Hiperparâmetro (console) | Hiperparâmetro (API) | Definição | Tipo | Mínimo | Máximo | Padrão |
|---|---|---|---|---|---|---|
| Epochs | epochCount | O número de iterações em todo o conjunto de dados de treinamento | integer | 1 | 100 | 1 |
| Tamanho do lote | batchSize | O número de amostras processadas antes da atualização dos parâmetros do modelo | integer | 8 | 8 (Comando) 32 (Leve) |
8 |
| Taxa de aprendizado | learningRate | A taxa em que os parâmetros do modelo são atualizados após cada lote. Se você usar um conjunto de dados de validação, é recomendável não fornecer um valor para learningRate. |
flutuação | 5.00E-6 | 0.1 | 1,00E-5 |
| Tolerância para interrupção antecipada | earlyStoppingThreshold | A melhoria mínima na perda necessária para evitar o término prematuro do processo de treinamento | flutuação | 0 | 0.1 | 0,01 |
| Tolerância para interrupção antecipada | earlyStoppingPatience | A tolerância à estagnação na métrica de perda antes de interromper o processo de treinamento | integer | 1 | 10 | 6 |
| Percentual de avaliação | evalPercentage |
A porcentagem do conjunto de dados alocada para avaliação do modelo, caso você não forneça um conjunto de dados de validação separado. |
flutuação | 5 | 50 | 20 |
Os modelos Llama 3.1 8B e 70B da Meta são compatíveis com os hiperparâmetros a seguir para a personalização de modelos. O número de épocas que você especifica aumenta o custo de personalização do modelo ao processar mais tokens. Cada época processa todo o conjunto de dados de treinamento uma vez. Para obter mais informações sobre preços, consulte Preços do Amazon Bedrock
Para obter informações sobre o ajuste fino dos modelos Meta Llama, consulte a Meta documentação em https://ai.meta.com/llama/get-started/ #fine -tuning
nota
A cota de epochCount é ajustável.
| Hiperparâmetro (console) | Hiperparâmetro (API) | Definição | Mínimo | Máximo | Padrão |
|---|---|---|---|---|---|
| Epochs | epochCount | O número de iterações em todo o conjunto de dados de treinamento | 1 | 10 | 5 |
| Tamanho do lote | batchSize | O número de amostras processadas antes da atualização dos parâmetros do modelo | 1 | 1 | 1 |
| Taxa de aprendizado | learningRate | A taxa em que os parâmetros do modelo são atualizados após cada lote | 5.00E-6 | 0.1 | 1.00E-4 |
Os modelos Llama 3.2 1B, 3B, 11B e 90B da Meta permitem os hiperparâmetros a seguir para personalização de modelos. O número de épocas que você especifica aumenta o custo de personalização do modelo ao processar mais tokens. Cada época processa todo o conjunto de dados de treinamento uma vez. Para obter mais informações sobre preços, consulte Preços do Amazon Bedrock
Para obter informações sobre o ajuste fino dos modelos Meta Llama, consulte a Meta documentação em https://ai.meta.com/llama/get-started/ #fine -tuning
| Hiperparâmetro (console) | Hiperparâmetro (API) | Definição | Mínimo | Máximo | Padrão |
|---|---|---|---|---|---|
| Epochs | epochCount | O número de iterações em todo o conjunto de dados de treinamento | 1 | 10 | 5 |
| Tamanho do lote | batchSize | O número de amostras processadas antes da atualização dos parâmetros do modelo | 1 | 1 | 1 |
| Taxa de aprendizado | learningRate | A taxa em que os parâmetros do modelo são atualizados após cada lote | 5.00E-6 | 0.1 | 1.00E-4 |
