Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Hiperparámetros de los modelos personalizados
El siguiente contenido de referencia cubre los hiperparámetros que están disponibles para entrenar cada modelo personalizado de Amazon Bedrock.
Un hiperparámetro es un parámetro que controla el proceso de entrenamiento, como la tasa de aprendizaje o el recuento de épocas. Los hiperparámetros para el entrenamiento de modelos personalizados se configuran al enviar el trabajo de ajuste con la consola de Amazon Bedrock o al llamar a la operación de la CreateModelCustomizationJobAPI.
Los modelos Amazon Nova Lite, Amazon Nova Micro y Amazon Nova Pro admiten los siguientes hiperparámetros para la personalización de modelos. Para obtener más información, consulte Personalización del modelo para mejorar su rendimiento según su caso de uso.
Para obtener información sobre cómo refinar los modelos Amazon Nova, consulte Refinamiento de modelos de Amazon Nova.
El número de épocas que especifique aumentará el costo de personalización del modelo al procesar más tokens. Cada época procesa todo el conjunto de datos de entrenamiento una sola vez. Para obtener más información acerca de los precios, consulte Precios de Amazon Bedrock
| Hiperparámetro (consola) | Hiperparámetro (API) | Definición | Tipo | Mínimo | Máximo | Predeterminado |
|---|---|---|---|---|---|---|
| Épocas | epochCount | El número de iteraciones en todo el conjunto de datos de entrenamiento | entero | 1 | 5 | 2 |
| Tasa de aprendizaje | learningRate | La velocidad a la que se actualizan los parámetros del modelo después de cada lote | float | 1.00E-6 | 1.00E-4 | 1,00E-5 |
| Pasos de calentamiento de la tasa de aprendizaje | learningRateWarmupPasos | El número de iteraciones durante las que la tasa de aprendizaje aumenta gradualmente hasta alcanzar la tasa especificada | entero | 0 | 100 | 10 |
El número de épocas predeterminado es 2, lo que funciona en la mayoría de los casos. En general, los conjuntos de datos grandes requieren menos épocas para lograr la convergencia, mientras que los conjuntos de datos pequeños requieren un mayor número de épocas. También se podría lograr una convergencia más rápida aumentando la velocidad de aprendizaje, pero esto es menos recomendable porque podría provocar inestabilidad en el entrenamiento en el momento de la convergencia. Le recomendamos que empiece con los hiperparámetros predeterminados, que se basan en nuestra evaluación de tareas de diferentes niveles de complejidad y tamaños de datos.
La velocidad de aprendizaje aumentará gradualmente hasta alcanzar el valor establecido durante la preparación. Por lo tanto, le recomendamos que evite usar un número de preparación grande para una muestra de entrenamiento pequeña, ya que es posible que la velocidad de aprendizaje nunca alcance el valor establecido durante el proceso de entrenamiento. Le recomendamos que configure los pasos de preparación dividiendo el tamaño del conjunto de datos por 640 para Amazon Nova Micro, por 160 para Amazon Nova Lite y por 320 para Amazon Nova Pro.
El modelo Amazon Nova Canvas admite los siguientes hiperparámetros para su personalización.
| Hiperparámetro (consola) | Hiperparámetro (API) | Definición | Mínimo | Máximo | Predeterminado |
|---|---|---|---|---|---|
| Tamaño de lote | batchSize | Número de muestras procesadas antes de actualizar los parámetros del modelo | 8 | 192 | 8 |
| Steps | stepCount | Número de veces que el modelo se expone a cada lote | 10 | 20 000 | 500 |
| Tasa de aprendizaje | learningRate | Velocidad a la que se actualizan los parámetros del modelo después de cada lote | 1,00E-7 | 1.00E-4 | 1,00E-5 |
El modelo Amazon Titan Text Premier admite los siguientes hiperparámetros para la personalización de modelos. El número de épocas que especifique aumentará el costo de personalización del modelo al procesar más tokens. Cada época procesa todo el conjunto de datos de entrenamiento una sola vez. Para obtener más información acerca de los precios, consulte Precios de Amazon Bedrock
| Hiperparámetro (consola) | Hiperparámetro (API) | Definición | Tipo | Mínimo | Máximo | Predeterminado |
|---|---|---|---|---|---|---|
| Épocas | epochCount | El número de iteraciones en todo el conjunto de datos de entrenamiento | entero | 1 | 5 | 2 |
| Tamaño de lote (micro) | batchSize | El número de muestras procesadas antes de actualizar los parámetros del modelo | entero | 1 | 1 | 1 |
| Tasa de aprendizaje | learningRate | La velocidad a la que se actualizan los parámetros del modelo después de cada lote | float | 1.00E-07 | 1.00E-05 | 1.00E-06 |
| Pasos de calentamiento de la tasa de aprendizaje | learningRateWarmupPasos | El número de iteraciones durante las que la tasa de aprendizaje aumenta gradualmente hasta alcanzar la tasa especificada | entero | 0 | 20 | 5 |
Los modelos Amazon Titan Text, como Lite y Express, admiten los siguientes hiperparámetros para la personalización de modelos. El número de épocas que especifique aumentará el costo de personalización del modelo al procesar más tokens. Cada época procesa todo el conjunto de datos de entrenamiento una sola vez. Para obtener más información acerca de los precios, consulte Precios de Amazon Bedrock
| Hiperparámetro (consola) | Hiperparámetro (API) | Definición | Tipo | Mínimo | Máximo | Predeterminado |
|---|---|---|---|---|---|---|
| Épocas | epochCount | El número de iteraciones en todo el conjunto de datos de entrenamiento | entero | 1 | 10 | 5 |
| Tamaño de lote (micro) | batchSize | El número de muestras procesadas antes de actualizar los parámetros del modelo | entero | 1 | 64 | 1 |
| Tasa de aprendizaje | learningRate | La velocidad a la que se actualizan los parámetros del modelo después de cada lote | float | 0.0 | 1 | 1,00E-5 |
| Pasos de calentamiento de la tasa de aprendizaje | learningRateWarmupPasos | El número de iteraciones durante las que la tasa de aprendizaje aumenta gradualmente hasta alcanzar la tasa especificada | entero | 0 | 250 | 5 |
Los modelos Amazon Titan Image Generator G1 admiten los siguientes hiperparámetros para la personalización de modelos.
nota
stepCount no tiene ningún valor predeterminado y debe especificarse. stepCount admite el valor auto. auto prioriza el rendimiento del modelo por encima del costo de entrenamiento al determinar automáticamente un número en función del tamaño del conjunto de datos. Los costos de los trabajos de entrenamiento dependen del número que determine auto. Para entender cómo se calcula el costo del trabajo y ver ejemplos, consulte Precios de Amazon Bedrock
| Hiperparámetro (consola) | Hiperparámetro (API) | Definición | Mínimo | Máximo | Predeterminado |
|---|---|---|---|---|---|
| Tamaño de lote | batchSize | Número de muestras procesadas antes de actualizar los parámetros del modelo | 8 | 192 | 8 |
| Steps | stepCount | Número de veces que el modelo se expone a cada lote | 10 | 40 000 | N/A |
| Tasa de aprendizaje | learningRate | Velocidad a la que se actualizan los parámetros del modelo después de cada lote | 1,00E-7 | 1 | 1,00E-5 |
El modelo Titan Multimodal Embeddings G1 admite los siguientes hiperparámetros para personalizar el modelo. El número de épocas que especifique aumentará el costo de personalización del modelo al procesar más tokens. Cada época procesa todo el conjunto de datos de entrenamiento una sola vez. Para obtener más información acerca de los precios, consulte Precios de Amazon Bedrock
nota
epochCount no tiene ningún valor predeterminado y debe especificarse. epochCount admite el valor Auto. Auto prioriza el rendimiento del modelo por encima del costo de entrenamiento al determinar automáticamente un número en función del tamaño del conjunto de datos. Los costos de los trabajos de entrenamiento dependen del número que determine Auto. Para entender cómo se calcula el costo del trabajo y ver ejemplos, consulte Precios de Amazon Bedrock
| Hiperparámetro (consola) | Hiperparámetro (API) | Definición | Tipo | Mínimo | Máximo | Predeterminado |
|---|---|---|---|---|---|---|
| Épocas | epochCount | El número de iteraciones en todo el conjunto de datos de entrenamiento | entero | 1 | 100 | N/A |
| Tamaño de lote | batchSize | El número de muestras procesadas antes de actualizar los parámetros del modelo | entero | 256 | 9216 | 576 |
| Tasa de aprendizaje | learningRate | La velocidad a la que se actualizan los parámetros del modelo después de cada lote | float | 5.00E-8 | 1 | 5.00E-5 |
Los modelos Anthropic Claude 3 admiten los siguientes hiperparámetros para la personalización del modelo: El número de épocas que especifique aumentará el costo de personalización del modelo al procesar más tokens. Cada época procesa todo el conjunto de datos de entrenamiento una sola vez. Para obtener más información acerca de los precios, consulte Precios de Amazon Bedrock
| Nombre de la consola | Nombre de API | Definición | Predeterminado | Mínimo | Máximo |
|---|---|---|---|---|---|
| Recuento de épocas | epochCount | Número máximo de iteraciones en todo el conjunto de datos de entrenamiento | 2. | 1 | 10 |
| Tamaño de lote | batchSize | Número de muestras procesadas antes de actualizar los parámetros del modelo | 32 | 4 | 256 |
| Multiplicador de tasa de aprendizaje | learningRateMultiplier | Multiplicador que influye en la tasa de aprendizaje a la que se actualizan los parámetros del modelo después de cada lote | 1 | 0.1 | 2 |
| Umbral de finalización anticipada | earlyStoppingThreshold | Mejora mínima de la pérdida de validación necesaria para evitar la finalización anticipada del proceso de aprendizaje | 0.001 | 0 | 0.1 |
| Paciencia para finalización anticipada | earlyStoppingPatience | Tolerancia al estancamiento en la métrica de pérdida de validación antes de detener el proceso de aprendizaje | 2. | 1 | 10 |
Los modelos Cohere Command y Cohere Command Light admiten los siguientes hiperparámetros para la personalización del modelo. El número de épocas que especifique aumentará el costo de personalización del modelo al procesar más tokens. Cada época procesa todo el conjunto de datos de entrenamiento una sola vez. Para obtener más información acerca de los precios, consulte Precios de Amazon Bedrock
Para obtener información sobre Cohere los modelos de ajuste fino, consulte la Cohere documentación en ajuste https://docs.cohere.com/docs/fino
nota
La cuota de epochCount se puede ajustar.
| Hiperparámetro (consola) | Hiperparámetro (API) | Definición | Tipo | Mínimo | Máximo | Predeterminado |
|---|---|---|---|---|---|---|
| Épocas | epochCount | El número de iteraciones en todo el conjunto de datos de entrenamiento | entero | 1 | 100 | 1 |
| Tamaño de lote | batchSize | El número de muestras procesadas antes de actualizar los parámetros del modelo | entero | 8 | 8 (Command) 32 (Light) |
8 |
| Tasa de aprendizaje | learningRate | Es la velocidad a la que se actualizan los parámetros del modelo después de cada lote. Si utiliza un conjunto de datos de validación, le recomendamos que no proporcione un valor para learningRate. |
float | 5.00E-6 | 0.1 | 1,00E-5 |
| Umbral de finalización anticipada | earlyStoppingThreshold | Mejora mínima de la pérdida de validación necesaria para evitar la finalización anticipada del proceso de aprendizaje | float | 0 | 0.1 | 0.01 |
| Paciencia para finalización anticipada | earlyStoppingPatience | Tolerancia al estancamiento en la métrica de pérdida antes de detener el proceso de aprendizaje | entero | 1 | 10 | 6 |
| Porcentaje de evaluación | evalPercentage |
El porcentaje del conjunto de datos asignado a la evaluación del modelo, si no proporciona un conjunto de datos de validación independiente. |
float | 5 | 50 | 20 |
Los modelos Meta Llama 3.1 8B y 70B admiten los siguientes hiperparámetros para la personalización del modelo. El número de épocas que especifique aumentará el costo de personalización del modelo al procesar más tokens. Cada época procesa todo el conjunto de datos de entrenamiento una sola vez. Para obtener más información acerca de los precios, consulte Precios de Amazon Bedrock
Para obtener información sobre el ajuste preciso de los modelos Meta Llama, consulte la Meta documentación en https://ai.meta.com/llama/get-started/ #fine -tuning
nota
La cuota de epochCount se puede ajustar.
| Hiperparámetro (consola) | Hiperparámetro (API) | Definición | Mínimo | Máximo | Predeterminado |
|---|---|---|---|---|---|
| Épocas | epochCount | El número de iteraciones en todo el conjunto de datos de entrenamiento | 1 | 10 | 5 |
| Tamaño de lote | batchSize | El número de muestras procesadas antes de actualizar los parámetros del modelo | 1 | 1 | 1 |
| Tasa de aprendizaje | learningRate | La velocidad a la que se actualizan los parámetros del modelo después de cada lote | 5.00E-6 | 0.1 | 1.00E-4 |
Los modelos Meta Llama 3.2 1B, 3B, 11B y 90B admiten los siguientes hiperparámetros para la personalización de modelos. El número de épocas que especifique aumentará el costo de personalización del modelo al procesar más tokens. Cada época procesa todo el conjunto de datos de entrenamiento una sola vez. Para obtener más información acerca de los precios, consulte Precios de Amazon Bedrock
Para obtener información sobre el ajuste preciso de los modelos Meta Llama, consulte la Meta documentación en https://ai.meta.com/llama/get-started/ #fine -tuning
| Hiperparámetro (consola) | Hiperparámetro (API) | Definición | Mínimo | Máximo | Predeterminado |
|---|---|---|---|---|---|
| Épocas | epochCount | El número de iteraciones en todo el conjunto de datos de entrenamiento | 1 | 10 | 5 |
| Tamaño de lote | batchSize | El número de muestras procesadas antes de actualizar los parámetros del modelo | 1 | 1 | 1 |
| Tasa de aprendizaje | learningRate | La velocidad a la que se actualizan los parámetros del modelo después de cada lote | 5.00E-6 | 0.1 | 1.00E-4 |
