Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Hyperparamètres du modèle personnalisé
Le contenu de référence suivant couvre les hyperparamètres disponibles pour l’entraînement de chaque modèle personnalisé Amazon Bedrock.
Un hyperparamètre est un paramètre qui contrôle le processus d'apprentissage, tel que le taux d'apprentissage ou le nombre d'époques. Vous définissez des hyperparamètres pour l'entraînement de modèles personnalisés lorsque vous soumettez la tâche de réglage fin à l'aide de la console Amazon Bedrock ou en appelant l'opération CreateModelCustomizationJobAPI.
Les modèles Amazon Nova Lite, Amazon Nova Micro et Amazon Nova Pro prennent en charge les trois hyperparamètres suivants pour la personnalisation du modèle. Pour plus d’informations, consultez Personnalisation de votre modèle pour améliorer ses performances en fonction de votre cas d’utilisation.
Pour plus d’informations sur le peaufinage des modèles Amazon Nova, consultez Peaufinage des modèles Amazon Nova.
Le nombre d’époques que vous spécifiez augmente le coût de personnalisation de votre modèle en traitant davantage de jetons. Chaque époque traite l’intégralité du jeu de données d’entraînement une seule fois. Pour plus d’informations sur la tarification, consultez Tarification d’Amazon Bedrock
| Hyperparamètre (console) | Hyperparamètre (API) | Définition | Type | Minimum | Maximum | Par défaut |
|---|---|---|---|---|---|---|
| Époques | epochCount | Nombre d’itérations dans l’ensemble du jeu de données d’entraînement | entier | 1 | 5 | 2 |
| Taux d’apprentissage | learningRate | Fréquence à laquelle les paramètres du modèle sont mis à jour après chaque lot | float | 1,00E-6 | 1,00E-4 | 1.00E-5 |
| Étapes de préparation du taux d’apprentissage | learningRateWarmupÉtapes | Nombre d’itérations au cours desquelles le taux d’apprentissage est progressivement augmenté jusqu’au taux spécifié | entier | 0 | 100 | 10 |
La valeur d’époque par défaut est 2, ce qui fonctionne dans la plupart des cas. En général, les grands jeux de données nécessitent moins d’époques pour converger, tandis que les jeux de données plus petits nécessitent plus d’époques pour converger. Une convergence plus rapide peut également être atteinte en augmentant le taux d’apprentissage, mais cela est moins souhaitable, car cela pourrait entraîner une instabilité de la formation lors de la convergence. Nous vous recommandons de commencer par les hyperparamètres par défaut, qui sont basés sur notre évaluation de tâches de complexité et de taille de données différentes.
Le taux d’apprentissage augmentera progressivement jusqu’à la valeur définie pendant la préparation. Par conséquent, nous vous recommandons d’éviter une valeur de préparation élevée lorsque l’échantillon d’apprentissage est petit, car le taux d’apprentissage risque de ne jamais atteindre la valeur définie pendant le processus d’entraînement. Nous vous recommandons de définir les étapes de préparation en divisant la taille du jeu de données par 640 pour Amazon Nova Micro, 160 pour Amazon Nova Lite et 320 pour Amazon Nova Pro.
Le modèle Amazon Nova Canvas prend en charge les hyperparamètres suivants pour la personnalisation du modèle.
| Hyperparamètre (console) | Hyperparamètre (API) | Définition | Minimum | Maximum | Par défaut |
|---|---|---|---|---|---|
| Taille de lot | batchSize | Nombre d’échantillons traités avant la mise à jour des paramètres du modèle | 8 | 192 | 8 |
| Étapes | stepCount | Nombre de fois que le modèle est exposé à chaque lot | 10 | 20 000 | 500 |
| Taux d’apprentissage | learningRate | Fréquence à laquelle les paramètres du modèle sont mis à jour après chaque lot | 1.00E-7 | 1,00E-4 | 1.00E-5 |
Le modèle Amazon Titan Text Premier prend en charge les hyperparamètres suivants pour la personnalisation du modèle. Le nombre d’époques que vous spécifiez augmente le coût de personnalisation de votre modèle en traitant davantage de jetons. Chaque époque traite l’intégralité du jeu de données d’entraînement une seule fois. Pour plus d’informations sur la tarification, consultez Tarification d’Amazon Bedrock
| Hyperparamètre (console) | Hyperparamètre (API) | Définition | Type | Minimum | Maximum | Par défaut |
|---|---|---|---|---|---|---|
| Époques | epochCount | Nombre d’itérations dans l’ensemble du jeu de données d’entraînement | entier | 1 | 5 | 2 |
| Taille du lot (micro) | batchSize | Nombre d’échantillons traités avant la mise à jour des paramètres du modèle | entier | 1 | 1 | 1 |
| Taux d’apprentissage | learningRate | Fréquence à laquelle les paramètres du modèle sont mis à jour après chaque lot | float | 1,00E-07 | 1,00E-05 | 1,00E-06 |
| Étapes de préparation du taux d’apprentissage | learningRateWarmupÉtapes | Nombre d’itérations au cours desquelles le taux d’apprentissage est progressivement augmenté jusqu’au taux spécifié | entier | 0 | 20 | 5 |
Les modèles Amazon Titan Text, tels que Lite et Express, prennent en charge les hyperparamètres suivants pour la personnalisation du modèle. Le nombre d’époques que vous spécifiez augmente le coût de personnalisation de votre modèle en traitant davantage de jetons. Chaque époque traite l’intégralité du jeu de données d’entraînement une seule fois. Pour plus d’informations sur la tarification, consultez Tarification d’Amazon Bedrock
| Hyperparamètre (console) | Hyperparamètre (API) | Définition | Type | Minimum | Maximum | Par défaut |
|---|---|---|---|---|---|---|
| Époques | epochCount | Nombre d’itérations dans l’ensemble du jeu de données d’entraînement | entier | 1 | 10 | 5 |
| Taille du lot (micro) | batchSize | Nombre d’échantillons traités avant la mise à jour des paramètres du modèle | entier | 1 | 64 | 1 |
| Taux d’apprentissage | learningRate | Fréquence à laquelle les paramètres du modèle sont mis à jour après chaque lot | float | 0.0 | 1 | 1.00E-5 |
| Étapes de préparation du taux d’apprentissage | learningRateWarmupÉtapes | Nombre d’itérations au cours desquelles le taux d’apprentissage est progressivement augmenté jusqu’au taux spécifié | entier | 0 | 250 | 5 |
Le modèle de générateur d’images Amazon Titan G1 prend en charge les hyperparamètres suivants pour la personnalisation du modèle.
Note
stepCount n’a aucune valeur par défaut et doit être spécifiée. stepCount soutient la valeur auto. auto donne la priorité aux performances du modèle par rapport aux coûts d’entraînement en déterminant automatiquement un chiffre en fonction de la taille de votre jeu de données. Le coût des tâches d’entraînement dépend du nombre que auto détermine. Pour comprendre comment le coût des tâches est calculé et pour consulter des exemples, consultez Tarification d’Amazon Bedrock
| Hyperparamètre (console) | Hyperparamètre (API) | Définition | Minimum | Maximum | Par défaut |
|---|---|---|---|---|---|
| Taille de lot | batchSize | Nombre d’échantillons traités avant la mise à jour des paramètres du modèle | 8 | 192 | 8 |
| Étapes | stepCount | Nombre de fois que le modèle est exposé à chaque lot | 10 | 40 000 | N/A |
| Taux d’apprentissage | learningRate | Fréquence à laquelle les paramètres du modèle sont mis à jour après chaque lot | 1.00E-7 | 1 | 1.00E-5 |
Le modèle Amazon Titan Multimodal Embeddings G1 prend en charge les hyperparamètres suivants pour la personnalisation du modèle. Le nombre d’époques que vous spécifiez augmente le coût de personnalisation de votre modèle en traitant davantage de jetons. Chaque époque traite l’intégralité du jeu de données d’entraînement une seule fois. Pour plus d’informations sur la tarification, consultez Tarification d’Amazon Bedrock
Note
epochCount n’a aucune valeur par défaut et doit être spécifiée. epochCount soutient la valeur Auto. Auto donne la priorité aux performances du modèle par rapport aux coûts d’entraînement en déterminant automatiquement un chiffre en fonction de la taille de votre jeu de données. Le coût des tâches d’entraînement dépend du nombre que Auto détermine. Pour comprendre comment le coût des tâches est calculé et pour consulter des exemples, consultez Tarification d’Amazon Bedrock
| Hyperparamètre (console) | Hyperparamètre (API) | Définition | Type | Minimum | Maximum | Par défaut |
|---|---|---|---|---|---|---|
| Époques | epochCount | Nombre d’itérations dans l’ensemble du jeu de données d’entraînement | entier | 1 | 100 | N/A |
| Taille de lot | batchSize | Nombre d’échantillons traités avant la mise à jour des paramètres du modèle | entier | 256 | 9 216 | 576 |
| Taux d’apprentissage | learningRate | Fréquence à laquelle les paramètres du modèle sont mis à jour après chaque lot | float | 5,00E-8 | 1 | 5,00E-5 |
Les modèles Anthropic Claude 3 prennent en charge les hyperparamètres suivants pour la personnalisation du modèle. Le nombre d’époques que vous spécifiez augmente le coût de personnalisation de votre modèle en traitant davantage de jetons. Chaque époque traite l’intégralité du jeu de données d’entraînement une seule fois. Pour plus d’informations sur la tarification, consultez Tarification d’Amazon Bedrock
| Nom de la console | Nom d'API | Définition | Par défaut | Minimum | Maximum |
|---|---|---|---|---|---|
| Nombre d’époques | epochCount | Nombre d’itérations maximum dans l’ensemble du jeu de données d’entraînement | 2 | 1 | 10 |
| Taille de lot | batchSize | Nombre d’échantillons traités avant la mise à jour des paramètres du modèle | 32 | 4 | 256 |
| Multiplicateur du taux d’apprentissage | learningRateMultiplier | Multiplicateur qui influence la fréquence à laquelle les paramètres du modèle sont mis à jour après chaque lot | 1 | 0.1 | 2 |
| Seuil d’arrêt anticipé | earlyStoppingThreshold | Amélioration minimale des pertes de validation requise pour empêcher l’arrêt prématuré du processus d’entraînement | 0.001 | 0 | 0.1 |
| Patience d’arrêt anticipé | earlyStoppingPatience | Tolérance de stagnation de la métrique de perte de validation avant l’arrêt du processus d’entraînement | 2 | 1 | 10 |
Les modèles Cohere Command et Cohere Command Light prennent en charge les hyperparamètres suivants pour la personnalisation du modèle. Le nombre d’époques que vous spécifiez augmente le coût de personnalisation de votre modèle en traitant davantage de jetons. Chaque époque traite l’intégralité du jeu de données d’entraînement une seule fois. Pour plus d’informations sur la tarification, consultez Tarification d’Amazon Bedrock
Pour plus d'informations sur le réglage précis Cohere des modèles, consultez la Cohere documentation sur le https://docs.cohere.com/docs/réglage précis
Note
Le quota epochCount est réglable.
| Hyperparamètre (console) | Hyperparamètre (API) | Définition | Type | Minimum | Maximum | Par défaut |
|---|---|---|---|---|---|---|
| Époques | epochCount | Nombre d’itérations dans l’ensemble du jeu de données d’entraînement | entier | 1 | 100 | 1 |
| Taille de lot | batchSize | Nombre d’échantillons traités avant la mise à jour des paramètres du modèle | entier | 8 | 8 (Command) 32 (Light) |
8 |
| Taux d’apprentissage | learningRate | Fréquence à laquelle les paramètres du modèle sont mis à jour après chaque lot. Si vous utilisez un jeu de données de validation, nous vous recommandons de ne pas fournir de valeur pour learningRate. |
float | 5,00E-6 | 0.1 | 1.00E-5 |
| Seuil d’arrêt anticipé | earlyStoppingThreshold | Amélioration minimale des pertes requise pour empêcher l’arrêt prématuré du processus d’entraînement. | float | 0 | 0.1 | 0,01 |
| Patience d’arrêt anticipé | earlyStoppingPatience | Tolérance de stagnation de la métrique de perte avant l’arrêt du processus d’entraînement. | entier | 1 | 10 | 6 |
| Pourcentage d’évaluation | evalPercentage |
Pourcentage du jeu de données alloué à l’évaluation des modèles, si vous ne fournissez pas de jeu de données de validation distinct. |
float | 5 | 50 | 20 |
Les modèles Meta Llama 3.1 8B et 70B prennent en charge les hyperparamètres suivants pour la personnalisation du modèle. Le nombre d’époques que vous spécifiez augmente le coût de personnalisation de votre modèle en traitant davantage de jetons. Chaque époque traite l’intégralité du jeu de données d’entraînement une seule fois. Pour plus d’informations sur la tarification, consultez Tarification d’Amazon Bedrock
Pour plus d'informations sur le réglage précis des modèles Meta Llama, consultez la Meta documentation sur https://ai.meta.com/llama/get-started/ #fine -tuning
Note
Le quota epochCount est réglable.
| Hyperparamètre (console) | Hyperparamètre (API) | Définition | Minimum | Maximum | Par défaut |
|---|---|---|---|---|---|
| Époques | epochCount | Nombre d’itérations dans l’ensemble du jeu de données d’entraînement | 1 | 10 | 5 |
| Taille de lot | batchSize | Nombre d’échantillons traités avant la mise à jour des paramètres du modèle | 1 | 1 | 1 |
| Taux d’apprentissage | learningRate | Fréquence à laquelle les paramètres du modèle sont mis à jour après chaque lot | 5,00E-6 | 0.1 | 1,00E-4 |
Les modèles Meta Llama 3.2 1B, 3B, 11B et 90B prennent en charge les trois hyperparamètres suivants pour la personnalisation du modèle. Le nombre d’époques que vous spécifiez augmente le coût de personnalisation de votre modèle en traitant davantage de jetons. Chaque époque traite l’intégralité du jeu de données d’entraînement une seule fois. Pour plus d’informations sur la tarification, consultez Tarification d’Amazon Bedrock
Pour plus d'informations sur le réglage précis des modèles Meta Llama, consultez la Meta documentation sur https://ai.meta.com/llama/get-started/ #fine -tuning
| Hyperparamètre (console) | Hyperparamètre (API) | Définition | Minimum | Maximum | Par défaut |
|---|---|---|---|---|---|
| Époques | epochCount | Nombre d’itérations dans l’ensemble du jeu de données d’entraînement | 1 | 10 | 5 |
| Taille de lot | batchSize | Nombre d’échantillons traités avant la mise à jour des paramètres du modèle | 1 | 1 | 1 |
| Taux d’apprentissage | learningRate | Fréquence à laquelle les paramètres du modèle sont mis à jour après chaque lot | 5,00E-6 | 0.1 | 1,00E-4 |
