Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Modèles de fondation et hyperparamètres pour le peaufinage
Les modèles de base sont coûteux en termes de calcul et entraînés sur un vaste corpus non étiqueté. Fine-tuning un modèle de base pré-entraîné est un moyen abordable de tirer parti de leurs vastes capacités tout en personnalisant un modèle sur votre propre petit corpus. Fine-tuning est une méthode de personnalisation qui implique un entraînement supplémentaire et modifie les poids de votre modèle.
Fine-tuning pourrait vous être utile si vous avez besoin de :
-
de personnaliser votre modèle en fonction des besoins spécifiques de votre entreprise
-
que votre modèle fonctionne correctement avec un langage spécifique à un domaine, tel que le jargon de l'industrie, les termes techniques ou tout autre vocabulaire spécialisé
-
de performances améliorées pour certaines tâches
-
de réponses précises, relatives et contextuelles dans les applications
-
de réponses plus factuelles, moins toxiques et mieux adaptées à certaines exigences
Il existe deux approches principales que vous pouvez adopter pour l'optimisation en fonction de votre cas d'utilisation et du modèle de fondation choisi.
-
Si vous souhaitez optimiser votre modèle sur des données spécifiques à un domaine, consultez Fine-tune un grand modèle de langage (LLM) utilisant l'adaptation de domaine.
-
Si vous souhaitez effectuer une optimisation basée sur des instructions à l'aide d'exemples d'invite et de réponse, consultez Fine-tune un grand modèle de langage (LLM) utilisant des instructions rapides.
Modèles de fondation disponibles pour le peaufinage
Vous pouvez affiner l'un des modèles de JumpStart base suivants :
-
Bloom 3B
-
Bloom 7B1
-
BloomZ 3B FP16
-
BloomZ 7B1 FP16
-
Code Llama 13B
-
Code Llama 13B Python
-
Code Llama 34B
-
Code Llama 34B Python
-
Code Llama 70B
-
Code Llama 70B Python
-
Code Llama 7B
-
Code Llama 7B Python
-
CyberAgentLM2-7B-Chat (CALM2-7B-Chat)
-
Falcon 40B BF16
-
Falcon 40B Instruct BF16
-
Falcon 7B BF16
-
Falcon 7B Instruct BF16
-
Flan-T5 Base
-
Flan-T5 Grand
-
Flan-T5 Petit
-
Flan-T5 XL
-
Flan-T5 XXL
-
Gemma 2B
-
Gemma 2B Instruct
-
Gemma 7B
-
Gemma 7B Instruct
-
GPT-2 XL
-
GPT-J 6B
-
GPT-Neo 1,3 B
-
GPT-Neo 125 M
-
GPT-NEO 2,7 B
-
LightGPT Instruct 6B
-
Llama 2 13B
-
Llama 2 13B Chat
-
Llama 2 13B Neuron
-
Llama 2 70B
-
Llama 2 70B Chat
-
Llama 2 7B
-
Llama 2 7B Chat
-
Llama 2 7B Neuron
-
Mistral 7B
-
Mixtral 8x7B
-
Mixtral 8x7B Instruct
-
RedPajama INCITE Base 3B V1
-
RedPajama INCITE Base 7B V1
-
RedPajama Tableau INCITE 3B V1
-
RedPajama Tableau INCITE 7B V1
-
RedPajama INCITE Instrut 3B V1
-
RedPajama Invite Instruit 7B V1
-
Stable Diffusion 2.1
Hyperparamètres de peaufinage couramment pris en charge
Différents modèles de fondation prennent en charge différents hyperparamètres lors d’un peaufinage. Les hyperparamètres suivants sont couramment pris en charge et permettent de personnaliser davantage votre modèle pendant l’entraînement :
| Paramètres d’inférence | Description |
|---|---|
|
Nombre de passages effectués par le modèle dans le jeu de données de peaufinage pendant l’entraînement. Il doit s'agir d'un entier supérieur à 1. |
|
Taux auquel les poids du modèle sont mis à jour après que chaque lot d’exemples d’entraînement de peaufinage a été parcouru. Doit être une valeur flottante positive supérieure à 0. |
|
S’il faut entraîner le modèle sur instruction ou non. Doit être |
|
Taille du lot par cœur de GPU ou CPU pour l’entraînement. Doit être un nombre entier positif. |
|
Taille du lot par cœur de GPU ou CPU pour l’évaluation. Doit être un nombre entier positif. |
|
À des fins de débogage ou d’entraînement plus rapide, tronquez le nombre d’exemples d’entraînement à cette valeur. La valeur -1 signifie que le modèle utilise tous les exemples d’entraînement. Doit être un nombre entier positif ou -1. |
|
À des fins de débogage ou d’entraînement plus rapide, tronquez le nombre d’exemples de validation à cette valeur. La valeur -1 signifie que le modèle utilise tous les exemples de validation. Doit être un nombre entier positif ou -1. |
|
Longueur totale maximale de la séquence d’entrée après création de jeton. Les séquences plus longues seront tronquées. Si -1, le paramètre |
|
S’il n’existe aucun canal de validation, le ratio entraînement-validation est calculé à partir des données d’entraînement. Doit être compris entre 0 et 1. |
|
Si les données de validation sont absentes, ceci corrige la répartition aléatoire des données d’entraînement d’entrée en données d’entraînement et de validation utilisées par le modèle. Doit être un nombre entier. |
|
Nombre de processus à utiliser pour le prétraitement. Si la valeur est |
|
Low-rank valeur d'adaptation (LoRa) r, qui agit comme facteur d'échelle pour les mises à jour de poids. Doit être un nombre entier positif. |
|
Low-rank valeur alpha d'adaptation (LoRa), qui agit comme facteur d'échelle pour les mises à jour de poids. Généralement 2 à 4 fois la taille de |
|
La valeur d’abandon pour les couches d’adaptation de rang inférieur (LoRA) doit être une valeur flottante positive comprise entre 0 et 1. |
|
Si la valeur est |
|
Si la valeur est |
Vous pouvez spécifier les valeurs des hyperparamètres lorsque vous optimisez votre modèle dans Studio. Pour de plus amples informations, veuillez consulter Fine-tune un modèle dans Studio.
Vous pouvez également modifier les valeurs d'hyperparamètres par défaut lorsque vous peaufinez votre modèle à l'aide du SDK. SageMaker Python Pour de plus amples informations, veuillez consulter Fine-tune modèles de base accessibles au public avec la JumpStartEstimator classe.
