Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Personnalisation d'Amazon Nova sur Amazon SageMaker HyperPod
Vous pouvez personnaliser les modèles Amazon Nova, y compris les modèles Nova 2.0 améliorés, à l'aide des recettes Amazon Nova et les entraîner sur Amazon SageMaker HyperPod. Une recette est un fichier de configuration YAML qui fournit des informations à l' SageMaker IA sur la manière d'exécuter votre tâche de personnalisation de modèle. Amazon SageMaker HyperPod prend en charge deux types de services : Forge et non-Forge.
Amazon SageMaker HyperPod propose un calcul haute performance avec des instances GPU optimisées et Amazon FSx pour le stockage Lustre, une surveillance robuste grâce à l'intégration d'outils tels que TensorBoard la gestion flexible des points de contrôle pour une amélioration itérative, un déploiement fluide sur Amazon Bedrock à des fins d'inférence et une formation distribuée multi-nœuds efficace et évolutive, le tout fonctionnant ensemble pour fournir aux entreprises un environnement sécurisé, performant et flexible leur permettant d'adapter les modèles Nova à leurs besoins commerciaux spécifiques.
La personnalisation d'Amazon Nova sur Amazon SageMaker HyperPod stocke les artefacts du modèle, y compris les points de contrôle du modèle, dans un compartiment Amazon S3 géré par des services. Les artefacts du compartiment géré par les services sont chiffrés à l'aide de clés gérées par des SageMaker services. AWS KMS Les compartiments Amazon S3 gérés par service ne prennent actuellement pas en charge le chiffrement des données à l’aide de clés KMS gérées par le client. Vous pouvez utiliser cet emplacement de point de contrôle pour les tâches d’évaluation ou l’inférence Amazon Bedrock.
La tarification standard peut s'appliquer aux instances de calcul, au stockage Amazon S3 et FSx à Lustre. Pour plus de détails sur les SageMaker HyperPodtarifs, consultez les tarifs
Exigences de calcul pour les modèles Amazon Nova 1
Les tableaux suivants résument les exigences informatiques SageMaker HyperPod et la formation aux métiers de formation en SageMaker IA pour les modèles Nova 1.0.
Modèle |
Durée de la séquence |
Nœuds |
Instance |
Accélérateur |
|---|---|---|---|---|
Amazon Nova Micro |
8 192 |
8 |
ml.p5.48xlarge |
GPU H100 |
Amazon Nova Lite |
8 192 |
16 |
ml.p5.48xlarge |
GPU H100 |
Amazon Nova Pro |
8 192 |
12 |
ml.p5.48xlarge |
GPU H100 |
Modèle |
Durée de la séquence |
Nombre de modèles |
Instance |
Accélérateur |
|---|---|---|---|---|
Optimisation directe des préférences (complète) |
32 768 |
2, 4 ou 6 |
ml.p5.48xlarge |
GPU H100 |
Optimisation directe des préférences (LoRA) |
32 768 |
2, 4 ou 6 |
ml.p5.48xlarge |
GPU H100 |
Modèle |
Technique |
Durée de la séquence |
Nombre de modèles |
Instance |
Accélérateur |
|---|---|---|---|---|---|
| Amazon Nova 1 Micro |
Peaufinage supervisé (LoRA) |
65 536 |
2 |
ml.p5.48xlarge |
GPU H100 |
| Amazon Nova 1 Micro |
Peaufinage supervisé (complet) |
65 536 |
2 |
ml.p5.48xlarge |
GPU H100 |
| Amazon Nova 1 Lite |
Peaufinage supervisé (LoRA) |
32 768 |
4 |
ml.p5.48xlarge |
GPU H100 |
| Amazon Nova 1 Lite |
Peaufinage supervisé (complet) |
65 536 |
4 |
ml.p5.48xlarge |
GPU H100 |
| Amazon Nova 1 Pro |
Peaufinage supervisé (LoRA) |
65 536 |
6 |
ml.p5.48xlarge |
GPU H100 |
| Amazon Nova 1 Pro |
Peaufinage supervisé (complet) |
65 536 |
6 |
ml.p5.48xlarge |
GPU H100 |
Modèle |
Nœuds |
Instance |
|---|---|---|
Distillation de modèles pour post-entraînement |
1 |
ml.r5.24xlarge |
Modèle |
Durée de la séquence |
Nœuds |
Instance |
Accélérateur |
|---|---|---|---|---|
Formule de point de référence de texte général |
8 192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Apportez votre propre formule de point de référence de jeu de données (gen_qa) |
8 192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Formule Amazon Nova LLM-juge |
8 192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Points de référence de texte standard |
8 192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Évaluation de jeu de données personnalisé |
8 192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Points de référence multimodaux |
8 192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Modèle |
Nombre d’instances du modèle critique |
Nombre d’instances du modèle récompense |
Nombre d’instances du modèle ancrage |
Entraînement des modèles acteurs |
Génération de modèle acteur |
Nombre d’instances |
Nombre total d’heures par exécution |
Heures P5 |
Type d'instance |
|---|---|---|---|---|---|---|---|---|---|
Amazon Nova Micro |
1 |
1 |
1 |
2 |
2 |
7 |
8 |
56 |
ml.p5.48xlarge |
Amazon Nova Lite |
1 |
1 |
1 |
2 |
2 |
7 |
16 |
112 |
ml.p5.48xlarge |
Amazon Nova Pro |
1 |
1 |
1 |
6 |
2 |
11 |
26 |
260 |
ml.p5.48xlarge |
Exigences de calcul pour les modèles Amazon Nova 2
Les tableaux suivants résument les exigences informatiques SageMaker HyperPod et la formation aux métiers de formation en SageMaker IA pour les modèles Nova 2.
Technique d'entraînement |
Instances minimales |
Type d'instance |
Nombre de GPU |
Remarques |
|---|---|---|---|---|
ST (LoRa) |
4 |
P5.48 x large |
16 |
Réglage précis efficace en fonction des paramètres |
SFT (classement complet) |
4 |
P5.48 x large |
32 |
Réglage complet du modèle |
RFT sur les emplois de formation en SageMaker IA (LoRa) |
2 |
P5.48 x large |
16 |
Fonctions de récompense personnalisées dans votre AWS environnement |
Emplois de formation RFT sur l' SageMaker IA (classement complet) |
4 |
P5.48 x large |
32 |
Longueur de contexte 32 Ko |
RFT activé SageMaker HyperPod |
8 |
P5.48 x large |
64 |
Longueur de contexte par défaut : 8192 |
CPT |
2 |
P5.48 x large |
16 |
Traite environ 1,25 milliard de jetons par jour |
Rubriques
