Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Amazon Nova-Anpassung bei Amazon SageMaker HyperPod
Sie können Amazon Nova-Modelle, einschließlich der erweiterten Nova 2.0-Modelle, mithilfe von Amazon Nova-Rezepten anpassen und sie bei Amazon trainieren SageMaker HyperPod. Ein Rezept ist eine YAML-Konfigurationsdatei, die der SageMaker KI Einzelheiten zur Ausführung Ihrer Modellanpassung zur Verfügung stellt. Amazon SageMaker HyperPod unterstützt zwei Arten von Diensten: Forge und Non-Forge.
Amazon SageMaker HyperPod bietet Hochleistungsdatenverarbeitung mit optimierten GPU-Instances und Amazon FSx for Lustre-Speicher, robuste Überwachung durch Integration mit Tools wie TensorBoard flexiblem Checkpoint-Management für iterative Verbesserungen, nahtlose Bereitstellung auf Amazon Bedrock für Inferenz und effizientes, skalierbares verteiltes Training mit mehreren Knoten — alles zusammen bietet Unternehmen eine sichere, leistungsstarke und flexible Umgebung, in der sie Nova-Modelle an ihre spezifischen Geschäftsanforderungen anpassen können.
Die Amazon Nova-Anpassung auf Amazon SageMaker HyperPod speichert Modellartefakte, einschließlich Modell-Checkpoints, in einem serviceverwalteten Amazon S3 S3-Bucket. Artefakte im vom Service verwalteten Bucket werden mit SageMaker -verwalteten Schlüsseln verschlüsselt. AWS KMS Serviceverwaltete Amazon-S3-Buckets unterstützen derzeit keine Datenverschlüsselung mit kundenverwalteten KMS-Schlüsseln. Sie können diesen Checkpoint-Standort für Bewertungsjobs oder Amazon-Bedrock-Inferenz verwenden.
Standardpreise können für Compute-Instances, Amazon S3 S3-Speicher und FSx für Lustre gelten. Preisdetails finden Sie unter SageMaker HyperPodPreise
Rechenanforderungen für Amazon Nova 1-Modelle
In den folgenden Tabellen sind die Rechenanforderungen für Nova SageMaker HyperPod 1.0-Modelle und die Ausbildung von SageMaker KI-Schulungsjobs zusammengefasst.
Modell |
Länge der Reihenfolge |
Knoten |
Instance |
Accelerator |
|---|---|---|---|---|
Amazon Nova Micro |
8,192 |
8 |
ml.p5.48xlarge |
GPU H100 |
Amazon Nova Lite |
8,192 |
16 |
ml.p5.48xlarge |
GPU H100 |
Amazon Nova Pro |
8,192 |
12 |
ml.p5.48xlarge |
GPU H100 |
Modell |
Länge der Reihenfolge |
Anzahl der Knoten |
Instance |
Accelerator |
|---|---|---|---|---|
Direct Preference Optimization (vollständig) |
32.768 |
2, 4 oder 6 |
ml.p5.48xlarge |
GPU H100 |
Direct Preference Optimization (LoRA) |
32.768 |
2, 4 oder 6 |
ml.p5.48xlarge |
GPU H100 |
Modell |
Technik |
Länge der Reihenfolge |
Anzahl der Knoten |
Instance |
Accelerator |
|---|---|---|---|---|---|
| Amazon Nova 1 Mikro |
Überwachte Optimierung (LoRA) |
65.536 |
2 |
ml.p5.48xlarge |
GPU H100 |
| Amazon Nova 1 Mikro |
Überwachte Optimierung (vollständig) |
65.536 |
2 |
ml.p5.48xlarge |
GPU H100 |
| Amazon Nova 1 Lite |
Überwachte Feinabstimmung (LoRA) |
32.768 |
4 |
ml.p5.48xlarge |
GPU H100 |
| Amazon Nova 1 Lite |
Überwachte Optimierung (vollständig) |
65.536 |
4 |
ml.p5.48xlarge |
GPU H100 |
| Amazon Nova 1 Pro |
Überwachte Optimierung (LoRA) |
65.536 |
6 |
ml.p5.48xlarge |
GPU H100 |
| Amazon Nova 1 Pro |
Überwachte Optimierung (vollständig) |
65.536 |
6 |
ml.p5.48xlarge |
GPU H100 |
Modell |
Knoten |
Instance |
|---|---|---|
Modelldestillation nach dem Training |
1 |
ml.r5.24xlarge |
Modell |
Länge der Reihenfolge |
Knoten |
Instance |
Accelerator |
|---|---|---|---|---|
Allgemeines Text-Benchmark-Rezept |
8,192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Benchmark-Rezept mit eigenem Datensatz (gen_qa) |
8,192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Rezept für Amazon Nova LLM-as-a-Judge |
8,192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Standard-Text-Benchmarks |
8,192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Benutzerdefinierte Datensatzbewertung |
8,192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Multimodale Benchmarks |
8,192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Modell |
Anzahl der Instances im kritischen Modell |
Anzahl der Instances im Belohnungsmodell |
Anzahl der Instances im Ankermodell |
Akteurtraining |
Akteurgenerierung |
Anzahl der Instances |
Gesamtstunden pro Lauf |
P5-Stunden |
Instance-Typ |
|---|---|---|---|---|---|---|---|---|---|
Amazon Nova Micro |
1 |
1 |
1 |
2 |
2 |
7 |
8 |
56 |
ml.p5.48xlarge |
Amazon Nova Lite |
1 |
1 |
1 |
2 |
2 |
7 |
16 |
112 |
ml.p5.48xlarge |
Amazon Nova Pro |
1 |
1 |
1 |
6 |
2 |
11 |
26 |
260 |
ml.p5.48xlarge |
Rechenanforderungen für Amazon Nova 2-Modelle
In den folgenden Tabellen sind die Rechenanforderungen für Nova 2-Modelle SageMaker HyperPod und die Ausbildung von SageMaker KI-Schulungsjobs zusammengefasst.
Trainingstechnik |
Minimale Anzahl von Instanzen |
Instance-Typ |
Anzahl der GPUs |
Hinweise |
|---|---|---|---|---|
SFT (LoRa) |
4 |
P 5.48 x groß |
16 |
Parametereffiziente Feinabstimmung |
SFT (voller Rang) |
4 |
P 5.48 x groß |
32 |
Vollständige Feinabstimmung des Modells |
RFT zu SageMaker KI-Ausbildungsberufen (LoRa) |
2 |
P5.48 x groß |
16 |
Benutzerdefinierte Belohnungsfunktionen in Ihrer Umgebung AWS |
RFT zu SageMaker KI-Schulungsjobs (voller Rang) |
4 |
P5.48 x groß |
32 |
Länge des Kontextes von 32 KB |
RFT aktiviert SageMaker HyperPod |
8 |
P 5.48 x groß |
64 |
Standardkontextlänge 8192 |
CPT |
2 |
P 5.48 x groß |
16 |
Verarbeitet ungefähr 1,25 Milliarden Token pro Tag |
Themen
