Amazon-Nova-Rezepte - Amazon Nova

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Amazon-Nova-Rezepte

Sie können ein Amazon Nova-Rezept aus dem Rezepte-Repository abrufen. Ein Amazon Nova-Rezept ist eine YAML-Konfigurationsdatei, die Details SageMaker zur Ausführung Ihres Modellanpassungsjobs enthält. Sie enthält den Namen des Basismodells, legt die Hyperparameter für das Training fest, definiert Feinabstimmungseinstellungen und enthält alle zusätzlichen Optionen, die für die Feinabstimmung oder das erfolgreiche Training des Modells erforderlich sind.

Sie können auch über Amazon SageMaker Studio auf Amazon Nova-Rezepte zugreifen, indem Sie zum Model-Hub navigieren, Amazon Nova-Modelle auswählen und durchsuchen AWS, um die zugehörigen Rezepte zu finden. Sowohl Amazon SageMaker Studio als auch Amazon stellen Beispielnotizbücher für jedes Rezept zur Verfügung, die alle erforderlichen Schritte zum Ändern der Rezepte und zum Ausführen von Anpassungsaufgaben mithilfe von SageMaker Trainingsjobs oder SageMaker HyperPod Umgebungen enthalten.

Um auf die Rezeptseiten in Amazon SageMaker Studio zugreifen zu können, muss die Ausführungsrolle über die folgenden Berechtigungen verfügen.

JSON
{ "Version":"2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "s3:GetObject" ], "Resource": [ "arn:aws:s3:::*model-customization-recipes*" ] } ] }

Verwenden Sie eine der folgenden SageMaker Distributions-Image-Versionen, um die Beispielnotizbücher für SageMaker Trainingsjobs auszuführen: 2.7.1+2.8.0+,,3.2.1+,3.3.0+. Dies gilt sowohl für Amazon SageMaker Studio als auch.

Abrufen von Amazon-Nova-Rezepten

Um ein Amazon Nova-Basisrezept zu erhalten, klonen Sie das Rezepte-Repository, indem Sie den folgenden Befehl ausführen.

git clone https://github.com/aws/sagemaker-hyperpod-recipes.git

Die Basisrezepte sind unter recipes_collection/recipes/ verfügbar.

cd recipes_collection/recipes/

Die Amazon-Nova-Anpassungsrezepte befinden sich in den folgenden Ordnern.

Rezepttyp Ordner
SFT (Full-Rank und PEFT), PPO, DPO (Full-Rank und PEFT) feinabstimmung/nova
Bewertung bewertung/Nova
CPT training/nova

Amazon Nova Forge-Rezepte abrufen

Um auf spezielle Amazon Nova Forge-Rezepte für Jobs zuzugreifen, richten Sie bitte Ihren Zugang zu Amazon Nova Forge ein und folgen Sie dann diesem Workshop, um die Forge-Version der CLI einzurichten. Bei SageMaker Trainingsjobs greifen die AWS Konsole und das Nova Forge SDK automatisch auf Forge-Rezepte zu.

Verfügbare Modelle und Algorithmen

In der folgenden Tabelle werden die Verfügbarkeit von Anpassungen für Amazon Nova-Modelle und die unterstützten Algorithmen unter Verwendung von SageMaker zusammengefasst.

Modellname

Modell-ID

Feinabstimmung

Hinweise

Amazon Nova Lite 2.0

amazon.nova-2-lite-v 1:0:256 k

Ja

  • SFT — Akzeptiert entweder Text, and/or Bild oder Textvideo als Eingabe und erzeugt Text als Ausgabe. and/or Ein einzelner Job kann Text, Bild und Video nicht in derselben Ausführung kombinieren.

  • DPO – Akzeptiert Text und Bild als Eingabe und erzeugt Text als Ausgabe.

  • RFT — Akzeptiert Text und Bild als Eingabe für Single-Turn-Konversationen und erzeugt Text als Ausgabe. Verbesserte Funktionen zur Belohnungsoptimierung.

Amazon Nova Lite

In der folgenden Tabelle sind detaillierte Informationen zur Amazon Nova Lite-Rezeptreferenz aufgeführt.

Modell Kategorie/Unterkategorie Technik Name des Rezepts Bild-URI (Ausbildungsjobs) Bild-URI (SageMaker HyperPod) Instanz berechnen
Nova Lite Training/Feinabstimmung Überwachte Feinabstimmung (LoRA)

nova_lite_1_0_g5_g6_12x_gpu_lora_sft.yaml

nova_lite_1_0_g5_g6_48x_gpu_lora_sft.yaml

nova_lite_1_0_p5_p4d_gpu_lora_sft.yaml

708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest

ml.p5.48xlarge, ml.p5en.48xlarge,

ml.g5.12xlarge, ml.g6.12xlarge,

ml.g5.48xlarge, ml.g6.48xlarge

Nova Lite Training/Feinabstimmung Überwachte Feinabstimmung (vollständig) nova_lite_1_0_p5_p4d_gpu_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova Lite Training/Feinabstimmung Direkte Präferenzoptimierung (vollständig) nova_lite_1_0_p5_p4d_gpu_dpo.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova Lite Training/Feinabstimmung Direkte Präferenzoptimierung (LoRA)

nova_lite_1_0_p5_p4d_gpu_lora_dpo.yaml

nova_lite_1_0_g5_g6_48x_gpu_lora_dpo.yaml

708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest

ml.p5.48xlarge, ml.p5en.48xlarge,

ml.g5.48xlarge, ml.g6.48xlarge

Nova Lite Training/bestärkendes Lernen Feinabstimmung von Verstärkungen (RFT) nova_lite_1_0_p5_gpu_ppo.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SMHP-PPO-TRAIN-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova Lite Training/fortgesetztes Vortraining Fortgesetztes Vortraining (Basismodell) nova_lite_gpu_p5x16_pretrain.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:HP-CPT-latest ml.p5.48xlarge
Nova Lite Bewertung/bewerten Standard-Text-Benchmarks nova_lite_p5_48xl_general_text_benchmark_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Lite Bewertung/bewerten Benutzerdefinierte Datensatzbewertung nova_lite_p5_48xl_bring_your_own_dataset_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Lite Bewertung/bewerten Multimodale Benchmarks nova_lite_p5_48_general_multi_modal_benchmark_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Lite Bewertung/bewerten LLM-as-a-Judge nova_lite_p5_48xl_llm_judge_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge

Amazon Nova Micro

In der folgenden Tabelle sind detaillierte Informationen zur Amazon Nova Micro-Rezeptreferenz aufgeführt.

Modell Kategorie/Unterkategorie Technik Name des Rezepts Bild-URI (Ausbildungsjobs) Bild-URI (SageMaker HyperPod) Instanz berechnen
Nova Micro Training/Feinabstimmung Überwachte Feinabstimmung (LoRA)

nova_micro_1_0_p5_p4d_gpu_lora_sft.yaml

nova_micro_1_0_g5_g6_12x_gpu_lora_sft.yaml

nova_micro_1_0_g5_g6_48x_gpu_lora_sft.yaml

708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest

ml.p5.48xlarge, ml.p5en.48xlarge, ml.p4d.24xlarge,

ml.g5.12xlarge, ml.g6.12xlarge,

ml.g5.48xlarge, ml.g6.48xlarge

Nova Micro Training/Feinabstimmung Überwachte Feinabstimmung (vollständig)

nova_micro_1_0_p5_p4d_gpu_sft.yaml

nova_micro_1_0_g5_g6_48x_gpu_sft.yaml

708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest

ml.p5.48xlarge, ml.p5en.48xlarge, ml.p4d.24xlarge,

ml.g5.48xlarge, ml.g6.48xlarge

Nova Micro Training/Feinabstimmung Direkte Präferenzoptimierung (LoRA)

nova_micro_1_0_g5_g6_12x_gpu_lora_dpo.yaml

nova_micro_1_0_g5_g6_48x_gpu_lora_dpo.yaml

nova_micro_1_0_p5_p4d_gpu_lora_dpo.yaml

708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest

ml.p5.48xlarge, ml.p5en.48xlarge, ml.p4d.24xlarge,

ml.g5.12xlarge, ml.g6.12xlarge,

ml.g5.48xlarge, ml.g6.48xlarge

Nova Micro Training/Feinabstimmung Direkte Präferenzoptimierung (vollständig) nova_micro_1_0_p5_p4d_gpu_dpo.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest ml.p5.48xlarge, ml.p5en.48xlarge, ml.p4d.24xlarge
Nova Micro Training/bestärkendes Lernen Feinabstimmung von Verstärkungen (RFT) nova_micro_1_0_p5_gpu_ppo.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SMHP-PPO-TRAIN-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova Micro Training/fortgesetztes Vortraining Fortgesetztes Vortraining (Basismodell) nova_micro_gpu_p5x8_pretrain.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:HP-CPT-latest ml.p5.48xlarge
Nova Micro Bewertung/bewerten Allgemeines Text-Benchmark nova_micro_p5_48xl_general_text_benchmark_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Micro Bewertung/bewerten Benchmark mit eigenem Datensatz (gen_qa) nova_micro_p5_48xl_bring_your_own_dataset_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Micro Bewertung/bewerten LLM-as-a-Judge nova_micro_p5_48xl_llm_judge_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge

Amazon Nova Pro

In der folgenden Tabelle sind detaillierte Informationen zur Amazon Nova Pro-Rezeptreferenz aufgeführt.

Modell Kategorie/Unterkategorie Technik Name des Rezepts Bild-URI (Ausbildungsjobs) Bild-URI (SageMaker HyperPod) Instanz berechnen
Nova Pro Training/Feinabstimmung Überwachte Feinabstimmung (LoRA) nova_pro_1_0_p5_p4d_gpu_lora_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest ml.p5.48xlarge, ml.p5en.48xlarge, ml.p4d.24xlarge
Nova Pro Training/Feinabstimmung Überwachte Feinabstimmung (vollständig) nova_pro_1_0_p5_p4d_gpu_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova Pro Training/Feinabstimmung Direkte Präferenzoptimierung (vollständig) nova_pro_1_0_p5_gpu_dpo.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova Pro Training/Feinabstimmung Direkte Präferenzoptimierung (LoRA) nova_pro_1_0_p5_p4d_gpu_lora_dpo.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest ml.p5.48xlarge, ml.p5en.48xlarge, ml.p4d.24xlarge
Nova Pro Training/bestärkendes Lernen Feinabstimmung von Verstärkungen (RFT) nova_pro_1_0_p5_gpu_ppo.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SMHP-PPO-TRAIN-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova Pro Training/fortgesetztes Vortraining Fortgesetztes Vortraining (Basismodell) nova_pro_gpu_p5x24_pretrain.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:HP-CPT-latest ml.p5.48xlarge
Nova Pro Training/Datenerweiterung Modelldestillation nach dem Training nova_pro_r5_cpu_distill.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-distillation-repo:SM-TJ-DISTILL-LATEST ml.r5.24xlarge
Nova Pro Bewertung/bewerten Standard-Text-Benchmarks nova_pro_p5_48xl_general_text_benchmark_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Pro Bewertung/bewerten Benutzerdefinierte Datensatzbewertung nova_pro_p5_48xl_bring_your_own_dataset_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Pro Bewertung/bewerten Multimodale Benchmarks nova_pro_p5_48xl_general_multi_modal_benchmark_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Pro Bewertung/bewerten LLM-as-a-Judge nova_pro_p5_48xl_llm_judge_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge