Amazon Nova-Rezepte - Amazon SageMaker KI

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Amazon Nova-Rezepte

Sie können ein Amazon Nova-Rezept aus dem SageMaker HyperPod Rezepte-Repository abrufen. Ein Nova-Rezept ist eine YAML-Konfigurationsdatei, die der SageMaker KI Einzelheiten zur Ausführung Ihres Modellierungsanpassungsjobs zur Verfügung stellt. Sie enthält den Namen des Basismodells, legt die Hyperparameter für das Training fest, definiert Optimierungseinstellungen und enthält alle zusätzlichen Optionen, die für die Feinabstimmung oder das erfolgreiche Training des Modells erforderlich sind.

Sie können auch über Amazon SageMaker Studio und Amazon SageMaker Unified Studio auf Nova-Rezepte zugreifen, indem Sie zum JumpStart Model-Hub navigieren, Amazon Nova-Modelle auswählen und durchsuchen AWS, um die zugehörigen Rezepte zu finden. Sowohl Amazon SageMaker Studio als auch Amazon SageMaker Unified Studio stellen Beispielnotizbücher für jedes Rezept bereit, die alle erforderlichen Schritte enthalten, um die Rezepte zu ändern und Anpassungsaufgaben mithilfe von SageMaker KI-Schulungsjobs oder SageMaker HyperPod Amazon-Umgebungen auszuführen.

Um auf die Rezeptseiten in Amazon SageMaker Studio zugreifen zu können, muss die Ausführungsrolle über die folgenden Berechtigungen verfügen.

{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "s3:GetObject" ], "Resource": [ "arn:aws:s3:::*model-customization-recipes*" ] } ] }

Verwenden Sie eine der folgenden SageMaker Distributions-Image-Versionen SageMaker HyperPod, um die Beispielnotizbücher für SageMaker Trainingsjobs auszuführen: 2.7.1+2.8.0+,,3.2.1+,3.3.0+. Dies gilt sowohl für Amazon SageMaker Studio als auch für Amazon SageMaker Unified Studio.

Amazon Nova-Rezepte abrufen

Um ein Amazon Nova-Basisrezept zu erhalten, klonen Sie das SageMaker HyperPod Rezepte-Repository, indem Sie den folgenden Befehl ausführen.

git clone https://github.com/aws/sagemaker-hyperpod-recipes.git

Die Basisrezepte sind unter verfügbar recipes_collection/recipes/.

cd recipes_collection/recipes/

Die Amazon Nova-Anpassungsrezepte befinden sich in den folgenden Ordnern.

Rezepttyp Ordner
SFT (Vollrang und PEFT), PPO, DPO (Vollrang und PEFT) Feinabstimmung/Nova
Bewertung Bewertung/Nova
CPT Ausbildung/Nova

Verfügbare Modelle und Algorithmen

Die folgende Tabelle fasst die Verfügbarkeit von Anpassungen für Amazon Nova-Modelle und unterstützte Algorithmen mithilfe von SageMaker KI zusammen.

Modellname

Modell-ID

Feinabstimmung

Hinweise

Amazon Nova Micro

Amazonas. nova-micro-v1:0:128 k

Ja

Sowohl für SFT als auch für DPO akzeptiert dieses Modell Text als Eingabe und erzeugt Text nur als Ausgabe.

Amazon Nova Lite

Amazonas. nova-lite-v1:0:300 k

Ja

  • SFT — Akzeptiert entweder and/or Textbild oder and/or Textvideo als Eingabe und erzeugt Text als Ausgabe. Ein einzelner Job kann Text, Bild und Video nicht in derselben Ausführung kombinieren.

  • DPO — Akzeptiert Text und Bild als Eingabe und erzeugt Text als Ausgabe.

Amazon Nova Pro

Amazonas. nova-pro-v1:0:300 k

Ja

  • SFT — Akzeptiert entweder and/or Textbild oder and/or Textvideo als Eingabe und erzeugt Text als Ausgabe. Ein einzelner Job kann Text, Bild und Video nicht in derselben Ausführung kombinieren.

  • DPO — Akzeptiert Text und Bild als Eingabe und erzeugt Text als Ausgabe.

Referenz zu Amazon Nova-Rezepten

In der folgenden Tabelle sind detaillierte Informationen zur Amazon Nova-Rezeptreferenz aufgeführt.

Modell Kategorie/Unterkategorie Technik Name des Rezepts Bild-URI (SageMaker Ausbildungsjobs) Bild-URI (SageMaker HyperPod) Instanz berechnen
Nova Lite Schulung/Feinabstimmung

Beaufsichtigte Feinabstimmung (LoRa)

nova_lite_p5_gpu_lora_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest ml.p5.48xlarge
Nova Lite Schulung/Feinabstimmung

Beaufsichtigte Feinabstimmung (vollständig)

nova_lite_p5_gpu_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest ml.p5.48xlarge
Nova Lite Schulung/Feinabstimmung

Direkte Präferenzoptimierung (vollständig)

nova_lite_p5_gpu_dpo.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest ml.p5.48xlarge
Nova Lite Schulung/Feinabstimmung

Direkte Präferenzoptimierung (LoRa)

nova_lite_p5_gpu_lora_dpo.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest ml.p5.48xlarge
Nova Lite Schulung/Verstärkendes Lernen

Auf Belohnungen basierendes Reinforcement-Learning (PPO)

nova_lite_p5_gpu_ppo.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SMHP-PPO-TRAIN-latest ml.p5.48xlarge
Nova Lite Schulung/Fortsetzung der Vorschulung Fortsetzung der Vorschulung (Basismodell) nova_lite_gpu_p5x16_pretrain.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:HP-CPT-latest ml.p5.48xlarge
Nova Lite Bewertung/Evaluieren Standard-Text-Benchmarks nova_lite_p5_48xl_general_text_benchmark_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Lite Bewertung/Evaluieren

Auswertung benutzerdefinierter Datensätze

nova_lite_p5_48xl_bring_your_own_dataset_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Lite Bewertung/Evaluieren

Multimodale Benchmarks

nova_lite_p5_48_general_multi_modal_benchmark_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Lite Bewertung/Evaluieren

LLM als Richter

nova_lite_p5_48xl_llm_judge_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Micro Schulung/Feinabstimmung

Beaufsichtigte Feinabstimmung (LoRa)

nova_micro_p5_gpu_lora_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest ml.p5.48xlarge
Nova Micro Schulung/Feinabstimmung

Beaufsichtigte Feinabstimmung (vollständig)

nova_micro_p5_gpu_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest ml.p5.48xlarge
Nova Micro Schulung/Feinabstimmung

Direkte Präferenzoptimierung (vollständig)

nova_micro_p5_gpu_dpo.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest ml.p5.48xlarge
Nova Micro Schulung/Feinabstimmung

Direkte Präferenzoptimierung (LoRa)

nova_micro_p5_gpu_lora_dpo.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest ml.p5.48xlarge
Nova Micro Ausbildung/Verstärkungslernen

Auf Belohnungen basierendes Reinforcement-Learning (PPO)

nova_micro_p5_gpu_ppo.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SMHP-PPO-TRAIN-latest ml.p5.48xlarge
Nova Micro Schulung/Fortsetzung der Vorschulung Fortsetzung der Vorschulung (Basismodell) nova_micro_gpu_p5x8_pretrain.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:HP-CPT-latest ml.p5.48xlarge
Nova Micro Bewertung/Evaluieren Allgemeiner Text-Benchmark nova_micro_p5_48xl_general_text_benchmark_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Micro Bewertung/Evaluieren

Bringen Sie Ihren eigenen Dataset-Benchmark (gen_qa) mit

nova_micro_p5_48xl_bring_your_own_dataset_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Micro Bewertung/Evaluieren

LLM als Richter

nova_micro_p5_48xl_llm_judge_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Pro Schulung/Feinabstimmung

Beaufsichtigte Feinabstimmung (LoRa)

nova_pro_p5_gpu_lora_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest ml.p5.48xlarge
Nova Pro Schulung/Feinabstimmung

Beaufsichtigte Feinabstimmung (vollständig)

nova_pro_p5_gpu_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest ml.p5.48xlarge
Nova Pro Schulung/Feinabstimmung

Direkte Präferenzoptimierung (vollständig)

nova_pro_p5_gpu_dpo.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest ml.p5.48xlarge
Nova Pro Schulung/Feinabstimmung

Direkte Präferenzoptimierung (LoRa)

nova_pro_p5_gpu_lora_dpo.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest ml.p5.48xlarge
Nova Pro Ausbildung/Verstärkungslernen

Auf Belohnungen basierendes Reinforcement-Learning (PPO)

nova_pro_p5_gpu_ppo.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SMHP-PPO-TRAIN-latest ml.p5.48xlarge
Nova Pro Schulung/Fortsetzung der Vorschulung Fortsetzung der Vorschulung (Basismodell) nova_pro_gpu_p5x24_pretrain.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:HP-CPT-latest ml.p5.48xlarge
Nova Pro Schulung/Datenerweiterung Modelldestillation für die Zeit nach dem Training nova_pro_r5_cpu_distill.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-distillation-repo:SM-TJ-DISTILL-LATEST ml.r5.24xlarge
Nova Pro Bewertung/Evaluieren Standard-Text-Benchmarks nova_pro_p5_48xl_general_text_benchmark_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Pro Bewertung/Evaluieren Auswertung benutzerdefinierter Datensätze nova_pro_p5_48xl_bring_your_own_dataset_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Pro Bewertung/Evaluieren Multimodale Benchmarks nova_pro_p5_48xl_general_multi_modal_benchmark_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Pro Bewertung/Evaluieren LLM als Richter nova_pro_p5_48xl_llm_judge_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Premier Training Modelldestillation für die Zeit nach dem Training

nova_premier_r5_cpu_distill.yaml

708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-distillation-repo:SM-TJ-DISTILL-LATEST

ml.r5.24xlarge