Amazon Nova レシピ - Amazon SageMaker AI

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon Nova レシピ

Amazon Nova レシピは、SageMaker HyperPod レシピリポジトリから取得できます。Nova レシピは、モデルカスタマイズジョブの実行方法の詳細を SageMaker AI に提供する YAML 設定ファイルです。ベースモデル名を提供し、トレーニングハイパーパラメータを設定し、最適化設定を定義し、モデルを正常に微調整またはトレーニングするために必要な追加オプションを含めます。

また、Amazon SageMaker Studio および Amazon SageMaker Unified Studio から Nova レシピにアクセスするには、JumpStart モデルハブに移動し、Amazon Nova モデルを選択して参照し AWS、関連するレシピを見つけることもできます。Amazon SageMaker Studio と Amazon SageMaker Unified Studio の両方に、レシピごとにサンプルノートブックが用意されています。これには、SageMaker AI トレーニングジョブまたは Amazon SageMaker HyperPod 環境を使用してレシピを変更し、カスタマイズジョブを実行するために必要なすべてのステップが含まれます。

Amazon SageMaker Studio のレシピページにアクセスするには、実行ロールに次のアクセス許可が必要です。

{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "s3:GetObject" ], "Resource": [ "arn:aws:s3:::*model-customization-recipes*" ] } ] }

SageMaker トレーニングジョブと SageMaker HyperPod でサンプルノートブックを実行するには、次のいずれかの SageMaker ディストリビューションイメージバージョンを使用します: 2.7.1+2.8.0+3.2.1+3.3.0+。これは、Amazon SageMaker Studio と Amazon SageMaker Unified Studio の両方に適用されます。

Amazon Nova レシピの取得

基本 Amazon Nova レシピを取得するには、次のコマンドを実行して SageMaker HyperPod レシピリポジトリのクローンを作成します。

git clone https://github.com/aws/sagemaker-hyperpod-recipes.git

基本レシピは で入手できますrecipes_collection/recipes/

cd recipes_collection/recipes/

Amazon Nova のカスタマイズレシピは、次のフォルダにあります。

レシピタイプ フォルダ
SFT (フルランクと PEFT)、PPO、DPO (フルランクと PEFT) ファインチューニング/ノバ
評価 評価/ノバ
CPT トレーニング/ノバ

使用可能なモデルとアルゴリズム

次の表は、SageMaker AI を使用した Amazon Nova モデルとサポートされているアルゴリズムのカスタマイズの可用性をまとめたものです。

モデル名

モデル ID

ファインチューニング

メモ

Amazon Nova Micro

amazon.nova-micro-v1:0:128k

はい

For both SFT and DPO, this model accepts text as input and produces text as output only.

Amazon Nova Lite

amazon.nova-lite-v1:0:300k

はい

  • SFT - 入力としてテキスト、イメージ、テキスト、ビデオのいずれかを受け入れ、出力としてテキストを生成します。1 つのジョブでテキスト、イメージ、ビデオを同じ実行で結合することはできません。

  • DPO - テキストとイメージを入力として受け入れ、テキストを出力として生成します。

Amazon Nova Pro

amazon.nova-pro-v1:0:300k

はい

  • SFT - 入力としてテキスト、イメージ、テキスト、ビデオのいずれかを受け入れ、出力としてテキストを生成します。1 つのジョブでテキスト、イメージ、ビデオを同じ実行で結合することはできません。

  • DPO - テキストとイメージを入力として受け入れ、テキストを出力として生成します。

Amazon Nova レシピリファレンス

次の表に、Amazon Nova レシピリファレンスの詳細情報を示します。

モデル カテゴリ/サブカテゴリ 手法 レシピ名 イメージ URI (SageMaker トレーニングジョブ) イメージ URI (SageMaker HyperPod) コンピューティングインスタンス
Nova Lite トレーニング/ファインチューニング

教師ありファインチューニング (LoRA)

nova_lite_p5_gpu_lora_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest ml.p5.48xlarge
Nova Lite トレーニング/ファインチューニング

教師ありファインチューニング (フル)

nova_lite_p5_gpu_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest ml.p5.48xlarge
Nova Lite トレーニング/ファインチューニング

直接設定の最適化 (フル)

nova_lite_p5_gpu_dpo.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest ml.p5.48xlarge
Nova Lite トレーニング/ファインチューニング

直接設定の最適化 (LoRA)

nova_lite_p5_gpu_lora_dpo.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest ml.p5.48xlarge
Nova Lite トレーニング/強化学習

報酬ベースの強化学習 (PPO)

nova_lite_p5_gpu_ppo.yaml 該当なし 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SMHP-PPO-TRAIN-latest ml.p5.48xlarge
Nova Lite トレーニング/継続的な事前トレーニング 継続的なトレーニング前 (ベースモデル) nova_lite_gpu_p5x16_pretrain.yaml 該当なし 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:HP-CPT-latest ml.p5.48xlarge
Nova Lite 評価/評価 標準テキストベンチマーク nova_lite_p5_48xl_general_text_benchmark_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Lite 評価/評価

カスタムデータセットの評価

nova_lite_p5_48xl_bring_your_own_dataset_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Lite 評価/評価

マルチモーダルベンチマーク

nova_lite_p5_48_general_multi_modal_benchmark_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Lite 評価/評価

審査員としての LLM

nova_lite_p5_48xl_llm_judge_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Micro トレーニング/ファインチューニング

教師ありファインチューニング (LoRA)

nova_micro_p5_gpu_lora_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest ml.p5.48xlarge
Nova Micro トレーニング/ファインチューニング

教師ありファインチューニング (フル)

nova_micro_p5_gpu_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest ml.p5.48xlarge
Nova Micro トレーニング/ファインチューニング

直接設定の最適化 (フル)

nova_micro_p5_gpu_dpo.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest ml.p5.48xlarge
Nova Micro トレーニング/ファインチューニング

直接設定の最適化 (LoRA)

nova_micro_p5_gpu_lora_dpo.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest ml.p5.48xlarge
Nova Micro トレーニング/強化学習

報酬ベースの強化学習 (PPO)

nova_micro_p5_gpu_ppo.yaml 該当なし 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SMHP-PPO-TRAIN-latest ml.p5.48xlarge
Nova Micro トレーニング/継続的な事前トレーニング 継続的なトレーニング前 (基本モデル) nova_micro_gpu_p5x8_pretrain.yaml 該当なし 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:HP-CPT-latest ml.p5.48xlarge
Nova Micro 評価/評価 一般的なテキストベンチマーク nova_micro_p5_48xl_general_text_benchmark_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Micro 評価/評価

独自のデータセット (gen_qa) ベンチマークを使用する

nova_micro_p5_48xl_bring_your_own_dataset_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Micro 評価/評価

審査員としての LLM

nova_micro_p5_48xl_llm_judge_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Pro トレーニング/ファインチューニング

教師ありファインチューニング (LoRA)

nova_pro_p5_gpu_lora_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest ml.p5.48xlarge
Nova Pro トレーニング/ファインチューニング

教師ありファインチューニング (フル)

nova_pro_p5_gpu_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-latest ml.p5.48xlarge
Nova Pro トレーニング/ファインチューニング

直接設定の最適化 (フル)

nova_pro_p5_gpu_dpo.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest ml.p5.48xlarge
Nova Pro トレーニング/ファインチューニング

直接設定の最適化 (LoRA)

nova_pro_p5_gpu_lora_dpo.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-DPO-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-DPO-latest ml.p5.48xlarge
Nova Pro トレーニング/強化学習

報酬ベースの強化学習 (PPO)

nova_pro_p5_gpu_ppo.yaml 該当なし 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SMHP-PPO-TRAIN-latest ml.p5.48xlarge
Nova Pro トレーニング/継続的な事前トレーニング 継続的なトレーニング前 (基本モデル) nova_pro_gpu_p5x24_pretrain.yaml 該当なし 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:HP-CPT-latest ml.p5.48xlarge
Nova Pro トレーニング/データ拡張 トレーニング後のモデル抽出 nova_pro_r5_cpu_distill.yaml 該当なし 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-distillation-repo:SM-TJ-DISTILL-LATEST ml.r5.24xlarge
Nova Pro 評価/評価 標準テキストベンチマーク nova_pro_p5_48xl_general_text_benchmark_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Pro 評価/評価 カスタムデータセットの評価 nova_pro_p5_48xl_bring_your_own_dataset_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Pro 評価/評価 マルチモーダルベンチマーク nova_pro_p5_48xl_general_multi_modal_benchmark_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
Nova Pro 評価/評価 審査員としての LLM nova_pro_p5_48xl_llm_judge_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-latest ml.p5.48xlarge
ノバプレミア トレーニング トレーニング後のモデル抽出

nova_premier_r5_cpu_distill.yaml

708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-distillation-repo:SM-TJ-DISTILL-LATEST

該当なし

ml.r5.24xlarge