Amazon SageMaker HyperPod での Amazon Nova のカスタマイズ - Amazon SageMaker AI
Amazon Nova 1 モデルのコンピューティング要件Amazon Nova 2 モデルのコンピューティング要件

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon SageMaker HyperPod での Amazon Nova のカスタマイズ

Amazon Nova レシピを使用して、拡張 Nova 2.0 モデルを含む Amazon Nova モデルをカスタマイズし、Amazon SageMaker HyperPod でトレーニングできます。レシピとは、モデルのカスタマイズジョブを実行する方法の詳細を SageMaker AI に提供する YAML 設定ファイルを指します。Amazon SageMaker HyperPod は、Forge と Non-forge の 2 種類のサービスをサポートしています。

Amazon SageMaker HyperPod は、最適化された GPU インスタンスと Amazon FSx for Lustre ストレージを備えた高性能コンピューティング、TensorBoard などのツールとの統合による堅牢なモニタリング、反復的な改善のための柔軟なチェックポイント管理、推論のための Amazon Bedrock へのシームレスなデプロイ、および効率的でスケーラブルなマルチノード分散トレーニングを提供し、これらすべてが連携して、Nova モデルを特定のビジネス要件に合わせてカスタマイズするための安全でパフォーマンスの高い柔軟な環境を組織に提供します。

Amazon SageMaker HyperPod での Amazon Nova カスタマイズでは、モデルチェックポイントを含むモデルアーティファクトがサービスマネージド Amazon S3 バケットに保存されます。サービスマネージドバケット内のアーティファクトは、SageMaker マネージド AWS KMS キーで暗号化されます。サービスマネージド Amazon S3 バケットは現在、カスタマーマネージド KMS キーを使用したデータ暗号化をサポートしていません。このチェックポイントの場所は、評価ジョブまたは Amazon Bedrock 推論に使用できます。

コンピューティングインスタンス、Amazon S3 ストレージ、FSx for Lustre には、標準料金が適用されます。料金の詳細については、「SageMaker HyperPod の料金」、Amazon S3 の料金」、Amazon FSx for Lustre の料金」を参照してください。

Amazon Nova 1 モデルのコンピューティング要件

次の表は、Nova 1.0 モデルの SageMaker HyperPod および SageMaker AI トレーニングジョブトレーニングの計算要件をまとめたものです。

事前トレーニング

モデル

シーケンスの長さ

ノード

インスタンス

アクセラレーター

Amazon Nova Micro

8,192

8

ml.p5.48xlarge

GPU H100

Amazon Nova Lite

8,192

16

ml.p5.48xlarge

GPU H100

Amazon Nova Pro

8,192

12

ml.p5.48xlarge

GPU H100
直接選好最適化 (DPO)

モデル

シーケンスの長さ

ノードの数。

インスタンス

アクセラレーター

直接設定最適化 (フル)

32,768

2、4、または 6

ml.p5.48xlarge

GPU H100

直接設定最適化 (LoRA)

32,768

2、4、または 6

ml.p5.48xlarge

GPU H100
ファインチューニング

モデル

手法

シーケンスの長さ

ノードの数。

インスタンス

アクセラレーター
Amazon Nova 1 Micro

教師ありファインチューニング (LoRA)

65,536

2

ml.p5.48xlarge

GPU H100
Amazon Nova 1 Micro

教師ありファインチューニング (フル)

65,536

2

ml.p5.48xlarge

GPU H100
Amazon Nova 1 Lite

教師ありファインチューニング (LoRA)

32,768

4

ml.p5.48xlarge

GPU H100
Amazon Nova 1 Lite

教師ありファインチューニング (フル)

65,536

4

ml.p5.48xlarge

GPU H100
Amazon Nova 1 Pro

教師ありファインチューニング (LoRA)

65,536

6

ml.p5.48xlarge

GPU H100
Amazon Nova 1 Pro

教師ありファインチューニング (フル)

65,536

6

ml.p5.48xlarge

GPU H100
蒸留

モデル

ノード

インスタンス

トレーニング後のためのモデル蒸留

1

ml.r5.24xlarge
評価

モデル

シーケンスの長さ

ノード

インスタンス

アクセラレーター

一般的なテキストベンチマークレシピ

8,192

1

ml.p5.48xlarge

GPU H100

Bring your own dataset (gen_qa) ベンチマークレシピ

8,192

1

ml.p5.48xlarge

GPU H100

Amazon Nova LLM as a Judge レシピ

8,192

1

ml.p5.48xlarge

GPU H100

標準テキストベンチマーク

8,192

1

ml.p5.48xlarge

GPU H100

カスタムデータセット評価

8,192

1

ml.p5.48xlarge

GPU H100

マルチモーダルベンチマーク

8,192

1

ml.p5.48xlarge

GPU H100
近似ポリシー最適化

モデル

クリティカルモデルインスタンスカウント

報酬モデルインスタンスカウント

アンカーモデルインスタンスカウント

アクタートレーニング

アクター生成

インスタンス数

実行あたりの合計時間

P5 時間

インスタンスタイプ

Amazon Nova Micro

1

1

1

2

2

7

8

56

ml.p5.48xlarge

Amazon Nova Lite

1

1

1

2

2

7

16

112

ml.p5.48xlarge

Amazon Nova Pro

1

1

1

6

2

11

26

260

ml.p5.48xlarge

Amazon Nova 2 モデルのコンピューティング要件

次の表は、Nova 2 モデルの SageMaker HyperPod および SageMaker AI トレーニングジョブトレーニングの計算要件をまとめたものです。

Nova 2 のトレーニング要件

トレーニング手法

最小インスタンス

インスタンスタイプ

GPU 数

注意事項

SFT (LoRA)

4

P5.48xlarge

16

パラメータ効率の微調整

SFT (フルランク)

4

P5.48xlarge

32

フルモデルの微調整

SageMaker AI トレーニングジョブ (LoRA) の RFT

2

P5.48xlarge

16

AWS 環境内のカスタム報酬関数

SageMaker AI トレーニングジョブの RFT (フルランク)

4

P5.48xlarge

32

32K コンテキスト長

SageMaker HyperPod での RFT

8

P5.48xlarge

64

デフォルトの 8192 コンテキスト長

CPT

2

P5.48xlarge

16

1 日あたり約 12.5 億トークンを処理します
トピック