Amazon SageMaker HyperPod での Amazon Nova のカスタマイズ - Amazon SageMaker AI

Amazon SageMaker HyperPod での Amazon Nova のカスタマイズ

Amazon Nova レシピを使用して Amazon Nova モデルをカスタマイズし、Amazon SageMaker HyperPod でトレーニングできます。レシピとは、モデルのカスタマイズジョブを実行する方法の詳細を SageMaker AI に提供する YAML 設定ファイルを指します。

Amazon SageMaker HyperPod は、最適化された GPU インスタンスと Amazon FSx for Lustre ストレージを備えた高性能コンピューティング、TensorBoard などのツールとの統合による堅牢なモニタリング、反復的な改善のための柔軟なチェックポイント管理、推論のための Amazon Bedrock へのシームレスなデプロイ、および効率的でスケーラブルなマルチノード分散トレーニングを提供し、これらすべてが連携して、Nova モデルを特定のビジネス要件に合わせてカスタマイズするための安全でパフォーマンスの高い柔軟な環境を組織に提供します。

Amazon SageMaker HyperPod での Amazon Nova カスタマイズでは、モデルチェックポイントを含むモデルアーティファクトがサービスマネージド Amazon S3 バケットに保存されます。サービスマネージドバケット内のアーティファクトは、SageMaker マネージド AWS KMS キーで暗号化されます。サービスマネージド Amazon S3 バケットは現在、カスタマーマネージド KMS キーを使用したデータ暗号化をサポートしていません。このチェックポイントの場所は、評価ジョブまたは Amazon Bedrock 推論に使用できます。

コンピューティングインスタンス、Amazon S3 ストレージ、FSx for Lustre には、標準料金が適用されます。料金の詳細については、「SageMaker HyperPod の料金」、Amazon S3 の料金」、Amazon FSx for Lustre の料金」を参照してください。

コンピューティング要件

次の表は、SageMaker HyperPod トレーニングの計算要件をまとめたものです。

事前トレーニング

モデル

シーケンスの長さ

ノード

インスタンス

アクセラレーター

Amazon Nova Micro

8,192

8

ml.p5.48xlarge

GPU H100

Amazon Nova Lite

8,192

16

ml.p5.48xlarge

GPU H100

Amazon Nova Pro

8,192

24

ml.p5.48xlarge

GPU H100
直接選好最適化 (DPO)

モデル

シーケンスの長さ

ノードの数。

インスタンス

アクセラレーター

直接設定最適化 (フル)

32,768

2、4、または 6

ml.p5.48xlarge

GPU H100

直接設定最適化 (LoRA)

32,768

2、4、または 6

ml.p5.48xlarge

GPU H100
ファインチューニング

モデル

シーケンスの長さ

ノードの数。

インスタンス

アクセラレーター

教師ありファインチューニング (LoRA)

65,536

2

ml.p5.48xlarge

GPU H100

教師ありファインチューニング (フル)

65,536

2

ml.p5.48xlarge

GPU H100

教師ありファインチューニング (LoRA)

32,768

4

ml.p5.48xlarge

GPU H100

教師ありファインチューニング (フル)

65,536

4

ml.p5.48xlarge

GPU H100

教師ありファインチューニング (LoRA)

65,536

6

ml.p5.48xlarge

GPU H100

教師ありファインチューニング (フル)

65,536

6

ml.p5.48xlarge

GPU H100
蒸留

モデル

ノード

インスタンス

トレーニング後のためのモデル蒸留

1

ml.r5.24xlarge
評価

モデル

シーケンスの長さ

ノード

インスタンス

アクセラレーター

一般的なテキストベンチマークレシピ

8,192

1

ml.p5.48xlarge

GPU H100

Bring your own dataset (gen_qa) ベンチマークレシピ

8,192

1

ml.p5.48xlarge

GPU H100

Amazon Nova LLM as a Judge レシピ

8,192

1

ml.p5.48xlarge

GPU H100

標準テキストベンチマーク

8,192

1

ml.p5.48xlarge

GPU H100

カスタムデータセット評価

8,192

1

ml.p5.48xlarge

GPU H100

マルチモーダルベンチマーク

8,192

1

ml.p5.48xlarge

GPU H100
近似ポリシー最適化

モデル

クリティカルモデルインスタンスカウント

報酬モデルインスタンスカウント

アンカーモデルインスタンスカウント

アクタートレーニング

アクター生成

インスタンス数

実行あたりの合計時間

P5 時間

インスタンスタイプ

Amazon Nova Micro

1

1

1

2

2

7

8

56

ml.p5.48xlarge

Amazon Nova Lite

1

1

1

2

2

7

16

112

ml.p5.48xlarge

Amazon Nova Pro

1

1

1

6

2

11

26

260

ml.p5.48xlarge
トピック