Amazon SageMaker HyperPod 上的 Amazon Nova 自訂 - Amazon SageMaker AI
Amazon Nova 1 模型的運算需求Amazon Nova 2 模型的運算需求

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

Amazon SageMaker HyperPod 上的 Amazon Nova 自訂

您可以使用 Amazon Nova 配方自訂 Amazon Nova 模型，包括增強型 Nova 2.0 模型，並在 Amazon SageMaker HyperPod 上進行訓練。配方是 YAML 組態檔案，可將有關如何執行模型自訂任務的詳細資訊提供給 SageMaker AI。Amazon SageMaker HyperPod 支援兩種類型的服務：Forge 和非 Forge。

Amazon SageMaker HyperPod 提供具有最佳化 GPU 執行個體和 Amazon FSx for Lustre 儲存體的高效能運算、與 TensorBoard 等工具整合進行強大的監控、檢查點彈性管理實現的反覆改進，無縫部署到 Amazon Bedrock 以進行推論，以及高效率的可擴展多節點分散式訓練 - 這一切共同合作，為組織提供一個安全、高效率、彈性的環境，以根據其特定業務需求量身打造 Nova 模型。

Amazon SageMaker HyperPod 上的 Amazon Nova 自訂會在服務受管 Amazon S3 儲存貯體中存放模型成品，包括模型檢查點。服務受管儲存貯體中的成品會使用 SageMaker 受管AWS KMS金鑰加密。服務受管 Amazon S3 儲存貯體目前不支援使用客戶受管 KMS 金鑰進行資料加密。您可以使用此檢查點位置進行評估任務或 Amazon Bedrock 推論。

標準定價適用於運算執行個體、Amazon S3 儲存體和 FSx for Lustre。如需定價詳細資訊，請參閱 SageMaker HyperPod 定價、Amazon S3 定價和 FSx for Lustre 定價。

Amazon Nova 1 模型的運算需求

下表摘要說明針對 Nova 1.0 模型的 SageMaker HyperPod 和 SageMaker AI 訓練任務訓練的運算需求。

預先訓練

模型

序列長度

節點

執行個體

加速器

Amazon Nova Micro

8,192

8

ml.p5.48xlarge

GPU H100

Amazon Nova Lite

8,192

16

ml.p5.48xlarge

GPU H100

Amazon Nova Pro

8,192

12

ml.p5.48xlarge

GPU H100
直接偏好最佳化 (DPO)

模型

序列長度

節點數量。

執行個體

加速器

直接偏好最佳化 (完整)

32,768

2、4 或 6

ml.p5.48xlarge

GPU H100

直接偏好最佳化 (LoRA)

32,768

2、4 或 6

ml.p5.48xlarge

GPU H100
微調

模型

技術

序列長度

節點數量。

執行個體

加速器
Amazon Nova 1 Micro

監督式微調 (LoRA)

65，536

2

ml.p5.48xlarge

GPU H100
Amazon Nova 1 Micro

監督式微調 (完整)

65，536

2

ml.p5.48xlarge

GPU H100
Amazon Nova 1 Lite

監督式微調 (LoRA)

32,768

4

ml.p5.48xlarge

GPU H100
Amazon Nova 1 Lite

監督式微調 (完整)

65，536

4

ml.p5.48xlarge

GPU H100
Amazon Nova 1 Pro

監督式微調 (LoRA)

65，536

6

ml.p5.48xlarge

GPU H100
Amazon Nova 1 Pro

監督式微調 (完整)

65，536

6

ml.p5.48xlarge

GPU H100
蒸餾

模型

節點

執行個體

用於訓練後模型蒸餾

1

ml.r5.24xlarge
評估

模型

序列長度

節點

執行個體

加速器

一般文字基準配方

8,192

1

ml.p5.48xlarge

GPU H100

使用您自己的資料集 (gen_qa) 基準配方

8,192

1

ml.p5.48xlarge

GPU H100

Amazon Nova LLM 即評審配方

8,192

1

ml.p5.48xlarge

GPU H100

標準文字基準

8,192

1

ml.p5.48xlarge

GPU H100

自訂資料集評估

8,192

1

ml.p5.48xlarge

GPU H100

多模態基準

8,192

1

ml.p5.48xlarge

GPU H100
近端政策最佳化

模型

評論模型執行個體計數

獎勵模型執行個體計數

錨點模型執行個體計數

執行者訓練

執行者產生

執行個體的數目

每次執行的總時數

P5 小時

執行個體類型

Amazon Nova Micro

1

1

1

2

2

7

8

56

ml.p5.48xlarge

Amazon Nova Lite

1

1

1

2

2

7

16

112

ml.p5.48xlarge

Amazon Nova Pro

1

1

1

6

2

11

26

260

ml.p5.48xlarge

Amazon Nova 2 模型的運算需求

下表摘要說明 SageMaker HyperPod 和 SageMaker AI 訓練任務訓練 Nova 2 模型的運算需求。

Nova 2 訓練需求

訓練技術

最小執行個體

執行個體類型

GPU 計數

備註

SFT (LoRA)

4

P5.48xlarge

16

具參數效率的微調

SFT （完整排名）

4

P5.48xlarge

32

完整模型微調

SageMaker AI 訓練任務 (LoRA) 上的 RFT

2

P5.48xlarge

16

AWS環境中的自訂獎勵函數

SageMaker AI 訓練任務的 RFT （完整排名）

4

P5.48xlarge

32

32K 內容長度

SageMaker HyperPod 上的 RFT

8

P5.48xlarge

64

預設 8192 內容長度

CPT

2

P5.48xlarge

16

每天處理大約 12.5 億個字符
主題