Amazon SageMaker HyperPod 上的 Amazon Nova 自訂 HyperPod - Amazon SageMaker AI

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

Amazon SageMaker HyperPod 上的 Amazon Nova 自訂 HyperPod

您可以使用 Amazon Nova 配方自訂 Amazon Nova 模型，並在 Amazon SageMaker HyperPod 上對其進行訓練。配方是一種 YAML 組態檔案，可提供有關如何執行模型自訂任務的詳細資訊給 SageMaker AI。

Amazon SageMaker HyperPod 提供具有最佳化 GPU 執行個體和 Amazon FSx for Lustre 儲存的高效能運算， 透過與 TensorBoard、 靈活的檢查點管理可反覆改進， 無縫部署到 Amazon Bedrock 以進行推論， 和高效率可擴展的多節點分散式訓練 - 通力合作，為組織提供安全、 執行者、 和彈性的環境，可根據其特定業務需求量身打造 Nova 模型。

Amazon SageMaker HyperPod 上的 Amazon Nova 自訂會在服務管理的 Amazon S3 儲存貯體中存放模型成品，包括模型檢查點。服務受管儲存貯體中的成品會使用 SageMaker 受管 AWS KMS 金鑰加密。服務受管 Amazon S3 儲存貯體目前不支援使用客戶受管 KMS 金鑰的資料加密。您可以使用此檢查點位置進行評估任務或 Amazon Bedrock 推論。

標準定價適用於運算執行個體、Amazon S3 儲存體和 FSx for Lustre。如需定價詳細資訊，請參閱 SageMaker HyperPod 定價、Amazon S3 定價和 FSx for Lustre 定價。

運算需求

下表摘要說明 SageMaker HyperPod 訓練的運算需求。

訓練前

模型

序列長度

節點

執行個體

加速器

Amazon Nova Micro

8,192

8

ml.p5.48xlarge

GPU H100

Amazon Nova Lite

8,192

16

ml.p5.48xlarge

GPU H100

Amazon Nova Pro

8,192

24

ml.p5.48xlarge

GPU H100
直接偏好設定最佳化 (DPO)

模型

序列長度

節點數量。

執行個體

加速器

直接偏好設定最佳化 （完整）

32,768

2、4 或 6

ml.p5.48xlarge

GPU H100

直接偏好設定最佳化 (LoRA)

32,768

2、4 或 6

ml.p5.48xlarge

GPU H100
微調

模型

序列長度

節點數量。

執行個體

加速器

受管微調 (LoRA)

65，536

2

ml.p5.48xlarge

GPU H100

受管微調 （完整）

65，536

2

ml.p5.48xlarge

GPU H100

受管微調 (LoRA)

32,768

4

ml.p5.48xlarge

GPU H100

受管微調 （完整）

65，536

4

ml.p5.48xlarge

GPU H100

受管微調 (LoRA)

65，536

6

ml.p5.48xlarge

GPU H100

受管微調 （完整）

65，536

6

ml.p5.48xlarge

GPU H100
擾動

模型

節點

執行個體

訓練後模型轉移

1

ml.r5.24xlarge
評估

模型

序列長度

節點

執行個體

加速器

一般文字基準配方

8,192

1

ml.p5.48xlarge

GPU H100

使用您自己的資料集 (gen_qa) 基準配方

8,192

1

ml.p5.48xlarge

GPU H100

Amazon Nova LLM 做為判斷配方

8,192

1

ml.p5.48xlarge

GPU H100

標準文字基準

8,192

1

ml.p5.48xlarge

GPU H100

自訂資料集評估

8,192

1

ml.p5.48xlarge

GPU H100

多模態基準

8,192

1

ml.p5.48xlarge

GPU H100
近端政策最佳化

模型

關鍵模型執行個體計數

獎勵模型執行個體計數

錨點模型執行個體計數

演員訓練

產生演員

執行個體數量

每次執行的總時數

P5 小時

執行個體類型

Amazon Nova Micro

1

1

1

2

2

7

8

56

ml.p5.48xlarge

Amazon Nova Lite

1

1

1

2

2

7

16

112

ml.p5.48xlarge

Amazon Nova Pro

1

1

1

6

2

11

26

260

ml.p5.48xlarge
主題