View a markdown version of this page

Personalizzazione di Amazon Nova su SageMaker HyperPod - Amazon Nova

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Personalizzazione di Amazon Nova su SageMaker HyperPod

Puoi personalizzare i modelli Amazon Nova, inclusi i modelli Nova 2.0 avanzati, utilizzando le ricette Amazon Nova e addestrarli su Hyperpod. Una ricetta è un file di configurazione YAML che fornisce dettagli all' SageMaker IA su come eseguire il processo di personalizzazione del modello. SageMaker HyperPod supporta due tipi di servizi: Forge e. Non-forge

Hyperpod offre elaborazione ad alte prestazioni con istanze GPU ottimizzate e storage Amazon FSx for Lustre, un monitoraggio affidabile tramite l'integrazione con strumenti come TensorBoard la gestione flessibile dei checkpoint per il miglioramento iterativo, la distribuzione senza interruzioni su Amazon Bedrock per l'inferenza e una formazione distribuita multinodo efficiente e scalabile, che collaborano per fornire alle organizzazioni un ambiente sicuro, performante e flessibile per adattare i modelli Nova ai loro requisiti aziendali specifici.

Personalizzazione di Amazon Nova SageMaker HyperPod sugli artefatti del modello, inclusi i checkpoint del modello, in un bucket Amazon S3 gestito dal servizio. Gli artefatti nel bucket gestito dal servizio sono crittografati con chiavi. SageMaker AI-managed AWS KMS Service-managed I bucket Amazon S3 attualmente non supportano la crittografia dei dati tramite chiavi KMS gestite dal cliente. È possibile utilizzare questa posizione di checkpoint per processi di valutazione o per l’inferenza Amazon Bedrock.

È possibile applicare prezzi standard per le istanze di calcolo, l’archiviazione Amazon S3 e FSx per Lustre. Per informazioni dettagliate sui prezzi, consulta i prezzi di Hyperpod, i prezzi di Amazon S3 e i prezzi di FSx for Lustre. https://aws.amazon.com/fsx/lustre/pricing/

Requisiti di calcolo per i modelli Amazon Nova 1

Le tabelle seguenti riassumono i requisiti computazionali SageMaker HyperPod e la formazione dei lavori di formazione con SageMaker intelligenza artificiale per i modelli Nova 1.0.

Pre-training

Modello

Lunghezza della sequenza

Nodi

Istanza

Accelerator

Amazon Nova Micro

8,192

8

ml.p5.48xlarge

GPU H100

Amazon Nova Lite

8,192

16

ml.p5.48xlarge

GPU H100

Amazon Nova Pro

8,192

12

ml.p5.48xlarge

GPU H100

Fine-tuning

Modello

Tecnica

Lunghezza della sequenza

Numero di nodi

Istanza

Accelerator

Amazon Nova 1 Micro

Supervisionato Fine-Tuning (LoRa)

65.536

2

ml.p5.48xlarge

GPU H100

Amazon Nova 1 Micro

Supervisionato Fine-Tuning (completo)

65.536

2

ml.p5.48xlarge

GPU H100

Amazon Nova 1 Lite

Supervisionato Fine-Tuning (LoRa)

32,768

4

ml.p5.48xlarge

GPU H100

Amazon Nova 1 Lite

Supervisionato Fine-Tuning (completo)

65.536

4

ml.p5.48xlarge

GPU H100

Amazon Nova 1 Pro

Supervisionato Fine-Tuning (LoRa)

65.536

6

ml.p5.48xlarge

GPU H100

Amazon Nova 1 Pro

Supervisionato Fine-Tuning (completo)

65.536

6

ml.p5.48xlarge

GPU H100

Valutazione

Modello

Lunghezza della sequenza

Nodi

Istanza

Accelerator

Ricetta di benchmark testuali generali

8,192

1

ml.p5.48xlarge

GPU H100

Ricetta di benchmark Bring-Your-Own-Dataset (gen_qa)

8,192

1

ml.p5.48xlarge

GPU H100

Ricetta Amazon Nova LLM-as-a-judge

8,192

1

ml.p5.48xlarge

GPU H100

Benchmark testuali standard

8,192

1

ml.p5.48xlarge

GPU H100

Valutazione dei set di dati personalizzati

8,192

1

ml.p5.48xlarge

GPU H100

Multi-Modal Parametri di riferimento

8,192

1

ml.p5.48xlarge

GPU H100