Personalizzazione di Amazon Nova su SageMaker HyperPod - Amazon Nova

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Personalizzazione di Amazon Nova su SageMaker HyperPod

Puoi personalizzare i modelli Amazon Nova, inclusi i modelli Nova 2.0 migliorati, utilizzando le ricette di Amazon Nova e addestrarli su Hyperpod. Una ricetta è un file di configurazione YAML che fornisce dettagli all' SageMaker IA su come eseguire il processo di personalizzazione del modello. SageMaker HyperPod supporta due tipi di servizi: Forge e non-Forge.

Hyperpod offre elaborazione ad alte prestazioni con istanze GPU ottimizzate e storage FSx Amazon for Lustre, monitoraggio affidabile attraverso l'integrazione con strumenti TensorBoard come la gestione flessibile dei checkpoint per il miglioramento iterativo, l'implementazione senza interruzioni su Amazon Bedrock per l'inferenza e una formazione distribuita efficiente e scalabile a più nodi, il tutto in sinergia per fornire alle organizzazioni un ambiente sicuro, performante e flessibile per personalizzare i modelli Nova in base alle loro specifiche esigenze aziendali.

La personalizzazione di Amazon Nova su SageMaker HyperPod archivia gli artefatti del modello, inclusi i checkpoint del modello, in un bucket Amazon S3 gestito dal servizio. Gli artefatti nel bucket gestito dal servizio sono crittografati con chiavi gestite dall'intelligenza artificiale. SageMaker AWS KMS I bucket Amazon S3 gestiti dal servizio attualmente non supportano la crittografia dei dati tramite chiavi KMS gestite dal cliente. È possibile utilizzare questa posizione di checkpoint per processi di valutazione o per l’inferenza Amazon Bedrock.

I prezzi standard possono essere applicati per le istanze di calcolo, lo storage Amazon S3 e Lustre. FSx Per i dettagli sui prezzi, consulta i prezzi di Hyperpod, i prezzi di Amazon S3 FSx e i prezzi di Lustre.

Requisiti di calcolo per i modelli Amazon Nova 1

Le tabelle seguenti riassumono i requisiti computazionali e la formazione per i lavori di formazione sull' SageMaker intelligenza artificiale per i modelli Nova 1.0.

Preaddestramento

Modello

Lunghezza della sequenza

Nodi

Istanza

Accelerator

Amazon Nova Micro

8,192

8

ml.p5.48xlarge

GPU H100

Amazon Nova Lite

8,192

16

ml.p5.48xlarge

GPU H100

Amazon Nova Pro

8,192

12

ml.p5.48xlarge

GPU H100

Ottimizzazione diretta delle preferenze (DPO)

Modello

Lunghezza della sequenza

Numero di nodi

Istanza

Accelerator

Ottimizzazione diretta delle preferenze (completa)

32,768

2, 4 o 6

ml.p5.48xlarge

GPU H100

Ottimizzazione diretta delle preferenze (LoRA)

32,768

2, 4 o 6

ml.p5.48xlarge

GPU H100

Fine-tuning

Modello

Tecnica

Lunghezza della sequenza

Numero di nodi

Istanza

Accelerator

Amazon Nova 1 Micro

Fine-tuning supervisionato (LoRA)

65.536

2

ml.p5.48xlarge

GPU H100

Amazon Nova 1 Micro

Fine-tuning supervisionato (completo)

65.536

2

ml.p5.48xlarge

GPU H100

Amazon Nova 1 Lite

Fine-tuning supervisionato (LoRA)

32,768

4

ml.p5.48xlarge

GPU H100

Amazon Nova 1 Lite

Fine-tuning supervisionato (completo)

65.536

4

ml.p5.48xlarge

GPU H100

Amazon Nova 1 Pro

Fine-tuning supervisionato (LoRA)

65.536

6

ml.p5.48xlarge

GPU H100

Amazon Nova 1 Pro

Fine-tuning supervisionato (completo)

65.536

6

ml.p5.48xlarge

GPU H100

Distillazione

Modello

Nodi

Istanza

Distillazione di modelli per il post-addestramento

1

ml.r5.24xlarge

Valutazione

Modello

Lunghezza della sequenza

Nodi

Istanza

Accelerator

Ricetta di benchmark testuali generali

8,192

1

ml.p5.48xlarge

GPU H100

Ricetta di benchmark Bring-Your-Own-Dataset (gen_qa)

8,192

1

ml.p5.48xlarge

GPU H100

Ricetta Amazon Nova LLM-as-a-judge

8,192

1

ml.p5.48xlarge

GPU H100

Benchmark testuali standard

8,192

1

ml.p5.48xlarge

GPU H100

Valutazione dei set di dati personalizzati

8,192

1

ml.p5.48xlarge

GPU H100

Benchmark multimodali

8,192

1

ml.p5.48xlarge

GPU H100

Ottimizzazione delle policy prossimali

Modello

Numero di istanze del modello di critica

Numero di istanze del modello di ricompensa

Numero di istanze del modello di ancoraggio

Addestramento attori

Generazione attori

Numero di istanze

Ore totali per esecuzione

Ore P5

Tipo di istanza

Amazon Nova Micro

1

1

1

2

2

7

8

56

ml.p5.48xlarge

Amazon Nova Lite

1

1

1

2

2

7

16

112

ml.p5.48xlarge

Amazon Nova Pro

1

1

1

6

2

11

26

260

ml.p5.48xlarge