Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Formazione senza limiti in Amazon SageMaker HyperPod
La formazione Checkpointless su Amazon SageMaker HyperPod consente un ripristino più rapido dai guasti dell'infrastruttura di formazione. La seguente documentazione ti aiuta a iniziare con la formazione e la messa a punto senza checkpoint dei modelli. NeMo-supported
La formazione Checkpointless ha i seguenti prerequisiti:
-
Guida introduttiva al supporto di Amazon EKS in SageMaker HyperPod
-
Installazione dell’operatore di addestramento. È necessario installare la versione 1.2.0 o successiva.
La formazione su Checkpointless SageMaker HyperPod si basa sulla Guida per l'utente di NeMo NVIDIA Framework.
Le seguenti HyperPod ricette sono preconfigurate con ottimizzazioni dell'allenamento checkpointless. Puoi specificare i percorsi dei dati come parte della ricetta e utilizzare lo script di avvio associato per eseguire il training (vedi la guida rapida di seguito):
| Modello | Metodo | Dimensione | Nodi | Istanza | Accelerator | Recipe | Script | Tutorial |
|---|---|---|---|---|---|---|---|---|
| GPT OSS | Esempio completo di finetune | 120b | 16 | p5.48xlarge | GPU H100 | collegamento |
link |
link |
| PERDITA GPT | LoRA-example | 120 b | 2 | p5.48xlarge | GPU H100 | collegamento |
link |
link |
| Lama 3 | Esempio di pretreno | 70b | 16 | p5.48xlarge | GPU H100 | collegamento |
link |
link |
| Lama 3 | LoRA-example | 70b | 2 | p5.48xlarge | GPU H100 | collegamento |
link |
link |
La seguente guida rapida fornisce tutorial per l'utilizzo di ricette di formazione senza checkpoint:
Esempi introduttivi
-
Tutorial - Amazon SageMaker HyperPod Checkpointless Full Finetuning GPT OSS 120b
-
Tutorial - Amazon Checkpointless GPT OSS 120b SageMaker HyperPod PEFT-LoRA
-
Tutorial - Amazon Checkpointless Pretraining Llama 3 70b SageMaker HyperPod
-
Tutorial - Amazon Checkpointless Llama 3 70b SageMaker HyperPod PEFT-LoRA
Se desideri pre-addestrare o mettere a punto modelli personalizzati, consulta. Tutorial: modelli personalizzati Amazon SageMaker HyperPod Checkpointless Pretraining o Finetuning
Per saperne di più sull'integrazione di specifici componenti di formazione senza checkpoint,. HyperPod funzionalità di allenamento senza checkpoint
