Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Documentazione del container di inferenza del modello di grandi dimensioni (LMI)
La documentazione relativa ai container di inferenza del modello di grandi dimensioni (LMI)
La documentazione, che si rivolge a sviluppatori, data scientist e ingegneri di machine learning che devono implementare e ottimizzare modelli linguistici di grandi dimensioni (LLM) su Amazon SageMaker AI, semplifica l’utilizzo utilizzare dei container LMI, ovvero i container Docker specializzati per l’inferenza LLM, forniti da AWS. Offre una panoramica, guide all’implementazione, guide per l’utente alle librerie di inferenza supportate e tutorial avanzati.
La documentazione del container LMI consente di:
-
Comprendere i componenti e l’architettura dei container LMI
-
Scoprire come selezionare il tipo di istanza e il backend appropriati per il tuo caso d’uso
-
Configurare e implementare LLM su SageMaker AI utilizzando container LMI
-
Ottimizzare le prestazioni utilizzando funzionalità come quantizzazione, parallelizzazione tensoriale e batching continuo
-
Eseguire il benchmark e il fine-tuning degli endpoint di SageMaker AI per un throughput e una latenza ottimali
