Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Documentazione del container di inferenza del modello di grandi dimensioni (LMI)
La documentazione relativa ai container di inferenza del modello di grandi dimensioni (LMI)
La documentazione è scritta per sviluppatori, data scientist e ingegneri di machine learning che devono implementare e ottimizzare modelli linguistici di grandi dimensioni (LLMs) su Amazon SageMaker AI. Ti aiuta a utilizzare i contenitori LMI, che sono contenitori Docker specializzati per l'inferenza LLM, forniti da. AWS Offre una panoramica, guide all’implementazione, guide per l’utente alle librerie di inferenza supportate e tutorial avanzati.
La documentazione del container LMI consente di:
-
Comprendere i componenti e l’architettura dei container LMI
-
Scoprire come selezionare il tipo di istanza e il backend appropriati per il tuo caso d’uso
-
Configura e distribuisci sull'intelligenza artificiale utilizzando contenitori LMI LLMs SageMaker
-
Ottimizzare le prestazioni utilizzando funzionalità come quantizzazione, parallelizzazione tensoriale e batching continuo
-
Esegui il benchmark e ottimizza i tuoi endpoint di SageMaker intelligenza artificiale per un throughput e una latenza ottimali
