Funzionalità supportate

Per implementare modelli per l’inferenza, Amazon SageMaker AI offre le quattro opzioni indicate di seguito.

La tabella seguente riassume le funzionalità principali della piattaforma supportate da ciascuna opzione di inferenza. Non mostra le funzionalità che possono essere fornite da framework, container Docker personalizzati o tramite il concatenamento di diversi servizi AWS.

Con SageMaker AI puoi implementare uno o più modelli su un singolo endpoint di inferenza per l’inferenza in tempo reale. La tabella seguente riassume le funzionalità principali supportate dalle varie opzioni di hosting fornite con inferenza in tempo reale.

¹ La disponibilità dei tipi di istanze Amazon EC2 dipende dalla Regione AWS. Per la disponibilità di istanze specifiche per AWS, consulta i Prezzi di Amazon SageMaker AI.

² Per utilizzare qualsiasi altro framework o algoritmo, ricorri al kit di strumenti di inferenza di SageMaker AI per creare un container che supporti gli endpoint multi-modello.

³ Con SageMaker AI, puoi implementare modelli di grandi dimensioni (fino a 500 GB) per l’inferenza. È possibile configurare il controllo dello stato del container e le quote di timeout per il download, fino a 60 minuti. Ciò ti consentirà di avere più tempo per scaricare e caricare il modello e le risorse associate. Per ulteriori informazioni, consulta Parametri degli endpoint di SageMaker AI per l’inferenza di modelli di grandi dimensioni. È possibile utilizzare container di inferenza dei modelli di grandi dimensioni compatibili con SageMaker AI. È inoltre possibile utilizzare librerie di parallelizzazione dei modelli di terze parti, come Triton con FasterTransformer e DeepSpeed. È necessario assicurarsi che siano compatibili con SageMaker AI.