Algoritmi, framework e istanze supportati per endpoint multimodello

Per informazioni sugli algoritmi, i framework e i tipi di istanza che è possibile utilizzare con gli endpoint a più modelli, consulta le sezioni seguenti.

Algoritmi, framework e istanze supportati per endpoint a più modelli che utilizzano istanze supportate da CPU

I container di inferenza per i seguenti algoritmi e framework supportano endpoint a più modelli:

Per utilizzare qualsiasi altro framework o algoritmo, utilizza il toolkit di inferenza SageMaker AI per creare un contenitore che supporti endpoint multimodello. Per informazioni, consultare Crea il tuo contenitore per gli endpoint multimodello di intelligenza artificiale SageMaker .

Gli endpoint a più modelli supportano tutti i tipi di istanze CPU.

Algoritmi, framework e istanze supportati per endpoint a più modelli che utilizzano istanze supportate da GPU

L'hosting di più modelli basati su GPU su endpoint multimodello è supportato tramite il server AI Triton Inference. SageMaker Questo supporta tutti i principali framework di inferenza come NVIDIA® TensorRT™, Python, XGBoost ONNX, MXNet scikit-learn PyTorch, OpenVINO, C++ personalizzato e altri. RandomForest

Per utilizzare qualsiasi altro framework o algoritmo, puoi usare il back-end Triton per Python o C++ per scrivere la logica del modello e servire qualsiasi modello personalizzato. Dopo aver preparato il server, puoi iniziare a implementare centinaia di modelli di Deep Learning dietro un unico endpoint.

Gli endpoint a più modelli supportano i seguenti tipi di istanze GPU: