Algoritma, kerangka kerja, dan instance yang didukung untuk titik akhir multi-model

Untuk informasi tentang algoritme, kerangka kerja, dan jenis instance yang dapat Anda gunakan dengan titik akhir multi-model, lihat bagian berikut.

Algoritme, kerangka kerja, dan instance yang didukung untuk titik akhir multi-model menggunakan instance yang didukung CPU

Wadah inferensi untuk algoritme dan kerangka kerja berikut mendukung titik akhir multi-model:

Untuk menggunakan kerangka kerja atau algoritme lain, gunakan toolkit inferensi SageMaker AI untuk membangun wadah yang mendukung titik akhir multi-model. Untuk informasi, lihat Bangun Container Anda Sendiri untuk SageMaker Titik Multi-Model Akhir AI.

Multi-model endpoint mendukung semua jenis instance CPU.

Algoritme, kerangka kerja, dan instance yang didukung untuk titik akhir multi-model menggunakan instans yang didukung GPU

Hosting beberapa model yang didukung GPU pada titik akhir multi-model didukung melalui server SageMaker AI Triton Inference. Ini mendukung semua kerangka inferensi utama seperti NVIDIA® TensorRT™,, PyTorch MXNet, Python, ONNX, XGBoost, scikit-learn,, OpenVINO, kustom C++, dan banyak lagi. RandomForest

Untuk menggunakan kerangka kerja atau algoritma lain, Anda dapat menggunakan backend Triton untuk Python atau C ++ untuk menulis logika model Anda dan melayani model kustom apa pun. Setelah server siap, Anda dapat mulai menerapkan 100-an model Deep Learning di belakang satu titik akhir.

Multi-model endpoint mendukung jenis instans GPU berikut: