Algoritmos, marcos e instancias compatibles con puntos de conexión multimodelo

Para obtener información sobre algoritmos, marcos y tipos de instancias que puedes usar con puntos de conexión multimodelo, consulte las siguientes secciones.

Algoritmos, marcos e instancias compatibles para puntos de conexión multimodelo que utilizan instancias respaldadas por CPU

Los contenedores de inferencia de los siguientes algoritmos y marcos admiten puntos de conexión multimodelo:

Para utilizar cualquier otro marco o algoritmo, utilice el kit de herramientas de inferencia de SageMaker IA para crear un contenedor que admita puntos finales multimodelo. Para obtener información, consulte Construya su propio contenedor para terminales de SageMaker IA Multi-Model.

Multi-model Los puntos finales admiten todos los tipos de instancias de CPU.

Algoritmos, marcos e instancias compatibles para puntos de conexión multimodelo que utilizan instancias respaldadas por GPU

El servidor Triton Inference de SageMaker AI permite alojar varios modelos respaldados por GPU en puntos finales multimodelo. Esto es compatible con los principales marcos de inferencia, como NVIDIA® TensorRT™, PyTorch MXNet, Python, ONNX, XGBoost, RandomForest scikit-learn, OpenVINO, C++ personalizado y más.

Para usar cualquier otro marco o algoritmo, puede usar el backend Triton para Python o C++ para escribir la lógica de su modelo y servir cualquier modelo personalizado. Una vez que tenga el servidor listo, puede empezar a implementar cientos de modelos de aprendizaje profundo en un punto de conexión.

Multi-model Los puntos finales admiten los siguientes tipos de instancias de GPU: