Características admitidas

Amazon SageMaker AI ofrece las siguientes cuatro opciones para implementar modelos con fines de inferencia.

En la siguiente tabla se resumen las funciones principales de la plataforma compatibles con cada opción de inferencia. No muestra las funciones que pueden proporcionar los marcos, los contenedores Docker personalizados o el encadenamiento de diferentes servicios AWS.

Con SageMaker AI, puede implementar un único modelo o varios modelos detrás de un único punto de conexión de inferencia para realizar inferencias en tiempo real. En la siguiente tabla se resumen las funciones principales compatibles con las distintas opciones de alojamiento que vienen con la inferencia en tiempo real.

¹ La disponibilidad de los tipos de instancias de Amazon EC2 depende de la Región AWS. Para conocer la disponibilidad de instancias específicas de AWS, consulte los precios de Amazon SageMaker AI.

² Para utilizar cualquier otro marco o algoritmo, use el conjunto de herramientas de inferencia de SageMaker AI para compilar un contenedor que admita puntos de conexión multimodelo.

³ Con SageMaker AI, puede implementar modelos grandes (hasta 500 GB) para realizar inferencias. Puede configurar la comprobación del estado del contenedor y los tiempos de espera de descarga, de hasta 60 minutos. Esto le permitirá disponer de más tiempo para descargar y cargar el modelo y los recursos asociados. Para obtener más información, consulte Parámetros de punto de conexión de SageMaker AI para inferencia de modelos grandes. Puede utilizar contenedores de inferencia de modelos grandes compatibles con SageMaker AI. También puede utilizar bibliotecas de paralelización de modelos de terceros, como Triton con FasterTransformer y DeepSpeed. Debe asegurarse de que son compatibles con SageMaker AI.