Implementación de un modelo en Studio

Para implementar modelos JumpStart básicos, navegue hasta una tarjeta de detalles del modelo en la interfaz de usuario de Studio. Para obtener más información sobre cómo abrir JumpStart en Studio, consulteAbrir en Studio JumpStart. Tras acceder a la página de detalles del modelo que prefiera, seleccione Implementar en la esquina superior derecha de la interfaz de usuario de Studio. A continuación, siga los pasos que se indican en Implementar modelos con SageMaker Studio.

Amazon SageMaker JumpStart también ofrece implementaciones optimizadas, que proporcionan configuraciones de implementación predefinidas diseñadas para casos de uso específicos, como la generación de contenido, el resumen o las interacciones tipo chat. Al implementar un modelo compatible, puede seleccionar su caso de uso objetivo y elegir una optimización de restricciones (optimizada en costes, optimizada en rendimiento, optimizada en latencia o equilibrada) y Amazon configura SageMaker JumpStart automáticamente el punto final para ese escenario. Esto le proporciona visibilidad de las métricas de rendimiento clave, como la latencia del P50 time-to-first-token (TTFT) y el rendimiento, al tiempo que garantiza que la implementación se ajuste a su carga de trabajo. Para empezar, abre la página de detalles de un modelo compatible en Studio, selecciona Implementar y usa el panel Rendimiento para configurar la implementación optimizada.