Implementación de modelos en Amazon SageMaker HyperPod

Amazon SageMaker HyperPod ahora va más allá de la formación para ofrecer una plataforma de inferencia integral que combina la flexibilidad de Kubernetes con la excelencia operativa de los servicios gestionados. AWS Implemente, escale y optimice sus modelos de aprendizaje automático con una confiabilidad de nivel empresarial utilizando el mismo HyperPod cómputo durante todo el ciclo de vida del modelo.

Amazon SageMaker HyperPod ofrece interfaces de implementación flexibles que le permiten implementar modelos a través de varios métodos, incluidos kubectl, Python SDK, Amazon SageMaker Studio UI o CLI. HyperPod El servicio proporciona capacidades avanzadas de escalado automático con una asignación dinámica de recursos que se ajusta automáticamente en función de la demanda. Además, incluye funciones integrales de observabilidad y monitoreo que rastrean métricas críticas como time-to-first-token la latencia y el uso de la GPU para ayudarlo a optimizar el rendimiento.

Infraestructura unificada para formación e inferencia

Maximice el uso de la GPU mediante una transición fluida de los recursos de cómputo entre las cargas de trabajo de entrenamiento y las de inferencia. Esto reduce el coste total de propiedad y, al mismo tiempo, mantiene la continuidad operativa.

Opciones de implementación listas para la empresa

Implemente modelos de múltiples fuentes, incluidos modelos de pesos abiertos y cerrados de Amazon SageMaker JumpStart y modelos personalizados de Amazon S3 y Amazon FSx con soporte para arquitecturas de inferencia de un solo nodo y de varios nodos.