Amazon SageMaker HyperPod에 모델 배포

Amazon SageMaker HyperPod는 이제 훈련을 넘어 Kubernetes의 유연성과 AWS 관리형 서비스의 운영 우수성을 결합한 포괄적인 추론 플랫폼을 제공합니다. 전체 모델 수명 주기 동안 동일한 HyperPod 컴퓨팅을 사용하여 엔터프라이즈급 안정성으로 기계 학습 모델을 배포, 확장 및 최적화합니다.

Amazon SageMaker HyperPod는 kubectl, Python SDK, Amazon SageMaker Studio UI 또는 HyperPod CLI를 비롯한 여러 방법을 통해 모델을 배포할 수 있는 유연한 배포 인터페이스를 제공합니다. 이 서비스는 수요에 따라 자동으로 조정되는 동적 리소스 할당과 함께 고급 Auto Scaling 기능을 제공합니다. 또한 성능을 최적화하는 데 도움이 되도록 time-to-first-token, 지연 시간 및 GPU 사용률과 같은 중요한 지표를 추적하는 포괄적인 관찰성 및 모니터링 기능이 포함되어 있습니다.

훈련 및 추론을 위한 통합 인프라

훈련 워크로드와 추론 워크로드 간에 컴퓨팅 리소스를 원활하게 전환하여 GPU 사용률을 극대화합니다. 이렇게 하면 운영 연속성을 유지하면서 총 소유 비용을 줄일 수 있습니다.

엔터프라이즈 지원 배포 옵션

단일 노드 및 다중 노드 추론 아키텍처를 모두 지원하여 Amazon SageMaker JumpStart의 오픈 가중치 및 게이트 모델과 Amazon S3 및 Amazon FSx의 사용자 지정 모델을 포함한 여러 소스에서 모델을 배포합니다.