Amazon SageMaker HyperPod에 모델 배포

Amazon SageMaker HyperPod는 이제 훈련을 넘어 Kubernetes의 유연성과 AWS관리형 서비스의 운영 우수성을 결합한 포괄적인 추론 플랫폼을 제공합니다. 전체 모델 수명 주기 동안 동일한 HyperPod 컴퓨팅을 사용하여 엔터프라이즈급 신뢰성으로 기계 학습 모델을 배포, 규모 조정 및 최적화합니다.

Amazon SageMaker HyperPod는 kubectl, Python SDK, Amazon SageMaker Studio UI 또는 HyperPod CLI를 비롯한 여러 방법을 통해 모델을 배포할 수 있는 유연한 배포 인터페이스를 제공합니다. 이 서비스는 수요에 따라 자동으로 조정되는 동적 리소스 할당을 통해 고급 오토 스케일링 기능을 제공합니다. 또한 첫 토큰까지의 시간, 지연 시간 및 GPU 사용률과 같은 중요한 지표를 추적하여 성능을 최적화하는 데 도움이 되는 포괄적인 관찰성 및 모니터링 기능이 포함되어 있습니다.

훈련 및 추론을 위한 통합 인프라

훈련 워크로드와 추론 워크로드 간에 컴퓨팅 리소스를 원활하게 전환하여 GPU 사용률을 극대화합니다. 이렇게 하면 운영 연속성을 유지하면서 총 소유 비용을 줄일 수 있습니다.

엔터프라이즈에서 사용 가능한 배포 옵션

단일 노드 및 다중 노드 추론 아키텍처를 모두 지원하여 Amazon SageMaker JumpStart의 오픈 가중치 및 게이트 모델과 Amazon S3 및 Amazon FSx의 사용자 지정 모델을 비롯해 여러 소스에서 모델을 배포합니다.

관리형 계층형 키-값(KV) 캐싱 및 지능형 라우팅

KV 캐싱은 이전 토큰을 처리한 후 미리 계산된 키-값 벡터를 저장합니다. 다음 토큰이 처리되면 벡터를 다시 계산할 필요가 없습니다. 2계층 캐싱 아키텍처를 통해 지연 시간이 짧은 로컬 재사용을 위해 CPU 메모리를 사용하는 L1 캐시와 Redis를 활용하여 확장 가능한 노드 수준 캐시 공유를 지원하는 L2 캐시를 구성할 수 있습니다.

지능형 라우팅은 수신 요청을 분석하고 관련 캐시 키-값 페어가 있을 가능성이 가장 높은 추론 인스턴스로 전달합니다. 시스템은 요청을 검사한 다음 다음 라우팅 전략 중 하나를 기반으로 라우팅합니다.

이 기능을 활성화하는 방법에 대한 자세한 내용은 섹션을 참조하세요성능 향상을 위한 KV 캐싱 및 지능형 라우팅 구성.

KV 캐싱을 위한 내장 L2 캐시 계층형 스토리지 지원

기존 KV 캐시 인프라를 기반으로 HyperPod는 이제 계층형 스토리지를 Redis와 함께 추가 L2 백엔드 옵션으로 통합합니다. 내장된 SageMaker 관리형 계층형 스토리지를 사용하면 성능이 향상됩니다. 이 개선 사항은 캐시 오프로딩을 위한 보다 확장 가능하고 효율적인 옵션을 고객에게 제공하며, 처리량이 많은 LLM 추론 워크로드에 특히 유용합니다. 통합은 기존 vLLM 모델 서버 및 라우팅 기능과의 호환성을 유지하면서 더 나은 성능을 제공합니다.