Studio에서 모델 배포

JumpStart 파운데이션 모델을 배포하려면 Studio UI에서 모델 세부 정보 카드로 이동합니다. Studio에서 JumpStart를 여는 방법에 대한 자세한 내용은 Studio에서 JumpStart 열기 섹션을 참조하세요. 선택한 모델 세부 정보 페이지로 이동한 후 Studio UI의 오른쪽 상단 모서리에서 배포를 선택합니다. 그런 다음 SageMaker Studio를 사용하여 모델 배포의 단계를 따릅니다.

Amazon SageMaker JumpStart는 콘텐츠 생성, 요약 또는 채팅 스타일 상호 작용과 같은 특정 사용 사례에 맞게 설계된 사전 정의된 배포 구성을 제공하는 최적화된 배포도 제공합니다. 지원되는 모델을 배포할 때 대상 사용 사례를 선택하고 비용 최적화, 처리량 최적화, 지연 시간 최적화 또는 균형 조정과 같은 제약 조건 최적화를 선택할 수 있으며 Amazon SageMaker JumpStart는 해당 시나리오에 대한 엔드포인트를 자동으로 구성합니다. 이를 통해 P50 지연 시간, TTFT(Timetime-to-first-token) 및 처리량과 같은 주요 성능 지표에 대한 가시성을 제공하는 동시에 워크로드에 맞게 배포를 조정할 수 있습니다. 시작하려면 Studio에서 지원되는 모델의 세부 정보 페이지를 열고 배포를 선택한 다음 성능 패널을 사용하여 최적화된 배포를 구성합니다.