비동기 추론 엔드포인트 생성 방법

SageMaker AI 호스팅 서비스를 사용하여 엔드포인트를 만드는 것과 동일한 방식으로 비동기식 엔드포인트를 만듭니다.

엔드포인트를 생성하려면 먼저 CreateModel를 이용해 모델 아티팩트와 도커 레지스트리 경로(이미지)를 가리키는 모델을 생성합니다. 그런 다음 CreateEndpointConfig를 사용해 배포할 CreateModel API를 사용하여 만든 하나 이상의 모델과 SageMaker AI에서 프로비저닝할 리소스를 지정하는 구성을 만듭니다. 요청에 지정된 엔드포인트 구성을 사용하여 CreateEndpoint로 엔드포인트를 생성합니다. UpdateEndpoint API를 사용하여 비동기 엔드포인트를 업데이트할 수 있습니다. InvokeEndpointAsync를 사용하여 엔드포인트에서 호스팅되는 모델에서 추론 요청을 보내고 받습니다. DeleteEndpoint API를 사용하여 엔드포인트를 삭제할 수 있습니다.

사용 가능한 SageMaker 이미지의 전체 목록은 사용 가능한 딥 러닝 컨테이너 이미지를 참조하세요. 도커 이미지 생성 방법에 대한 정보는 사용자 지정 추론 코드가 있는 컨테이너에서 확인하세요.