사용자 지정 모델을 위한 프로비저닝된 처리량 구매 - Amazon Bedrock

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

사용자 지정 모델을 위한 프로비저닝된 처리량 구매

전용 컴퓨팅 용량과 보장된 처리량이 있는 사용자 지정 모델을 사용하려면 프로비저닝된 처리량을 구매할 수 있습니다. 그런 다음 프로비저닝된 모델을 추론에 사용할 수 있습니다. 프로비저닝된 처리량에 대한 자세한 내용은 Amazon Bedrock에서 프로비저닝된 처리량으로 모델 간접 호출 용량 증대 섹션을 참조하세요.

Console
사용자 지정 모델을 위한 프로비저닝된 처리량을 구매하려면

  1. Amazon Bedrock 콘솔을 사용할 권한이 있는 IAM 자격 증명 AWS Management Console 으로에 로그인합니다. 그런 다음 https://console.aws.amazon.com/bedrock/ Amazon Bedrock 콘솔을 엽니다.

  2. 왼쪽 탐색 창의 파운데이션 모델에서 사용자 지정 모델을 선택합니다.

  3. 모델 탭에서 프로비저닝된 처리량을 구매하려는 모델 옆의 라디오 버튼을 선택하거나 모델 이름을 선택하여 세부 정보 페이지로 이동합니다.

  4. 프로비저닝된 처리량 구매를 선택합니다.

  5. 자세한 내용은 Amazon Bedrock 모델에 대한 프로비저닝된 처리량 구매 섹션의 단계를 참조하세요.

  6. 사용자 지정 모델에 대해 프로비저닝된 처리량을 구매한 후 프로비저닝된 처리량을 Amazon Bedrock 리소스와 함께 사용 섹션의 단계를 따릅니다.

사용자 지정 모델 사용을 지원하는 작업을 수행할 때 모델 선택 메뉴에서 사용자 지정 모델이 옵션으로 나타납니다.

API

사용자 지정 모델에 대한 프로비저닝된 처리량을 구매하려면 Amazon Bedrock 모델에 대한 프로비저닝된 처리량 구매의 단계에 따라 Amazon Bedrock 컨트롤 플레인 엔드포인트를 사용하여 CreateProvisionedModelThroughput(요청 및 응답 형식과 필드 세부 정보는 링크 참조) 요청을 전송합니다. 사용자 지정 모델의 이름 또는 ARN을 modelId로 사용합니다. 응답은 InvokeModel 또는 InvokeModelWithResponseStream 요청을 수행할 때 modelId로 사용할 수 있는 provisionedModelArn을 반환합니다.

코드 예시 보기