기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
모델 간접 호출에 추론 프로파일 사용
파운데이션 모델 대신 교차 리전 추론 프로파일을 사용하여 요청을 여러 리전으로 라우팅할 수 있습니다. 하나 이상의 리전에서 모델의 비용 및 사용량을 추적하려면 애플리케이션 추론 프로파일을 사용할 수 있습니다. 모델 추론을 실행할 때 추론 프로파일을 사용하는 방법을 알아보려면 원하는 방법의 탭을 선택한 다음 다음 단계를 따릅니다.
- Console
-
추론 프로파일을 지원하는 기능과 함께 사용하려면 다음을 수행합니다.
-
Amazon Bedrock 콘솔을 사용할 권한이 있는 IAM 보안 주체 AWS Management Console 로에 로그인합니다. 그런 다음 https://console.aws.amazon.com/bedrock/
Amazon Bedrock 콘솔을 엽니다. -
추론 프로파일을 사용하려는 기능의 페이지로 이동합니다. 예를 들어 왼쪽 탐색 창에서 채팅/텍스트 플레이그라운드를 선택합니다.
-
모델 선택을 선택한 다음 모델을 선택합니다. 예를 들어 Amazon을 선택한 다음 Nova Premier를 선택합니다.
-
추론의 드롭다운 메뉴에서 추론 프로파일을 선택합니다.
-
사용할 추론 프로파일(예: 미국 Nova Premier)을 선택한 다음 적용을 선택합니다.
-
- API
-
다음 API 작업을 사용하여 포함된 모든 리전에서 추론을 실행할 때 추론 프로파일을 사용할 수 있습니다.
-
InvokeModel 또는 InvokeModelWithResponseStream - 모델 호출에서 추론 프로파일을 사용하려면의 단계를 따르고
modelId필드에 추론 프로파일의 Amazon 리소스 이름(ARN)을 InvokeModel을 사용하여 단일 프롬프트 제출 지정합니다. 예제는 Use an inference profile in model invocation을 참조하세요. -
Converse 또는 ConverseStream - Converse API를 사용한 모델 호출에서 추론 프로파일을 사용하려면의 단계를 따르고
modelId필드에 추론 프로파일의 ARN을 Converse API 작업과 대화 수행 지정합니다. 예제는 Use an inference profile in a conversation을 참조하세요. -
RetrieveAndGenerate - 지식 기반 쿼리 결과에서 응답을 생성할 때 추론 프로파일을 사용하려면의 API 탭에 있는 단계를 따르고
modelArn필드에 추론 프로파일의 ARN을 쿼리 및 응답을 사용하여 지식 기반 테스트 지정합니다. 자세한 내용은 Use an inference proflie to generate a response를 참조하세요. -
CreateEvaluationJob - 모델 평가를 위해 추론 프로파일을 제출하려면 Amazon Bedrock에서 자동 모델 평가 작업 시작의 API 탭에 있는 단계를 따르고
modelIdentifier필드에 추론 프로파일의 ARN을 지정합니다. -
CreatePrompt - 프롬프트 관리에서 생성한 프롬프트에 대한 응답을 생성할 때 추론 프로파일을 사용하려면의 API 탭에 있는 단계를 따르고
modelId필드에 추론 프로파일의 ARN을 프롬프트 관리를 사용하여 프롬프트 생성 지정합니다. -
CreateFlow - 흐름의 프롬프트 노드 내에서 정의하는 인라인 프롬프트에 대한 응답을 생성할 때 추론 프로파일을 사용하려면의 API 탭에 있는 단계를 따릅니다Amazon Bedrock에서 흐름 생성 및 설계. 프롬프트 노드를 정의할 때
modelId필드에 추론 프로파일의 ARN을 지정합니다. -
CreateDataSource - 데이터 소스에서 비텍스트 정보를 구문 분석할 때 추론 프로파일을 사용하려면의 API 섹션에 있는 단계를 따르고
modelArn필드에 추론 프로파일의 ARN을 데이터 소스에 대한 구문 분석 옵션 지정합니다.
참고
교차 리전(시스템 정의) 추론 프로파일을 사용하는 경우 추론 프로파일의 ARN 또는 ID를 사용할 수 있습니다.
-
