기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
모델 간접 호출에 추론 프로파일 사용
파운데이션 모델 대신 교차 리전 추론 프로파일을 사용하여 요청을 여러 리전으로 라우팅할 수 있습니다. 하나 이상의 리전에서 모델의 비용 및 사용량을 추적하려면 애플리케이션 추론 프로파일을 사용할 수 있습니다. 모델 추론을 실행할 때 추론 프로파일을 사용하는 방법을 알아보려면 원하는 방법의 탭을 선택한 다음 다음 단계를 따릅니다.
- Console
-
콘솔에서 사용할 수 있는 유일한 추론 프로파일은 미국 동부(버지니아 북부) 리전의 미국 Anthropic Claude 3 Opus 추론 프로파일입니다.
이 추론 프로파일을 사용하려면 미국 동부(버지니아 북부) 리전으로 전환합니다. 다음 중 하나를 수행하고 Anthropic Claude 3 Opus 모델을 선택하는 단계에 도달하면 모델 및 교차 리전 추론을 처리량으로 선택합니다.
-
텍스트 생성 플레이그라운드에서 추론 프로파일을 사용하려면의 단계를 따릅니다플레이그라운드를 사용하여 콘솔에서 응답 생성.
-
모델 평가에서 추론 프로파일을 사용하려면 Amazon Bedrock에서 자동 모델 평가 작업 시작의 콘솔 단계를 따릅니다.
-
- API
-
다음 API 작업을 사용하여 포함된 모든 리전에서 추론을 실행할 때 추론 프로파일을 사용할 수 있습니다.
-
InvokeModel 또는 InvokeModelWithResponseStream - 모델 호출에서 추론 프로파일을 사용하려면의 단계를 따르고
modelId필드에 추론 프로파일의 Amazon 리소스 이름(ARN)을 InvokeModel을 사용하여 단일 프롬프트 제출 지정합니다. 예제는 Use an inference profile in model invocation을 참조하세요. -
Converse 또는 ConverseStream - Converse API를 사용하여 모델 호출에 추론 프로파일을 사용하려면의 단계를 따르고
modelId필드에 추론 프로파일의 ARN을 Converse API 작업과 대화 수행 지정합니다. 예제는 Use an inference profile in a conversation을 참조하세요. -
RetrieveAndGenerate - 지식 기반 쿼리 결과에서 응답을 생성할 때 추론 프로파일을 사용하려면의 API 탭에 있는 단계를 따르고
modelArn필드에 추론 프로파일의 ARN을 쿼리 및 응답을 사용하여 지식 기반 테스트 지정합니다. 자세한 내용은 Use an inference proflie to generate a response를 참조하세요. -
CreateEvaluationJob - 모델 평가를 위해 추론 프로파일을 제출하려면 Amazon Bedrock에서 자동 모델 평가 작업 시작의 API 탭에 있는 단계를 따르고
modelIdentifier필드에 추론 프로파일의 ARN을 지정합니다. -
CreatePrompt - 프롬프트 관리에서 생성한 프롬프트에 대한 응답을 생성할 때 추론 프로파일을 사용하려면의 API 탭에 있는 단계를 따르고
modelId필드에 추론 프로파일의 ARN을 프롬프트 관리를 사용하여 프롬프트 생성 지정합니다. -
CreateFlow - 흐름의 프롬프트 노드 내에서 정의하는 인라인 프롬프트에 대한 응답을 생성할 때 추론 프로파일을 사용하려면의 API 탭에 있는 단계를 따릅니다Amazon Bedrock에서 흐름 생성 및 설계. 프롬프트 노드를 정의할 때
modelId필드에 추론 프로파일의 ARN을 지정합니다. -
CreateDataSource - 데이터 소스에서 비텍스트 정보를 구문 분석할 때 추론 프로파일을 사용하려면의 API 섹션에 있는 단계를 따르고
modelArn필드에 추론 프로파일의 ARN을 데이터 소스에 대한 구문 분석 옵션 지정합니다.
참고
교차 리전(시스템 정의) 추론 프로파일을 사용하는 경우 추론 프로파일의 ARN 또는 ID를 사용할 수 있습니다.
-
