기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
Amazon Bedrock의 Intelligent Prompt Routing 이해
Amazon Bedrock Intelligent Prompt Routing은 단일 서버리스 엔드포인트를 제공하여 동일한 모델 패밀리 내의 서로 다른 기본 모델 간에 요청을 효율적으로 라우팅합니다. 각 요청에 대한 각 모델의 응답 품질을 동적으로 예측한 다음 최상의 응답 품질을 갖춘 모델로 요청을 라우팅할 수 있습니다. 이렇게 하면 응답 품질과 비용을 모두 최적화할 수 있습니다.
주제
Intelligent Prompt Routing을 지원하는 리전 및 모델
지능형 프롬프트 라우팅은 다양한 유형의 모델에 사용할 수 있습니다. 다음 목록은 다양한 유형의 Amazon Bedrock 모델에 대한 지원을 설명합니다.
단일 리전 모델 지원 - 한 리전의 파운데이션 모델로 추론 요청 전송을 지원하는 AWS리전을 나열합니다. Amazon Bedrock에서 사용할 수 있는 전체 모델 표는 섹션을 참조하세요Amazon Bedrock에서 지원되는 파운데이션 모델.
교차 리전 추론 프로필 지원 - 교차 리전 추론 프로필 사용을 지원하는 리전을 나열합니다.이 리전은 지리적 영역 내의 여러 AWS리전에 있는 파운데이션 모델로 추론 요청을 보내는 것을 지원합니다. 추론 프로파일에는 모델 ID 앞에 지리적 영역을 나타내는 접두사가 있습니다(예: ,
us.apac). Amazon Bedrock에서 사용 가능한 추론 프로파일에 대한 자세한 내용은 섹션을 참조하세요추론 프로파일에 지원되는 리전 및 모델.
다음 표에는 지능형 프롬프트 라우팅에 지원되는 모델이 나와 있습니다.
| 제공업체 | 모델 | 모델 ID | 단일 리전 모델 지원 | 교차 리전 추론 프로파일 지원 |
|---|---|---|---|---|
| Amazon | Nova Lite | amazon.nova-lite-v1:0 |
us-east-1 us-gov-west-1 |
ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-2 eu-central-1 eu-west-1 eu-west-3 us-east-1 us-east-2 us-west-2 |
| Amazon | Nova Pro | amazon.nova-pro-v1:0 |
us-east-1 us-gov-west-1 |
ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-2 eu-central-1 eu-west-1 eu-west-3 us-east-1 us-east-2 us-west-2 |
| Anthropic | Claude 3 Haiku | anthropic.claude-3-haiku-20240307-v1:0 |
ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-2 eu-central-1 eu-west-1 eu-west-3 us-east-1 us-gov-west-1 us-west-2 |
ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-2 eu-central-1 eu-west-1 eu-west-3 us-east-1 us-east-2 us-gov-east-1 us-west-2 |
| Anthropic | Claude 3.5 Haiku | anthropic.claude-3-5-haiku-20241022-v1:0 |
us-west-2 |
us-east-1 us-east-2 us-west-2 |
| Anthropic | claude-3.5-sonnet | anthropic.claude-3-5-sonnet-20240620-v1:0 |
ap-northeast-1 ap-northeast-2 eu-central-1 us-east-1 us-gov-west-1 us-west-2 |
ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-2 eu-central-1 eu-west-1 eu-west-3 us-east-1 us-east-2 us-gov-east-1 us-west-2 |
| Anthropic | Claude 3.5 Sonnet v2 | anthropic.claude-3-5-sonnet-20241022-v2:0 |
ap-southeast-2 us-west-2 |
ap-northeast-1 ap-south-1 ap-southeast-2 eu-west-3 us-east-1 us-east-2 us-west-2 |
| Meta | Llama 3.1 70B Instruct | meta.llama3-1-70b-instruct-v1:0 |
us-west-2 |
us-east-1 us-east-2 us-west-2 |
| Meta | Llama 3.1 8B 지침 | meta.llama3-1-8b-instruct-v1:0 |
us-west-2 |
us-east-1 us-east-2 us-west-2 |
| Meta | Llama 3.2 11B 지침 | meta.llama3-2-11b-instruct-v1:0 | 해당 사항 없음 |
us-east-1 us-east-2 us-west-2 |
| Meta | Llama 3.2 90B 지침 | meta.llama3-2-90b-instruct-v1:0 | 해당 사항 없음 |
us-east-1 us-east-2 us-west-2 |
| Meta | Llama 3.3 70B 지침 | meta.llama3-3-70b-instruct-v1:0 |
us-east-2 |
us-east-1 us-east-2 us-west-2 |
이점
-
최적화된 응답 품질 및 비용: 프롬프트를 다양한 기본 모델로 라우팅하여 최저 비용으로 최상의 응답 품질을 달성합니다.
-
간소화된 관리: 복잡한 오케스트레이션 로직이 필요하지 않습니다.
-
미래 대비: 새 모델이 출시되면 통합합니다.
기본 및 구성된 프롬프트 라우터
Intelligent Prompt Routing을 사용하는 경우 Amazon Bedrock에서 제공하는 기본 프롬프트 라우터를 사용하거나 자체 프롬프트 라우터를 구성할 수 있습니다.
기본 프롬프트 라우터는 Amazon Bedrock에서 제공하는 사전 구성된 라우팅 시스템입니다. 이러한 라우터는 사전 정의된 설정과 함께 제공되며 특정 기본 모델에서 즉시 사용 가능하게 작동하도록 설계되었습니다. 라우팅 설정을 구성할 필요 없이 바로 사용할 수 있는 간단한 솔루션을 제공합니다. Intelligent Prompt Routing으로 시작할 때는 Amazon Bedrock에서 제공하는 기본 라우터를 사용하여 실험하는 것이 좋습니다. 미리 보기 중에 Anthropic 및 Meta 패밀리에서 일부 모델을 사용하도록 선택할 수 있습니다.
구성된 프롬프트 라우터를 사용하면 특정 요구 사항 및 선호도에 맞게 사용자 고유의 라우팅 구성을 정의할 수 있습니다. 요청을 라우팅하는 방법이나 사용할 모델을 보다 세밀하게 제어해야 할 때 더 적합합니다. 구성된 라우터를 사용하면 응답 품질 지표 및 사용 사례를 기반으로 최적화할 수 있습니다. 기본 라우터를 실험한 후 애플리케이션에 적합한 자체 라우터를 구성하고, 플레이그라운드에서 응답 품질을 평가하고, 요구 사항을 충족하는 경우 프로덕션 애플리케이션에 사용할 수 있습니다.
고려 사항 및 제한 사항
다음은 Amazon Bedrock의 Intelligent Prompt Routing에 대한 고려 사항 및 제한 사항입니다.
-
Intelligent Prompt Routing은 영어 프롬프트에만 최적화되어 있습니다.
-
Intelligent Prompt Routing은 애플리케이션별 성능 데이터를 기반으로 라우팅 결정 또는 응답을 조정할 수 없습니다.
-
Intelligent Prompt Routing이 항상 고유하거나 특수한 사용 사례에 가장 적합한 라우팅을 제공하는 것은 아닙니다. 라우팅의 효율성은 초기 훈련 데이터에 따라 달라집니다.
프롬프트 라우터 기준 및 폴백 모델
프롬프트 라우터를 구성할 때 응답 품질 차이를 기반으로 요청을 처리하기 위해 선택할 모델을 결정하는 데 사용되는 라우팅 기준을 지정할 수 있습니다. 이 기준을 사용하여 폴백 모델의 응답이 다른 모델의 응답에 얼마나 가까워야 하는지 결정할 수 있습니다.
폴백 모델
요청에 적합한 폴백 모델을 선택합니다. 이 모델은 신뢰할 수 있는 기준선 역할을 합니다. 그런 다음 폴백 모델에 비해 정확도를 개선하거나 비용을 절감하도록 다른 모델을 선택할 수 있습니다. 폴백 모델은 앵커 역할을 하며, 라우팅 기준은 응답 품질 차이에 따라 다른 모델로 전환할 시기를 결정합니다.
응답 품질 차이
응답 품질 차이는 폴백 모델과 다른 모델의 응답 간 차이를 측정합니다. 값이 작을수록 응답이 비슷함을 나타냅니다. 값이 높을수록 폴백 모델과 다른 모델 간의 응답 차이가 크다는 것을 나타냅니다.
예를 들어 응답 품질 차이가 10%라는 것은 폴백 모델인 Claude Haiku3의 응답 품질이 10%라고 가정할 때 Claude Sonnet3을 비롯한 다른 모델의 응답이 Claude Haiku3의 응답보다 10% 더 나은 경우에만 라우터가 해당 모델로 전환함을 의미합니다.
Intelligent Prompt Routing의 작동 방식
-
모델 선택 및 라우터 구성
애플리케이션에 사용할 모델 패밀리를 선택합니다. 기본 프롬프트 라우터를 사용하는 경우 Anthropic 또는 Meta 패밀리의 모델 중에서 선택할 수 있습니다. 구성된 프롬프트 라우터를 사용하는 경우 추가 모델 중에서 선택하고 라우팅 기준을 구성할 수 있습니다. 자세한 내용은 Intelligent Prompt Routing을 사용하는 방법 단원을 참조하십시오.
-
수신 요청 분석
수신되는 각 요청에 대해 시스템은 프롬프트를 분석하여 콘텐츠와 컨텍스트를 이해합니다.
-
응답 품질 예측
Amazon Bedrock은 프롬프트를 기반으로 선택한 패밀리에서 지정된 각 모델의 응답 품질을 예측합니다. 프롬프트 라우터를 구성한 경우 응답 품질 차이인 라우팅 기준을 고려하고 기준이 충족되지 않으면 지정된 폴백 모델로 요청을 라우팅합니다.
-
모델 선택 및 요청 전달
Amazon Bedrock은 응답 품질 예측을 기반으로 특정 요청에 가장 적합한 응답 품질과 비용 조합을 제공하는 모델을 동적으로 선택합니다. 그런 다음 요청을 선택한 모델로 전달하여 처리합니다.
-
응답 처리
선택한 모델의 응답이 검색되어 사용자에게 반환됩니다. 응답에는 요청을 처리하는 데 사용된 모델에 대한 정보가 포함됩니다.
Intelligent Prompt Routing을 사용하는 방법
지능형 프롬프트 라우팅을 시작하려면 Amazon Bedrock 콘솔 AWS CLI또는 AWSSDK를 사용합니다.
참고
Intelligent Prompt Routing을 최대로 활용하려면 정기적으로 성능을 검토하여 새 모델을 활용해야 합니다. 사용량을 최적화하려면 사용 가능한 성능 및 비용 지표를 모니터링합니다.
다음 섹션은 콘솔 및 CLI로부터 이 기능을 사용하는 방법을 보여줍니다. 프롬프트 라우터를 구성한 후 Amazon Bedrock은 Intelligent Prompt Routing의 작동 방식에 설명된 단계를 수행하여 선택한 라우터의 모델 중 하나에서 응답을 생성합니다.
