교차 리전 추론을 통한 처리량 증대 - Amazon Bedrock
지리적 추론과 글로벌 리전 간 추론 중에서 선택일반적인 고려 사항

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

교차 리전 추론을 통한 처리량 증대

교차 리전 추론을 사용하면 특정 리전(예: 미국 또는 EU)에 연결된 교차 리전 추론 프로파일을 선택하거나 글로벌 추론 프로파일을 선택할 수 있습니다. 특정 지리에 연결된 추론 프로파일을 선택하면 Amazon Bedrock은 해당 지리 AWS 리전내에서 최적의 상용를 자동으로 선택하여 추론 요청을 처리합니다. 글로벌 추론 프로파일을 사용하면 Amazon Bedrock은 요청을 처리할 최적의 상용 AWS 리전을 자동으로 선택하여 사용 가능한 리소스를 최적화하고 모델 처리량을 늘립니다.

두 가지 유형의 교차 리전 추론 모두 파운데이션 모델(FM)과 요청을 라우팅할 수 있는를AWS 리전 정의하는 추론 프로파일을 통해 작동합니다. 온디맨드 모드에서 모델 추론을 실행할 때 서비스 할당량에 의해 또는 사용량이 가장 많은 시간에 요청이 제한될 수 있습니다. 리전 간 추론을 사용하면 다양한 컴퓨팅을 활용하여 계획되지 않은 트래픽 버스트를 원활하게 관리할 수 있습니다AWS 리전.

프로비저닝된 처리량을 구매하여 모델의 처리량을 늘릴 수도 있습니다. 추론 프로파일은 현재 프로비저닝된 처리량을 지원하지 않습니다.

추론 프로파일을 사용하여 교차 리전 추론을 실행할 수 있는 리전 및 모델을 보려면 추론 프로파일에 지원되는 리전 및 모델 섹션을 참조하세요.

주제

지리적 추론과 글로벌 리전 간 추론 중에서 선택

Amazon Bedrock은 서로 다른 사용 사례 및 규정 준수 요구 사항에 맞게 설계된 두 가지 유형의 리전 간 추론 프로파일을 제공합니다.

기능 지리적 리전 간 추론 글로벌 리전 간 추론 권장 사항
데이터 레지던시 지리적 경계(미국, EU, APAC 등) 내 전 세계에서 지원되는 모든 AWS상용 리전 규정 준수 요구 사항을 보려면 지리적 위치 선택
처리량 단일 리전보다 높음 사용 가능한 가장 높음 성능을 극대화하려면 글로벌을 선택합니다.
비용 표준 요금 약 10% 절감 비용 최적화를 위해 글로벌 선택
SCP 요구 사항 프로필의 모든 대상 리전 허용 허용 "aws:RequestedRegion": "unspecified" 조직 정책에 따라 구성
다음과 같은 경우에 가장 적합 데이터 레지던시 규정이 적용되는 조직 비용 및 성능의 우선순위를 지정하는 조직 규정 준수 및 성능 요구 사항 평가

데이터 레지던시 요구 사항이 있고 데이터 처리가 특정 지리적 경계 내에 있도록 해야 하는 경우 지리적 리전 간 추론을 선택합니다. 지리적 제한 없이 최대 처리량과 비용 절감을 원하는 경우 글로벌 리전 간 추론을 선택합니다.

일반적인 고려 사항

교차 리전 추론에 대한 다음 정보를 참고하세요.

  • 교차 리전 추론을 사용하는 데 드는 추가 라우팅 비용은 없습니다. 가격은 추론 프로파일을 직접적으로 호출하는 리전을 기준으로 계산됩니다. 요금에 대한 자세한 내용은 Amazon Bedrock 요금을 참조하세요.

  • 리전 간 추론은에서 수동으로 활성화되지 AWS 리전않은 로 요청을 라우팅할 수 있습니다AWS 계정. 교차 리전 추론이 작동하는 데는 수동 리전 활성화가 필요하지 않습니다.

  • 리전 간 작업 중에 전송되는 모든 데이터는 네트워크에 남아AWS 있으며 퍼블릭 인터넷을 통과하지 않습니다. 데이터는 전송 중에 암호화됩니다AWS 리전.

  • 모든 리전 간 추론 요청은 소스 리전의 CloudTrail에 로깅됩니다. 필드를 찾아 요청이 처리된 위치를 additionalEventData.inferenceRegion 식별합니다.

  • AWSAmazon Bedrock에서 제공하는 서비스도 CRIS를 사용할 수 있습니다. 자세한 내용은 서비스별 설명서를 참조하세요.