Amazon Bedrock에서 추론이 작동하는 방식 - Amazon Bedrock
다른 AWS 리전에서 모델 호출

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon Bedrock에서 추론이 작동하는 방식

모델에 입력을 제출하면 모델은 다음에 오는 가능한 토큰 시퀀스를 예측하고 해당 시퀀스를 출력으로 반환합니다. Amazon Bedrock은 원하는 파운데이션 모델로 추론을 실행할 수 있는 기능을 제공합니다. 추론을 실행할 때 다음 입력을 제공합니다.

다른 AWS 리전에서 모델 호출

모델을 호출할 때 모델을 호출할 AWS 리전 를 선택합니다. 수행할 수 있는 요청의 빈도와 크기에 대한 할당량은 리전에 따라 다릅니다. Amazon Bedrock 서비스 할당량에서 다음 할당량을 검색하여 이러한 할당량을 찾을 수 있습니다.

  • ${Model}에 대한 분당 온디맨드 모델 추론 요청

  • ${Model}에 대한 분당 온디맨드 InvokeModel 토큰

파운데이션 모델 자체 대신 추론 프로파일을 호출할 수도 있습니다. 추론 프로필은 모델과 추론 프로필이 모델 호출 요청을 라우팅할 수 있는 하나 이상의 리전을 정의합니다. 여러 리전이 포함된 추론 프로파일을 호출하면 처리량을 늘릴 수 있습니다. 자세한 내용은 리전 간 추론을 통한 처리량 증가 단원을 참조하십시오. 추론 프로필로 수행할 수 있는 요청의 빈도 및 크기에 대한 할당량을 보려면 Amazon Bedrock 서비스 할당량에서 다음 할당량을 검색합니다.

  • ${Model}에 대한 분당 리전 간 InvokeModel 요청

  • ${Model}에 대한 분당 리전 간 InvokeModel 토큰

  • ${Model}에 대한 분당 글로벌 리전 간 InvokeModel 요청

  • ${Model}에 대한 분당 글로벌 리전 간 InvokeModel 토큰

리전에 대한 요청은 동일한 상위 리전을 공유하는 로컬 영역 외부에서 제공될 수 있습니다. 예를 들어 미국 동부(버지니아 북부)(us-east-1)에 대한 요청은 미국 애틀랜타(us-east-1-atl-2a)와 같이 연결된 모든 로컬 영역에서 제공될 수 있습니다.

교차 리전 추론을 사용할 때도 동일한 원칙이 적용됩니다. 예를 들어 미국 Anthropic Claude 3 Haiku 추론 프로파일에 대한 요청은 미국 시애틀(us-west-2-sea-1a)과 같이 미국에 상위 리전이 있는 모든 로컬 영역에서 제공될 수 있습니다. 새 로컬 영역이에 추가되면 해당 교차 리전 추론 엔드포인트 AWS에도 추가됩니다.

로컬 엔드포인트 및 연결된 상위 리전의 목록을 보려면 AWS 로컬 영역 위치를 참조하세요.

Amazon Bedrock에서 리전 간 추론 프로파일을 호출하면 요청은 소스 리전에서 시작되고 해당 프로파일에 정의된 대상 리전 중 하나로 자동으로 라우팅되어 성능을 최적화합니다. 글로벌 리전 간 추론 프로파일의 대상 리전에는 모든 상용 리전이 포함됩니다.

가 요청을 처리할 수 있는 상용 리전을 AWS 추가함에 따라 특정 모델의 글로벌 리전 간 추론 프로필은 시간이 지남에 따라 변경될 수 있습니다. 그러나 추론 프로파일이 지리(예: 미국, EU 또는 APAC)에 연결된 경우 대상 리전 목록은 변경되지 않습니다.는 새 리전을 통합하는 새 추론 프로파일을 생성할 AWS 수 있습니다. 설정의 IDs를 새 ID로 변경하여 이러한 추론 프로파일을 사용하도록 시스템을 업데이트할 수 있습니다.

참고

교차 리전 추론 프로파일의 대상 리전에는 AWS 계정 또는 조직 수준에서 명시적으로 활성화해야 하는 리전인 옵트인 리전이 포함될 수 있습니다. 자세한 내용은 계정 AWS 리전 에서 활성화 또는 비활성화를 참조하세요. 교차 리전 추론 프로파일을 사용하는 경우 계정의 해당 리전에 옵트인하지 않은 경우에도 추론 요청을 프로파일의 대상 리전으로 라우팅할 수 있습니다.

서비스 제어 정책(SCPs)과 AWS Identity and Access Management (IAM) 정책은 함께 작동하여 리전 간 추론이 허용되는 위치를 제어합니다. SCPs 사용하면 Amazon Bedrock이 추론에 사용할 수 있는 리전을 제어할 수 있으며, IAM 정책을 사용하면 추론을 실행할 권한이 있는 사용자 또는 역할을 정의할 수 있습니다. 교차 리전 추론 프로파일의 대상 리전이 SCPs에서 차단된 경우 다른 리전이 허용된 상태로 남아 있더라도 요청이 실패합니다. 리전 간 추론을 통한 효율적인 작업을 보장하기 위해 선택한 추론 프로파일에 포함된 모든 대상 리전에서 필요한 모든 Amazon Bedrock 추론 작업(예: bedrock:InvokeModel* 또는 bedrock:CreateModelInvocationJob)을 허용하도록 SCPs 및 IAM 정책을 업데이트할 수 있습니다. 자세한 내용은 다중 계정 환경에서 Amazon Bedrock 교차 리전 추론 https://aws.amazon.com/blogs/machine-learning/enable-amazon-bedrock-cross-region-inference-in-multi-account-environments/활성화를 참조하세요.