기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
# 용량, 한도 및 비용 최적화
Amazon Bedrock은 워크로드 요구 사항 및 예산에 맞는 유연한 용량 옵션을 제공합니다. 온디맨드 티어(플렉스, 우선 순위, 표준), 예약 티어, 배치 처리 및 리전 간 추론 간의 차이를 이해하면 성능과 비용을 모두 최적화하는 데 도움이 됩니다.
# 성능 및 비용 최적화를 위한 서비스 티어
Amazon Bedrock은 모델 추론을 위한 네 가지 서비스 계층인 예약, 우선 순위, 표준 및 Flex를 제공합니다. 서비스 계층을 사용하면 가용성, 비용 및 성능에 맞게 최적화할 수 있습니다.
## 예약 티어
예약 계층은 가동 중지 시간을 견딜 수 없는 미션 크리티컬 애플리케이션에 대해 우선 순위가 지정된 컴퓨팅 용량을 예약할 수 있는 기능을 제공합니다. 워크로드의 정확한 요구 사항과 제어 비용에 맞게 분당 다양한 입력 및 출력 tokens-per-minute 용량을 유연하게 할당할 수 있습니다. 애플리케이션에 예약한 용량보다 더 많은 tokens-per-minute 용량이 필요한 경우 서비스가 자동으로 표준 계층으로 오버플로되므로 중단 없는 작업이 보장됩니다. 예약 계층은 모델 응답에 대해 99.5%의 가동 시간을 목표로 합니다. 고객은 1개월 또는 3개월 동안 용량을 예약할 수 있습니다. 고객은 분당 1K tokens-per-minute당 고정 요금을 지불하며 매월 요금이 청구됩니다.
예약 티어에 액세스하려면 AWS 계정 팀에 문의하세요.
**참고**
AWS 계정 관리자의 도움을 받아 예약 티어 예약을 삭제할 때까지 결제가 계속됩니다.
## 우선 순위 티어
Priority 티어는 표준 온디맨드 요금보다 가격 프리미엄에 가장 빠른 응답 시간을 제공합니다. 24X7 용량 예약을 보장하지 않는 고객 대면 비즈니스 워크플로가 있는 미션 크리티컬 애플리케이션에 가장 적합합니다. 우선 순위 티어에는 사전 예약이 필요하지 않습니다. "service\$1tier" 선택적 파라미터를 "priority"로 설정하여 요청 수준 우선 순위를 지정할 수 있습니다. 우선 순위 티어 요청은 표준 및 Flex 티어 요청보다 우선합니다.
## 표준 티어
표준 티어는 콘텐츠 생성, 텍스트 분석, 일상적인 문서 처리와 같은 일상적인 AI 작업에 일관된 성능을 제공합니다. 기본적으로 모든 추론 요청은 "service\$1tier" 파라미터가 누락된 경우 Standard 티어로 라우팅됩니다. 또한 'service\$1tier' 선택적 파라미터를 'default'로 설정하여 추론 요청을 Standard 티어와 함께 제공할 수도 있습니다.
## Flex 티어
더 긴 처리 시간을 처리할 수 있는 워크로드의 경우 Flex 티어는 요금 할인을 위한 비용 효율적인 처리를 제공합니다. 이를 통해 모델 평가, 콘텐츠 요약, 에이전트 워크플로와 같은 워크로드의 비용을 최적화할 수 있습니다. 'service\$1tier' 선택적 파라미터를 'flex'로 설정하면 추론 요청이 Flex 티어와 함께 제공되고 요금 할인을 받을 수 있습니다.
## 서비스 계층 기능 사용
서비스 계층 기능에 액세스하려면 Amazon Bedrock 런타임 API를 호출하는 동안 "service\$1tier" 선택적 파라미터를 "reserved", "priority", "default" 또는 "flex"로 설정할 수 있습니다.
```
"service_tier" : "reserved | priority | default | flex"
```
모델에 대한 온디맨드 할당량은 '우선 순위', '기본값' 및 'flex' 서비스 계층에서 공유됩니다. "예약" 티어 용량 예약은 온디맨드 할당량과 별개입니다. 제공된 요청에 대한 서비스 계층 구성은 API 응답 및 AWS CloudTrail 이벤트에 표시됩니다. ModelId, ServiceTier 및 ResolvedServiceTier에서 Amazon CloudWatch 지표의 서비스 계층 지표를 볼 수도 있습니다. 여기서 ResolvedServiceTier는 요청을 처리한 실제 계층을 표시합니다.
요금에 대한 자세한 내용은 [요금 세부 정보](https://aws.amazon.com/bedrock/pricing/) 페이지를 참조하세요.
예약 서비스 계층에서 지원하는 모델 및 리전:
| | | | |
| --- |--- |--- |--- |
| 제공업체 | 모델 | 모델 ID | 리전 |
| Anthropic | Claude Sonnet 4.6 | global.anthropic.claude-sonnet-4-6us.anthropic.claude-sonnet-4-6eu.anthropic.claude-sonnet-4-6 | ap-northeast-1 |
| ap-northeast-2 |
| ap-northeast-3 |
| ap-southeast-1 |
| ap-southeast-2 |
| ap-south-1 |
| ap-southeast-3 |
| ap-south-2 |
| ap-southeast-4 |
| ca-central-1 |
| eu-west-1 |
| eu-central-1 |
| eu-central-2 |
| eu-north-1 |
| eu-south-1 |
| eu-south-2 |
| eu-west-2 |
| eu-west-3 |
| sa-east-1 |
| us-east-1 |
| us-east-2 |
| us-west-1 |
| us-west-2 |
| me-south-1 |
| ap-southeast-7 |
| af-south-1 |
| me-central-1 |
| ap-southeast-5 |
| mx-central-1 |
| il-central-1 |
| ap-east-2 |
| ca-west-1 |
| Anthropic | Claude Opus 4.6 | global.anthropic.claude-opus-4-6-v1us.anthropic.claude-opus-4-6-v1eu.anthropic.claude-opus-4-6-v1 | af-south-1 |
| ap-east-2 |
| ap-northeast-1 |
| ap-northeast-2 |
| ap-northeast-3 |
| ap-south-1 |
| ap-south-2 |
| ap-southeast-1 |
| ap-southeast-2 |
| ap-southeast-3 |
| ap-southeast-4 |
| ap-southeast-5 |
| ap-southeast-7 |
| ca-central-1 |
| ca-west-1 |
| eu-central-1 |
| eu-central-2 |
| eu-north-1 |
| eu-south-1 |
| eu-south-2 |
| eu-west-1 |
| eu-west-2 |
| eu-west-3 |
| il-central-1 |
| me-central-1 |
| me-south-1 |
| mx-central-1 |
| sa-east-1 |
| us-east-1 |
| us-east-2 |
| us-west-1 |
| us-west-2 |
| Anthropic | Claude Sonnet 4.5 | global.anthropic.claude-sonnet-4-5-20250929-v1:0us.anthropic.claude-sonnet-4-5-20250929-v1:0eu.anthropic.claude-sonnet-4-5-20250929-v1:0us-gov.anthropic.claude-sonnet-4-5-20250929-v1:0 | ap-northeast-1 |
| ap-northeast-2 |
| ap-northeast-3 |
| ap-southeast-1 |
| ap-southeast-2 |
| ap-south-1 |
| ap-southeast-3 |
| ap-south-2 |
| ap-southeast-4 |
| ca-central-1 |
| eu-west-1 |
| eu-central-1 |
| eu-central-2 |
| eu-north-1 |
| eu-south-1 |
| eu-south-2 |
| eu-west-2 |
| eu-west-3 |
| sa-east-1 |
| us-east-1 |
| us-east-2 |
| us-west-1 |
| us-west-2 |
| us-gov-west-1 |
| Anthropic | Claude Opus 4.5 | global.anthropic.claude-opus-4-5-20251101-v1:0us.anthropic.claude-opus-4-5-20251101-v1:0eu.anthropic.claude-opus-4-5-20251101-v1:0 | ap-northeast-1 |
| ap-northeast-2 |
| ap-northeast-3 |
| ap-southeast-1 |
| ap-southeast-2 |
| ap-south-1 |
| ap-southeast-3 |
| ap-south-2 |
| ap-southeast-4 |
| ca-central-1 |
| eu-west-1 |
| eu-central-1 |
| eu-central-2 |
| eu-north-1 |
| eu-south-1 |
| eu-south-2 |
| eu-west-2 |
| eu-west-3 |
| sa-east-1 |
| us-east-1 |
| us-east-2 |
| us-west-1 |
| us-west-2 |
| Anthropic | Claude Haiku 4.5 | global.anthropic.claude-haiku-4-5-20251001-v1:0us.anthropic.claude-haiku-4-5-20251001-v1:0eu.anthropic.claude-haiku-4-5-20251001-v1:0 | ap-northeast-1 |
| ap-northeast-2 |
| ap-northeast-3 |
| ap-southeast-1 |
| ap-southeast-2 |
| ap-south-1 |
| ap-southeast-3 |
| ap-south-2 |
| ap-southeast-4 |
| ca-central-1 |
| eu-west-1 |
| eu-central-1 |
| eu-central-2 |
| eu-north-1 |
| eu-south-1 |
| eu-south-2 |
| eu-west-2 |
| eu-west-3 |
| sa-east-1 |
| us-east-1 |
| us-east-2 |
| us-west-1 |
| us-west-2 |
**참고**
Sonnet 4.5의 1M 컨텍스트 길이는 예약 티어에서 지원되지 않습니다.
Priority 및 Flex 서비스 계층에서 지원하는 모델 및 리전:
| | | | |
| --- |--- |--- |--- |
| 제공업체 | 모델 | 모델 ID | 리전 |
| OpenAI | gpt-oss-120b | openai.gpt-oss-120b-1:0 | us-east-1 |
| us-east-2 |
| us-west-2 |
| ap-northeast-1 |
| ap-south-1 |
| ap-southeast-3 |
| eu-central-1 |
| eu-north-1 |
| eu-south-1 |
| eu-west-1 |
| eu-west-2 |
| sa-east-1 |
| OpenAI | gpt-oss-20b | openai.gpt-oss-20b-1:0 | us-east-1 |
| us-east-2 |
| us-west-2 |
| ap-northeast-1 |
| ap-south-1 |
| ap-southeast-3 |
| eu-central-1 |
| eu-north-1 |
| eu-south-1 |
| eu-west-1 |
| eu-west-2 |
| sa-east-1 |
| OpenAI | GPT OSS Safeguard 20B | openai.gpt-oss-safeguard-20b | ap-northeast-1 |
| ap-south-1 |
| ap-southeast-2 |
| ap-southeast-3 |
| ca-central-1 |
| eu-central-1 |
| eu-central-2 |
| eu-north-1 |
| eu-south-1 |
| eu-south-2 |
| eu-west-1 |
| eu-west-2 |
| eu-west-3 |
| sa-east-1 |
| us-east-1 |
| us-east-2 |
| us-west-2 |
| OpenAI | GPT OSS Safeguard 120B | openai.gpt-oss-safeguard-120b | ap-northeast-1 |
| ap-south-1 |
| ap-southeast-2 |
| ap-southeast-3 |
| ca-central-1 |
| eu-central-1 |
| eu-central-2 |
| eu-north-1 |
| eu-south-1 |
| eu-south-2 |
| eu-west-1 |
| eu-west-2 |
| eu-west-3 |
| sa-east-1 |
| us-east-1 |
| us-east-2 |
| us-west-2 |
| Qwen | Qwen3 235B A22B 2507 | qwen.qwen3-235b-a22b-2507-v1:0 | us-east-2 |
| us-west-2 |
| ap-northeast-1 |
| ap-south-1 |
| ap-southeast-3 |
| eu-central-1 |
| eu-north-1 |
| eu-south-1 |
| eu-west-2 |
| Qwen | Qwen3 Coder 480B A35B Instruct | qwen.qwen3-coder-480b-a35b-v1:0 | us-east-2 |
| us-west-2 |
| ap-northeast-1 |
| ap-south-1 |
| ap-southeast-3 |
| eu-north-1 |
| eu-west-2 |
| Qwen | Qwen3-Coder-30B-A3B-Instruct | qwen.qwen3-coder-30b-a3b-v1:0 | us-east-1 |
| us-east-2 |
| us-west-2 |
| ap-northeast-1 |
| ap-south-1 |
| ap-southeast-3 |
| eu-central-1 |
| eu-north-1 |
| eu-south-1 |
| eu-west-1 |
| eu-west-2 |
| sa-east-1 |
| Qwen | Qwen3 32B (dense) | qwen.qwen3-32b-v1:0 | us-east-1 |
| us-east-2 |
| us-west-2 |
| ap-northeast-1 |
| ap-south-1 |
| ap-southeast-3 |
| eu-central-1 |
| eu-north-1 |
| eu-south-1 |
| eu-west-1 |
| eu-west-2 |
| sa-east-1 |
| Qwen | Qwen3 Next 80B A3B | qwen.qwen3-next-80b-a3b | ap-northeast-1 |
| ap-south-1 |
| ap-southeast-2 |
| ap-southeast-3 |
| ca-central-1 |
| eu-central-1 |
| eu-central-2 |
| eu-north-1 |
| eu-south-1 |
| eu-south-2 |
| eu-west-1 |
| eu-west-2 |
| eu-west-3 |
| sa-east-1 |
| us-east-1 |
| us-east-2 |
| us-west-2 |
| Qwen | Qwen3 VL 235B A22B | qwen.qwen3-vl-235b-a22b | ap-northeast-1 |
| ap-south-1 |
| ap-southeast-2 |
| ap-southeast-3 |
| ca-central-1 |
| eu-central-1 |
| eu-central-2 |
| eu-north-1 |
| eu-south-1 |
| eu-south-2 |
| eu-west-1 |
| eu-west-2 |
| eu-west-3 |
| sa-east-1 |
| us-east-1 |
| us-east-2 |
| us-west-2 |
| DeepSeek | DeepSeek-V3.1 | deepseek.v3-v1:0 | us-east-2 |
| us-west-2 |
| ap-northeast-1 |
| ap-south-1 |
| ap-southeast-3 |
| eu-north-1 |
| eu-west-2 |
| Amazon | Nova Premier | amazon.nova-premier-v1:0 | us-east-1\$1 |
| us-east-2\$1 |
| us-west-2\$1 |
| Amazon | Nova Pro | amazon.nova-pro-v1:0 | us-east-1 |
| us-east-2\$1 |
| us-west-1\$1 |
| us-west-2\$1 |
| ap-east-2\$1 |
| ap-northeast-1\$1 |
| ap-northeast-2\$1 |
| ap-south-1\$1 |
| ap-southeast-1\$1 |
| ap-southeast-2 |
| ap-southeast-3 |
| ap-southeast-4\$1 |
| ap-southeast-5\$1 |
| ap-southeast-7\$1 |
| eu-central-1\$1 |
| eu-north-1\$1 |
| eu-south-1\$1 |
| eu-south-2\$1 |
| eu-west-1\$1 |
| eu-west-2 |
| eu-west-3\$1 |
| il-central-1\$1 |
| me-central-1 |
| Amazon | Nova 2 Lite | amazon.nova-2-lite-v1:0 | ap-east-2 |
| ap-northeast-1 |
| ap-northeast-2 |
| ap-south-1 |
| ap-southeast-1 |
| ap-southeast-2 |
| ap-southeast-3 |
| ap-southeast-4 |
| ap-southeast-5 |
| ap-southeast-7 |
| ca-central-1 |
| ca-west-1 |
| eu-central-1 |
| eu-north-1 |
| eu-south-1 |
| eu-south-2 |
| eu-west-1 |
| eu-west-2 |
| eu-west-3 |
| il-central-1 |
| me-central-1 |
| us-east-1 |
| us-east-2 |
| us-west-1 |
| us-west-2 |
| Amazon | Nova 2 Pro Preview | amazon.nova-2-pro-preview-20251202-v1:0 | ap-east-2 |
| ap-northeast-1 |
| ap-northeast-2 |
| ap-south-1 |
| ap-southeast-1 |
| ap-southeast-2 |
| ap-southeast-3 |
| ap-southeast-4 |
| ap-southeast-5 |
| ap-southeast-7 |
| ca-central-1 |
| ca-west-1 |
| eu-central-1 |
| eu-north-1 |
| eu-south-1 |
| eu-south-2 |
| eu-west-1 |
| eu-west-2 |
| eu-west-3 |
| il-central-1 |
| me-central-1 |
| us-east-1 |
| us-east-2 |
| us-west-1 |
| us-west-2 |
| Amazon | Nova Lite 2 Omni | amazon.nova-2-lite-omni-v1 | ap-east-2 |
| ap-northeast-1 |
| ap-northeast-2 |
| ap-south-1 |
| ap-southeast-1 |
| ap-southeast-2 |
| ap-southeast-3 |
| ap-southeast-4 |
| ap-southeast-5 |
| ap-southeast-7 |
| ca-central-1 |
| ca-west-1 |
| eu-central-1 |
| eu-north-1 |
| eu-south-1 |
| eu-south-2 |
| eu-west-1 |
| eu-west-2 |
| eu-west-3 |
| il-central-1 |
| me-central-1 |
| us-east-1 |
| us-east-2 |
| us-west-1 |
| us-west-2 |
| Google | Gemma 3 4B | google.gemma-3-4b-it | ap-northeast-1 |
| ap-south-1 |
| ap-southeast-2 |
| ap-southeast-3 |
| ca-central-1 |
| eu-central-1 |
| eu-central-2 |
| eu-north-1 |
| eu-south-1 |
| eu-south-2 |
| eu-west-1 |
| eu-west-2 |
| eu-west-3 |
| sa-east-1 |
| us-east-1 |
| us-east-2 |
| us-west-2 |
| Google | Gemma 3 12B | google.gemma-3-12b-it | ap-northeast-1 |
| ap-south-1 |
| ap-southeast-2 |
| ap-southeast-3 |
| ca-central-1 |
| eu-central-1 |
| eu-central-2 |
| eu-north-1 |
| eu-south-1 |
| eu-south-2 |
| eu-west-1 |
| eu-west-2 |
| eu-west-3 |
| sa-east-1 |
| us-east-1 |
| us-east-2 |
| us-west-2 |
| Google | Gemma 3 27B | google.gemma-3-27b-it | ap-northeast-1 |
| ap-south-1 |
| ap-southeast-2 |
| ap-southeast-3 |
| ca-central-1 |
| eu-central-1 |
| eu-central-2 |
| eu-north-1 |
| eu-south-1 |
| eu-south-2 |
| eu-west-1 |
| eu-west-2 |
| eu-west-3 |
| sa-east-1 |
| us-east-1 |
| us-east-2 |
| us-west-2 |
| Minimax AI | Minimax M2 | minimax.minimax-m2 | ap-northeast-1 |
| ap-south-1 |
| ap-southeast-2 |
| ap-southeast-3 |
| ca-central-1 |
| eu-central-1 |
| eu-central-2 |
| eu-north-1 |
| eu-south-1 |
| eu-south-2 |
| eu-west-1 |
| eu-west-2 |
| eu-west-3 |
| sa-east-1 |
| us-east-1 |
| us-east-2 |
| us-west-2 |
| Mistral | Magistral Small 1.2 | mistral.magistral-small-2509 | ap-northeast-1 |
| ap-south-1 |
| ap-southeast-2 |
| ap-southeast-3 |
| ca-central-1 |
| eu-central-1 |
| eu-central-2 |
| eu-north-1 |
| eu-south-1 |
| eu-south-2 |
| eu-west-1 |
| eu-west-2 |
| eu-west-3 |
| sa-east-1 |
| us-east-1 |
| us-east-2 |
| us-west-2 |
| Mistral | Voxtral Mini 1.0 | mistral.voxtral-mini-3b-2507 | ap-northeast-1 |
| ap-south-1 |
| ap-southeast-2 |
| ap-southeast-3 |
| ca-central-1 |
| eu-central-1 |
| eu-central-2 |
| eu-north-1 |
| eu-south-1 |
| eu-south-2 |
| eu-west-1 |
| eu-west-2 |
| eu-west-3 |
| sa-east-1 |
| us-east-1 |
| us-east-2 |
| us-west-2 |
| Mistral | Voxtral Small 1.0 | mistral.voxtral-small-24b-2507 | ap-northeast-1 |
| ap-south-1 |
| ap-southeast-2 |
| ap-southeast-3 |
| ca-central-1 |
| eu-central-1 |
| eu-central-2 |
| eu-north-1 |
| eu-south-1 |
| eu-south-2 |
| eu-west-1 |
| eu-west-2 |
| eu-west-3 |
| sa-east-1 |
| us-east-1 |
| us-east-2 |
| us-west-2 |
| Mistral | Ministral 3B 3.0 | mistral.ministral-3-3b-instruct | ap-northeast-1 |
| ap-south-1 |
| ap-southeast-2 |
| ap-southeast-3 |
| ca-central-1 |
| eu-central-1 |
| eu-central-2 |
| eu-north-1 |
| eu-south-1 |
| eu-south-2 |
| eu-west-1 |
| eu-west-2 |
| eu-west-3 |
| sa-east-1 |
| us-east-1 |
| us-east-2 |
| us-west-2 |
| Mistral | Ministral 8B 3.0 | mistral.ministral-3-8b-instruct | ap-northeast-1 |
| ap-south-1 |
| ap-southeast-2 |
| ap-southeast-3 |
| ca-central-1 |
| eu-central-1 |
| eu-central-2 |
| eu-north-1 |
| eu-south-1 |
| eu-south-2 |
| eu-west-1 |
| eu-west-2 |
| eu-west-3 |
| sa-east-1 |
| us-east-1 |
| us-east-2 |
| us-west-2 |
| Mistral | Ministral 14B 3.0 | mistral.ministral-3-14b-instruct | ap-northeast-1 |
| ap-south-1 |
| ap-southeast-2 |
| ap-southeast-3 |
| ca-central-1 |
| eu-central-1 |
| eu-central-2 |
| eu-north-1 |
| eu-south-1 |
| eu-south-2 |
| eu-west-1 |
| eu-west-2 |
| eu-west-3 |
| sa-east-1 |
| us-east-1 |
| us-east-2 |
| us-west-2 |
| Mistral | Mistral Large 3 | mistral.mistral-large-3-675b-instruct | ap-northeast-1 |
| ap-south-1 |
| ap-southeast-2 |
| ap-southeast-3 |
| ca-central-1 |
| eu-central-1 |
| eu-central-2 |
| eu-north-1 |
| eu-south-1 |
| eu-south-2 |
| eu-west-1 |
| eu-west-2 |
| eu-west-3 |
| sa-east-1 |
| us-east-1 |
| us-east-2 |
| us-west-2 |
| Kimi AI | Kimi K2 Thinking | moonshot.kimi-k2-thinking | ap-northeast-1 |
| ap-south-1 |
| ap-southeast-2 |
| ap-southeast-3 |
| ca-central-1 |
| eu-central-1 |
| eu-central-2 |
| eu-north-1 |
| eu-south-1 |
| eu-south-2 |
| eu-west-1 |
| eu-west-2 |
| eu-west-3 |
| sa-east-1 |
| us-east-1 |
| us-east-2 |
| us-west-2 |
| Nvidia | NVIDIA Nemotron Nano 2 | nvidia.nemotron-nano-9b-v2 | ap-northeast-1 |
| ap-south-1 |
| ap-southeast-2 |
| ap-southeast-3 |
| ca-central-1 |
| eu-central-1 |
| eu-central-2 |
| eu-north-1 |
| eu-south-1 |
| eu-south-2 |
| eu-west-1 |
| eu-west-2 |
| eu-west-3 |
| sa-east-1 |
| us-east-1 |
| us-east-2 |
| us-west-2 |
| Nvidia | NVIDIA Nemotron Nano 2 VL | nvidia.nemotron-nano-12b-v2 | ap-northeast-1 |
| ap-south-1 |
| ap-southeast-2 |
| ap-southeast-3 |
| ca-central-1 |
| eu-central-1 |
| eu-central-2 |
| eu-north-1 |
| eu-south-1 |
| eu-south-2 |
| eu-west-1 |
| eu-west-2 |
| eu-west-3 |
| sa-east-1 |
| us-east-1 |
| us-east-2 |
| us-west-2 |
\$1모델 추론은 여러 리전을 사용하여 제공될 수 있습니다.
서비스 계층에 대한 액세스를 제어하려면 다음을 참조하세요. [서비스 계층에 대한 액세스 제어](security_iam_id-based-policy-examples-agent.md#security_iam_id-based-policy-examples-service-tiers)
## 용량 옵션
| 용량 유형 | 사용 사례 | 주요 특징 |
| --- | --- | --- |
| 온디맨드: Flex | 산발적인 소량 워크로드 | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ko_kr/bedrock/latest/userguide/capacity-limits-cost-optimization.html) |
| 온디맨드: 표준 | 일반 프로덕션 워크로드 | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ko_kr/bedrock/latest/userguide/capacity-limits-cost-optimization.html) |
| 온디맨드: 우선 순위 | 우선순위가 높고 지연 시간에 민감한 앱 | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ko_kr/bedrock/latest/userguide/capacity-limits-cost-optimization.html) |
| 예약 티어 | 일관된 대용량 워크로드 | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ko_kr/bedrock/latest/userguide/capacity-limits-cost-optimization.html) |
| 배치 | non-time-sensitive 대규모 처리 | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ko_kr/bedrock/latest/userguide/capacity-limits-cost-optimization.html) |
| 교차 리전 추론 | 고가용성, 트래픽 버스팅 | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ko_kr/bedrock/latest/userguide/capacity-limits-cost-optimization.html) |
## 한도 및 할당량
### 온디맨드 제한(계층별)
| 계층 | RPM 범위 | TPM 범위 | 제한 위험 |
| --- | --- | --- | --- |
| Flex | 10-100 | 5K-50K | 높음 |
| 표준 | 100-500 | 50K-150K | 중간 |
| 우선순위 | 500-1000 이상 | 150K-300K 이상 | 낮음 |
+ 버스트 용량: 모든 계층에서 짧은 스파이크에 사용 가능
+ 소프트 제한: 서비스 할당량 요청을 통해 증가 가능
+ 모델별: 실제 제한은 파운데이션 모델에 따라 다릅니다.
### 예약 티어 제한
+ 최소 약정: 모델 유닛 1개
+ 최대 단위: 계정 및 리전별
+ 입력/출력 토큰 제한: 구매한 단위 기준
+ 구매한 용량 내에서 RPM 제한 없음
### 배치 처리 제한
+ 작업 크기: 배치당 최대 10,000개의 레코드
+ 파일 크기: 최대 200MB 입력 파일
+ 처리 시간: 24시간 완료 기간
+ 동시 작업: 리전별 할당량
### 교차 리전 추론
+ 리전당 온디맨드 티어 제한을 상속합니다.
+ 추가 할당량 오버헤드 없음
+ 자동 라우팅(수동 제한 관리 없음)
## 비용 최적화
### 결정 프레임워크
| 시나리오 | 권장 옵션 | 이유 |
| --- | --- | --- |
| 개발/테스트 | Flex | 비프로덕션에 적합한 최저 비용 |
| 표준 프로덕션 | 표준 | 최상의 비용-성능 균형 |
| 중요한 사용자 대면 앱 | 우선순위 | 비용 대비 안정성 및 성능 |
| 안정적인 대용량 로드 | 예약 티어 | 약정을 통한 30\$150% 절감 |
| 대량 데이터 처리 | 배치 | 50% 할인, 긴급하지 않은 워크로드 |
| 미션 크리티컬 가동 시간 | 교차 리전 추론 | 가용성 > 비용 |
### 최적화 전략
**적절한 온디맨드 티어 선택**
+ 대부분의 워크로드에 대해 Standard로 시작
+ 개발/테스트 환경을 위해 Flex로 다운그레이드
+ 제한이 사용자에게 영향을 미치는 경우에만 Priority로 업그레이드
+ CloudWatch 스로틀 지표를 모니터링하여 결정 정보 제공
**예약 티어로 전환**
+ 일관된 로드가 온디맨드 비용의 40%를 초과하는 경우
+ 손익분기점 계산: (월별 온디맨드 비용) 대 (예약된 약정)
+ 처음에는 1개월 약정 사용
+ 예약 티어는 모든 온디맨드 티어와 함께 사용할 수 있습니다.
**용 배치 활용**
+ 훈련 데이터 생성
+ 콘텐츠 조절 백로그
+ 보고서 생성
+ 데이터 보강 파이프라인
**접근 방식 결합**
+ 기준 트래픽에 대한 예약 티어
+ 중간 버스트에 대한 표준 온디맨드
+ 중요한 피크 기간의 온디맨드 우선 순위
+ 오프라인 처리를 위한 배치
+ 장애 조치 전용 교차 리전
**비용 모니터링**
+ 티어 비용 비교: Flex < Standard < Priority
+ 요청당 토큰 추적(프롬프트 최적화)
+ 사용률 및 제한에 CloudWatch 지표 사용
+ 예상치 못한 스파이크에 대한 결제 경보 설정
+ 월별 예약 티어 사용률 검토
+ 제한 발생 시에만 티어 업그레이드 평가
# 배치 추론을 사용하여 여러 프롬프트 처리
배치 추론을 사용하면 여러 프롬프트를 제출하고 응답을 비동기적으로 생성할 수 있습니다. `InvokeModel` 또는 `Converse` API 형식을 사용하여 입력 데이터의 형식을 지정할 수 있습니다. 배치 추론을 사용하면 단일 요청을 보내고 Amazon S3 버킷에서 응답을 생성하여 많은 수의 요청을 효율적으로 처리할 수 있습니다. 만든 파일에서 모델 입력을 정의한 후 파일을 S3 버킷에 업로드합니다. 그런 다음 배치 추론 요청을 제출하고 S3 버킷을 지정합니다. 작업이 완료되면 S3에서 출력 파일을 검색할 수 있습니다. 배치 추론을 사용하여 대규모 데이터 세트에 대한 모델 추론 성능을 개선할 수 있습니다.
**참고**
배치 추론은 프로비저닝된 모델에서는 지원되지 않습니다.
배치 추론에 대한 일반적인 정보는 다음 리소스를 참조하세요.
+ 배치 추론에 대한 요금을 확인하려면 [Amazon Bedrock 요금](https://aws.amazon.com/bedrock/pricing/)을 참조하세요.
+ 배치 추론 할당량을 확인하려면 AWS 일반 참조의 [Amazon Bedrock endpoints and quotas](https://docs.aws.amazon.com/general/latest/gr/bedrock.html)를 참조하세요.
+ 배치 추론 작업이 완료되거나 폴링 대신 상태가 변경될 때 알림을 받으려면 섹션을 참조하세요[Amazon EventBridge를 사용하여 Amazon Bedrock 작업 상태 변경 모니터링이벤트 변경 모니터링](monitoring-eventbridge.md).
**Topics**
+ [배치 추론에 지원되는 리전 및 모델](batch-inference-supported.md)
+ [배치 추론을 위한 사전 조건](batch-inference-prereq.md)
+ [배치 추론 작업 생성](batch-inference-create.md)
+ [배치 추론 작업 모니터링](batch-inference-monitor.md)
+ [배치 추론 작업 생성](batch-inference-stop.md)
+ [배치 추론 작업 결과 확인](batch-inference-results.md)
+ [배치 추론의 코드 예제](batch-inference-example.md)
+ [OpenAI Batch API를 사용하여 프롬프트 배치 제출](inference-openai-batch.md)
# 배치 추론에 지원되는 리전 및 모델
다음 목록은 Amazon Bedrock의 리전 및 모델 지원에 관한 일반 정보로 연결되는 링크를 제공합니다.
+ Amazon Bedrock에서 지원되는 리전 코드 및 엔드포인트 목록은 [Amazon Bedrock 엔드포인트 및 할당량](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#bedrock_region) 섹션을 참조하세요.
+ Amazon Bedrock API 작업을 직접적으로 호출할 때 사용할 Amazon Bedrock 모델 ID 목록은 [Amazon Bedrock에서 지원되는 파운데이션 모델](models-supported.md) 섹션을 참조하세요.
+ Amazon Bedrock API 작업을 직접적으로 호출할 때 사용할 Amazon Bedrock 추론 프로파일 ID 목록은 [지원되는 교차 리전 추론 프로파일](inference-profiles-support.md#inference-profiles-support-system) 섹션을 참조하세요.
배치 추론은 다양한 유형의 모델에 사용할 수 있습니다. 다음 목록은 다양한 유형의 Amazon Bedrock 모델에 대한 지원을 설명합니다.
+ **단일 리전 모델 지원 -** 한 리전의 파운데이션 모델로 추론 요청 전송을 지원하는 AWS 리전을 나열합니다. Amazon Bedrock에서 사용할 수 있는 전체 모델 표는 섹션을 참조하세요[Amazon Bedrock에서 지원되는 파운데이션 모델](models-supported.md).
+ **교차 리전 추론 프로필 지원** - 교차 리전 추론 프로필 사용을 지원하는 리전을 나열합니다.이 리전은 지리적 영역 내의 여러 AWS 리전에 있는 파운데이션 모델로 추론 요청 전송을 지원합니다. 추론 프로파일에는 모델 ID 앞에 지리적 영역을 나타내는 접두사가 있습니다(예: , `us.``apac`). Amazon Bedrock에서 사용 가능한 추론 프로파일에 대한 자세한 내용은 섹션을 참조하세요[추론 프로파일에 지원되는 리전 및 모델](inference-profiles-support.md).
+ **사용자 지정 모델 지원** - 사용자 지정 모델에 추론 요청 전송을 지원하는 리전을 나열합니다. 모델 사용자 지정에 대한 자세한 내용은 섹션을 참조하세요[모델을 사용자 지정하여 사용 사례에 맞게 성능 개선](custom-models.md).
다음 표에는 배치 추론에 대한 지원이 요약되어 있습니다.
| 제공업체 | 모델 | 모델 ID | 단일 리전 모델 지원 | 교차 리전 추론 프로파일 지원 | 사용자 지정 모델 지원 |
| --- | --- | --- | --- | --- | --- |
| Amazon | Amazon Nova 멀티모달 임베딩 | amazon.nova-2-multimodal-embeddings-v1:0 | us-east-1 | | 해당 사항 없음 |
| Amazon | Nova 2 Lite | amazon.nova-2-lite-v1:0 | 해당 사항 없음 | ap-east-2 ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-5 ap-southeast-7 ca-central-1 ca-west-1 eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-2 eu-west-3 il-central-1 me-central-1 us-east-1 us-east-2 us-west-1 us-west-2 | 해당 사항 없음 |
| Amazon | Nova Lite | amazon.nova-lite-v1:0 | me-central-1 us-east-1 us-gov-west-1 | ap-east-2 ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-5 ap-southeast-7 ca-central-1 ca-west-1 eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 il-central-1 me-central-1 us-east-1 us-east-2 us-west-1 us-west-2 | 해당 사항 없음 |
| Amazon | Nova Micro | amazon.nova-micro-v1:0 | us-east-1 us-gov-west-1 | ap-east-2 ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-5 ap-southeast-7 eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 il-central-1 me-central-1 us-east-1 us-east-2 us-west-2 | 해당 사항 없음 |
| Amazon | Nova Premier | amazon.nova-premier-v1:0 | 해당 사항 없음 | us-east-1 us-east-2 us-west-2 | 해당 사항 없음 |
| Amazon | Nova Pro | amazon.nova-pro-v1:0 | ap-southeast-3 me-central-1 us-east-1 us-gov-west-1 | ap-east-2 ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-5 ap-southeast-7 eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 il-central-1 me-central-1 us-east-1 us-east-2 us-west-1 us-west-2 | 해당 사항 없음 |
| Amazon | Titan Multimodal Embeddings G1 | amazon.titan-embed-image-v1 | ap-south-1 ap-southeast-2 ca-central-1 eu-central-1 eu-west-1 eu-west-2 eu-west-3 sa-east-1 us-east-1 us-west-2 | | us-east-1 us-west-2 |
| Amazon | Titan Text Embeddings V2 | amazon.titan-embed-text-v2:0 | ap-northeast-1 ap-northeast-2 ca-central-1 eu-central-1 eu-central-2 eu-north-1 eu-south-1 eu-south-2 eu-west-2 sa-east-1 us-east-1 us-west-2 | | 해당 사항 없음 |
| Anthropic | Claude 3 Haiku | anthropic.claude-3-haiku-20240307-v1:0 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 ca-central-1 eu-central-1 eu-central-2 eu-west-1 eu-west-2 eu-west-3 sa-east-1 us-east-1 us-west-2 | 해당 사항 없음 | 해당 사항 없음 |
| Anthropic | Claude 3 Opus | anthropic.claude-3-opus-20240229-v1:0 | us-west-2 | us-east-1 | 해당 사항 없음 |
| Anthropic | Claude 3 Sonnet | anthropic.claude-3-sonnet-20240229-v1:0 | ap-northeast-2 ap-south-1 ap-southeast-2 ca-central-1 eu-central-1 eu-west-1 eu-west-2 eu-west-3 sa-east-1 us-east-1 us-west-2 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 eu-central-1 eu-west-1 eu-west-3 us-east-1 us-west-2 | 해당 사항 없음 |
| Anthropic | Claude 3.5 Haiku | anthropic.claude-3-5-haiku-20241022-v1:0 | us-west-2 | us-east-1 | 해당 사항 없음 |
| Anthropic | claude-3.5-sonnet | anthropic.claude-3-5-sonnet-20240620-v1:0 | ap-northeast-1 ap-northeast-2 ap-southeast-1 eu-central-1 us-east-1 us-east-2 us-west-2 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 eu-central-1 eu-west-1 eu-west-3 us-east-1 us-west-2 | 해당 사항 없음 |
| Anthropic | Claude 3.5 Sonnet v2 | anthropic.claude-3-5-sonnet-20241022-v2:0 | us-west-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 us-east-1 us-east-2 us-west-2 | 해당 사항 없음 |
| Anthropic | Claude 3.7 Sonnet | anthropic.claude-3-7-sonnet-20250219-v1:0 | 해당 사항 없음 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 eu-central-1 eu-north-1 eu-west-1 eu-west-3 us-east-1 us-east-2 us-west-2 | 해당 사항 없음 |
| Anthropic | Claude Haiku 4.5 | anthropic.claude-haiku-4-5-20251001-v1:0 | 해당 사항 없음 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ca-central-1 eu-central-1 eu-central-2 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-2 eu-west-3 sa-east-1 us-east-1 us-east-2 us-west-1 us-west-2 | 해당 사항 없음 |
| Anthropic | Claude Opus 4.5 | anthropic.claude-opus-4-5-20251101-v1:0 | 해당 사항 없음 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ca-central-1 eu-central-1 eu-central-2 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-2 eu-west-3 sa-east-1 us-east-1 us-east-2 us-west-1 us-west-2 | 해당 사항 없음 |
| Anthropic | Claude Opus 4.6 | anthropic.claude-opus-4-6-v1 | 해당 사항 없음 | af-south-1 ap-east-2 ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-5 ap-southeast-7 ca-central-1 ca-west-1 eu-central-1 eu-central-2 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-2 eu-west-3 il-central-1 me-central-1 me-south-1 mx-central-1 sa-east-1 us-east-1 us-east-2 us-west-1 us-west-2 | 해당 사항 없음 |
| Anthropic | Claude Sonnet 4 | anthropic.claude-sonnet-4-20250514-v1:0 | 해당 사항 없음 | ap-east-2 ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-5 ap-southeast-7 eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 il-central-1 me-central-1 us-east-1 us-east-2 us-west-1 us-west-2 | 해당 사항 없음 |
| Anthropic | Claude Sonnet 4.5 | anthropic.claude-sonnet-4-5-20250929-v1:0 | 해당 사항 없음 | af-south-1 ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ca-central-1 ca-west-1 eu-central-1 eu-central-2 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-2 eu-west-3 me-south-1 mx-central-1 sa-east-1 us-east-1 us-east-2 us-gov-east-1 us-gov-west-1 us-west-1 us-west-2 | 해당 사항 없음 |
| Anthropic | Claude Sonnet 4.6 | anthropic.claude-sonnet-4-6 | eu-west-2 | af-south-1 ap-east-2 ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-5 ap-southeast-7 ca-central-1 ca-west-1 eu-central-1 eu-central-2 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-2 eu-west-3 il-central-1 me-central-1 me-south-1 mx-central-1 sa-east-1 us-east-1 us-east-2 us-west-1 us-west-2 | 해당 사항 없음 |
| DeepSeek | DeepSeek V3.2 | deepseek.v3.2 | ap-northeast-1 ap-south-1 ap-southeast-2 ap-southeast-3 eu-north-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | 해당 사항 없음 | 해당 사항 없음 |
| DeepSeek | DeepSeek-V3.1 | deepseek.v3-v1:0 | ap-northeast-1 ap-south-1 ap-southeast-2 ap-southeast-3 eu-north-1 eu-west-2 us-east-2 us-west-2 | | 해당 사항 없음 |
| Google | Gemma 3 12B IT | google.gemma-3-12b-it | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | 해당 사항 없음 | 해당 사항 없음 |
| Google | Gemma 3 27B PT | google.gemma-3-27b-it | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | 해당 사항 없음 | 해당 사항 없음 |
| Google | Gemma 3 4B IT | google.gemma-3-4b-it | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | 해당 사항 없음 | 해당 사항 없음 |
| Meta | Llama 3.1 405B 지침 | meta.llama3-1-405b-instruct-v1:0 | us-west-2 | | 해당 사항 없음 |
| Meta | Llama 3.1 70B Instruct | meta.llama3-1-70b-instruct-v1:0 | us-west-2 | us-east-1 us-west-2 | 해당 사항 없음 |
| Meta | Llama 3.1 8B 지침 | meta.llama3-1-8b-instruct-v1:0 | us-west-2 | us-east-1 us-west-2 | 해당 사항 없음 |
| Meta | Llama 3.2 11B 지침 | meta.llama3-2-11b-instruct-v1:0 | | us-east-1 us-west-2 | 해당 사항 없음 |
| Meta | Llama 3.2 1B 지침 | meta.llama3-2-1b-instruct-v1:0 | | eu-central-1 eu-west-1 eu-west-3 us-east-1 us-west-2 | 해당 사항 없음 |
| Meta | Llama 3.2 3B 지침 | meta.llama3-2-3b-instruct-v1:0 | | eu-central-1 eu-west-1 eu-west-3 us-east-1 us-west-2 | 해당 사항 없음 |
| Meta | Llama 3.2 90B 지침 | meta.llama3-2-90b-instruct-v1:0 | | us-east-1 us-west-2 | 해당 사항 없음 |
| Meta | Llama 3.3 70B 지침 | meta.llama3-3-70b-instruct-v1:0 | us-east-2 | us-east-1 us-east-2 us-west-2 | 해당 사항 없음 |
| Meta | Llama 4 Maverick 17B 지침 | meta.llama4-maverick-17b-instruct-v1:0 | | us-east-1 us-east-2 us-west-1 us-west-2 | 해당 사항 없음 |
| Meta | Llama 4 Scout 17B 지침 | meta.llama4-scout-17b-instruct-v1:0 | | us-east-1 us-east-2 us-west-1 us-west-2 | 해당 사항 없음 |
| MiniMax | MiniMax M2 | minimax.minimax-m2 | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | 해당 사항 없음 | 해당 사항 없음 |
| MiniMax | MiniMax M2.1 | minimax.minimax-m2.1 | ap-northeast-1 ap-south-1 ap-southeast-2 ap-southeast-3 eu-central-1 eu-north-1 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | 해당 사항 없음 | 해당 사항 없음 |
| Mistral AI | Devstral 2 123B | mistral.devstral-2-123b | ap-northeast-1 ap-south-1 ap-southeast-2 ap-southeast-3 eu-central-1 eu-north-1 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | 해당 사항 없음 | 해당 사항 없음 |
| Mistral AI | Magistral Small 2509 | mistral.magistral-small-2509 | ap-northeast-1 ap-south-1 ap-southeast-2 sa-east-1 us-east-1 us-east-2 us-west-2 | 해당 사항 없음 | 해당 사항 없음 |
| Mistral AI | 미니스트럴 14B 3.0 | mistral.ministral-3-14b-instruct | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | 해당 사항 없음 | 해당 사항 없음 |
| Mistral AI | 미니스트럴 3 8B | mistral.ministral-3-8b-instruct | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | 해당 사항 없음 | 해당 사항 없음 |
| Mistral AI | 미니스트럴 3B | mistral.ministral-3-3b-instruct | ap-northeast-1 ap-south-1 ap-southeast-2 sa-east-1 us-east-1 us-east-2 us-west-2 | 해당 사항 없음 | 해당 사항 없음 |
| Mistral AI | Mistral Large(24.07) | mistral.mistral-large-2407-v1:0 | us-west-2 | 해당 사항 없음 | 해당 사항 없음 |
| Mistral AI | Mistral Large 3 | mistral.mistral-large-3-675b-instruct | ap-northeast-1 ap-south-1 ap-southeast-2 sa-east-1 us-east-1 us-east-2 us-west-2 | 해당 사항 없음 | 해당 사항 없음 |
| Mistral AI | Mistral Small(24.02) | mistral.mistral-small-2402-v1:0 | us-east-1 | 해당 사항 없음 | 해당 사항 없음 |
| Mistral AI | Voxtral Mini 3B 2507 | mistral.voxtral-mini-3b-2507 | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | 해당 사항 없음 | 해당 사항 없음 |
| Mistral AI | Voxtral Small 24B 2507 | mistral.voxtral-small-24b-2507 | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | 해당 사항 없음 | 해당 사항 없음 |
| 달샷 AI | 기미 K2 Thinking | moonshot.kimi-k2-thinking | ap-northeast-1 ap-south-1 ap-southeast-2 sa-east-1 us-east-1 us-east-2 us-west-2 | 해당 사항 없음 | 해당 사항 없음 |
| 달샷 AI | 키미 K2.5 | moonshotai.kimi-k2.5 | ap-northeast-1 ap-south-1 ap-southeast-2 ap-southeast-3 eu-north-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | 해당 사항 없음 | 해당 사항 없음 |
| NVIDIA | NVIDIA Nemotron Nano 12B v2 VL BF16 | nvidia.nemotron-nano-12b-v2 | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | 해당 사항 없음 | 해당 사항 없음 |
| NVIDIA | NVIDIA Nemotron Nano 9B v2 | nvidia.nemotron-nano-9b-v2 | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | 해당 사항 없음 | 해당 사항 없음 |
| NVIDIA | Nemotron Nano 3 30B | nvidia.nemotron-nano-3-30b | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | 해당 사항 없음 | 해당 사항 없음 |
| OpenAI | GPT OSS 보호 120B | openai.gpt-oss-safeguard-120b | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | 해당 사항 없음 | 해당 사항 없음 |
| OpenAI | GPT OSS 보호 20B | openai.gpt-oss-safeguard-20b | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | 해당 사항 없음 | 해당 사항 없음 |
| OpenAI | gpt-oss-120b | openai.gpt-oss-120b-1:0 | ap-northeast-1 ap-south-1 ap-southeast-2 ap-southeast-3 eu-central-1 eu-north-1 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-gov-west-1 us-west-2 | 해당 사항 없음 | 해당 사항 없음 |
| OpenAI | gpt-oss-20b | openai.gpt-oss-20b-1:0 | ap-northeast-1 ap-south-1 ap-southeast-2 ap-southeast-3 eu-central-1 eu-north-1 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-gov-west-1 us-west-2 | 해당 사항 없음 | 해당 사항 없음 |
| 쿠엔 | Qwen3 235B A22B 2507 | qwen.qwen3-235b-a22b-2507-v1:0 | ap-northeast-1 ap-south-1 ap-southeast-2 ap-southeast-3 eu-central-1 eu-north-1 eu-south-1 eu-west-2 us-east-2 us-west-2 | 해당 사항 없음 | 해당 사항 없음 |
| 쿠엔 | Qwen3 32B(집약적) | qwen.qwen3-32b-v1:0 | ap-northeast-1 ap-south-1 ap-southeast-2 ap-southeast-3 eu-central-1 eu-north-1 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | 해당 사항 없음 | 해당 사항 없음 |
| 쿠엔 | Qwen3 Coder 480B A35B 지침 | qwen.qwen3-coder-480b-a35b-v1:0 | ap-northeast-1 ap-south-1 ap-southeast-2 ap-southeast-3 eu-north-1 eu-west-2 us-east-2 us-west-2 | 해당 사항 없음 | 해당 사항 없음 |
| 쿠엔 | Qwen3 Coder 다음 | qwen.qwen3-coder-next | ap-southeast-2 eu-west-2 us-east-1 | 해당 사항 없음 | 해당 사항 없음 |
| 쿠엔 | Qwen3 다음 80B A3B | qwen.qwen3-next-80b-a3b | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | 해당 사항 없음 | 해당 사항 없음 |
| 쿠엔 | Qwen3 VL 235B A22B | qwen.qwen3-vl-235b-a22b | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | 해당 사항 없음 | 해당 사항 없음 |
| 쿠엔 | Qwen3-Coder-30B-A3B-Instruct | qwen.qwen3-coder-30b-a3b-v1:0 | ap-northeast-1 ap-south-1 ap-southeast-2 ap-southeast-3 eu-central-1 eu-north-1 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | 해당 사항 없음 | 해당 사항 없음 |
| Z.AI | GLM 4.7 | zai.glm-4.7 | ap-northeast-1 ap-south-1 ap-southeast-2 ap-southeast-3 eu-north-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | 해당 사항 없음 | 해당 사항 없음 |
| Z.AI | GLM 4.7 플래시 | zai.glm-4.7-flash | ap-northeast-1 ap-south-1 ap-southeast-2 ap-southeast-3 eu-central-1 eu-north-1 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | 해당 사항 없음 | N/A |
# 배치 추론을 위한 사전 조건
배치 추론을 수행하려면 다음 사전 조건을 충족해야 합니다.
1. 데이터세트를 준비하고 Amazon S3 버킷에 업로드합니다.
1. 출력 데이터에 대한 S3 버킷을 만듭니다.
1. 관련 IAM 자격 증명에 대한 배치 추론 관련 권한을 설정합니다.
1. (선택 사항) 배치 추론을 수행하는 동안 S3의 데이터를 보호할 수 있도록 VPC를 설정합니다. VPC를 사용할 필요가 없는 경우 이 단계를 건너뛸 수 있습니다.
이러한 사전 조건을 충족하는 방법을 알아보려면 다음 주제를 살펴보세요.
**Topics**
+ [추론 데이터의 형식 지정 및 업로드](batch-inference-data.md)
+ [배치 추론에 필요한 필수 권한](batch-inference-permissions.md)
+ [VPC를 사용하여 배치 추론 작업 보호](batch-vpc.md)
# 추론 데이터의 형식 지정 및 업로드
모델 간접 호출 작업을 제출할 때 선택하거나 지정할 S3 위치에 배치 추론 데이터를 추가해야 합니다. S3 위치에는 다음 항목이 포함되어야 합니다.
+ 모델 입력을 정의하는 하나 이상의 JSONL 파일. JSONL에는 JSON 객체 행이 포함됩니다. JSONL 파일은 확장명 .jsonl로 끝나야 하며 다음 형식이어야 합니다.
```
{ "recordId" : "alphanumeric string", "modelInput" : {JSON body} }
...
```
각 줄에는 `recordId` 필드와 필드가 있는 JSON 객체가 포함되어 `modelInput` 있습니다. `modelInput` JSON 객체의 형식은 [배치 추론 작업을 생성할](batch-inference-create.md) 때 선택하는 모델 호출 유형에 따라 달라집니다. `InvokeModel` 유형(기본값)을 사용하는 경우 형식은 `InvokeModel` 요청에서 사용하는 모델의 `body` 필드와 일치해야 합니다( 참조[파운데이션 모델의 추론 요청 파라미터 및 응답 필드](model-parameters.md)). `Converse` 유형을 사용하는 경우 형식은 [Converse](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html) API의 요청 본문과 일치해야 합니다.
**참고**
`recordId` 필드를 생략하면 Amazon Bedrock에서 해당 필드를 출력에 추가합니다.
출력 JSONL 파일의 레코드 순서는 입력 JSONL 파일의 레코드 순서와 일치하지 않습니다.
[배치 추론 작업](batch-inference-create.md)을 생성할 때 사용할 모델을 지정합니다.
+ (입력 콘텐츠에 Amazon S3 위치가 포함된 경우) 일부 모델에서는 입력의 콘텐츠를 S3 위치로 정의할 수 있습니다. [Amazon Nova에 대한 비디오 입력 예제](#batch-inference-data-ex-s3)을(를) 참조하세요.
**주의**
프롬프트에서 S3 URIs 사용하는 경우 모든 리소스가 동일한 S3 버킷 및 폴더에 있어야 합니다. `InputDataConfig` 파라미터는 개별 `.jsonl` 파일뿐만 아니라 연결된 모든 리소스(예: 비디오 또는 이미지)가 포함된 폴더 경로를 지정해야 합니다. S3 경로는 대/소문자를 구분하므로 URIs 정확한 폴더 구조와 일치하는지 확인합니다.
입력이 배치 추론 할당량을 준수하는지 확인합니다. [Amazon Bedrock 서비스 할당량](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#limits_bedrock)에서 다음 할당량을 검색할 수 있습니다.
+ **배치 추론 작업당 최소 레코드 수** - 작업의 JSONL 파일에 대한 최소 레코드 수(JSON 객체)입니다.
+ **배치 추론 작업별 입력 파일당 레코드** - 작업의 단일 JSONL 파일에 있는 최대 레코드 수(JSON 객체)입니다.
+ **배치 추론 작업당 레코드** - 작업의 JSONL 파일에 걸친 최대 레코드 수(JSON 객체)입니다.
+ **배치 추론 입력 파일 크기** - 작업에 있는 단일 파일의 최대 크기입니다.
+ **배치 추론 작업 크기** - 모든 입력 파일의 최대 누적 크기입니다.
배치 추론 입력을 설정하는 방법을 더 잘 이해하려면 다음 예제를 참조하세요.
## Anthropic Claude 3 Haiku에 대한 텍스트 입력 예제
Anthropic Claude 3 Haiku 모델의 [Messages API](model-parameters-anthropic-claude-messages.md) 형식을 사용하여 배치 추론을 실행하려는 경우 다음 JSON 객체가 포함된 JSONL 파일을 줄 중 하나로 제공할 수 있습니다.
```
{
"recordId": "CALL0000001",
"modelInput": {
"anthropic_version": "bedrock-2023-05-31",
"max_tokens": 1024,
"messages": [
{
"role": "user",
"content": [
{
"type": "text",
"text": "Summarize the following call transcript: ..."
}
]
}
]
}
}
```
## Amazon Nova에 대한 비디오 입력 예제
Amazon Nova Lite 또는 Amazon Nova Pro 모델을 사용하여 비디오 입력에서 배치 추론을 실행하려는 경우 비디오를 바이트 단위로 정의하거나 JSONL 파일의 S3 위치로 정의할 수 있습니다. 예를 들어, 경로가 `s3://batch-inference-input-bucket`이고 다음 파일이 포함된 S3 버킷이 있을 수 있습니다.
```
s3://batch-inference-input-bucket/
├── videos/
│ ├── video1.mp4
│ ├── video2.mp4
│ ├── ...
│ └── video50.mp4
└── input.jsonl
```
`input.jsonl` 파일의 샘플 레코드는 다음과 같습니다.
```
{
"recordId": "RECORD01",
"modelInput": {
"messages": [
{
"role": "user",
"content": [
{
"text": "You are an expert in recipe videos. Describe this video in less than 200 words following these guidelines: ..."
},
{
"video": {
"format": "mp4",
"source": {
"s3Location": {
"uri": "s3://batch-inference-input-bucket/videos/video1.mp4",
"bucketOwner": "111122223333"
}
}
}
}
]
}
]
}
}
```
배치 추론 작업을 생성할 때 `s3://batch-inference-input-bucket` `InputDataConfig` 파라미터에 폴더 경로를 지정해야 합니다. 배치 추론은 참조된 리소스(예: `videos` 하위 폴더의 비디오 `input.jsonl` 파일)와 함께이 위치에서 파일을 처리합니다.
다음 리소스는 배치 추론을 위한 비디오 입력 제출에 대한 자세한 정보를 제공합니다.
+ 입력 요청에서 Amazon S3 URIs를 검증하는 방법은 [Amazon S3 URL 구문 분석 블로그](https://aws.amazon.com/blogs/devops/s3-uri-parsing-is-now-available-in-aws-sdk-for-java-2-x/)를 참조하세요.
+ Nova를 사용한 비디오 이해를 위해 간접 호출 레코드를 설정하는 방법에 대한 자세한 내용은 [Amazon Nova 비전 프롬프트 지침을 참조하세요](https://docs.aws.amazon.com/nova/latest/userguide/prompting-vision-prompting.html).
## Converse 입력 예제
배치 추론 작업을 생성할 `Converse` 때 모델 호출 유형을 로 설정하는 경우 `modelInput` 필드는 Converse API 요청 형식을 사용해야 합니다. 다음 예제에서는 Converse 배치 추론 작업에 대한 JSONL 레코드를 보여줍니다.
```
{
"recordId": "CALL0000001",
"modelInput": {
"messages": [
{
"role": "user",
"content": [
{
"text": "Summarize the following call transcript: ..."
}
]
}
],
"inferenceConfig": {
"maxTokens": 1024
}
}
}
```
Converse 요청 본문에서 지원되는 필드의 전체 목록은 API 참조의 [Converse](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html)를 참조하세요.
다음 주제에서는 자격 증명이 배치 추론을 수행할 수 있도록 S3 액세스 및 배치 추론 권한을 설정하는 방법을 설명합니다.
# 배치 추론에 필요한 필수 권한
배치 추론을 수행하려면 다음 IAM 자격 증명에 대한 권한을 설정해야 합니다.
+ 배치 추론 작업을 생성하고 관리하는 IAM 자격 증명입니다.
+ Amazon Bedrock이 사용자를 대신하여 작업을 수행하기 위해 맡는 배치 추론 [서비스 역할](security-iam-sr.md)입니다.
각 자격 증명에 대한 권한을 설정하는 방법을 알아보려면 다음 주제를 살펴봅니다.
**Topics**
+ [IAM 자격 증명이 배치 추론 작업을 제출하고 관리하는 데 필요한 권한](#batch-inference-permissions-user)
+ [서비스 역할이 배치 추론을 수행하는 데 필요한 권한](#batch-inference-permissions-service)
## IAM 자격 증명이 배치 추론 작업을 제출하고 관리하는 데 필요한 권한
IAM 자격 증명으로 이 기능을 사용하려면 필요한 권한을 구성해야 합니다. 이렇게 하려면 다음 중 한 가지를 수행합니다.
+ 자격 증명이 모든 Amazon Bedrock 작업을 수행하도록 허용하려면 [AmazonBedrockFullAccess](security-iam-awsmanpol.md#security-iam-awsmanpol-AmazonBedrockFullAccess) 정책을 자격 증명에 연결합니다. 이렇게 하면 이 주제를 건너뛸 수 있습니다. 이 옵션은 덜 안전합니다.
+ 보안 모범 사례로 자격 증명에 필요한 작업만 허용해야 합니다. 이 주제에서는 이 기능에 필요한 권한을 설명합니다.
배치 추론에 사용되는 작업으로만 권한을 제한하려면 다음 자격 증명 기반 정책을 IAM 자격 증명에 연결합니다.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "BatchInference",
"Effect": "Allow",
"Action": [
"bedrock:ListFoundationModels",
"bedrock:GetFoundationModel",
"bedrock:ListInferenceProfiles",
"bedrock:GetInferenceProfile",
"bedrock:ListCustomModels",
"bedrock:GetCustomModel",
"bedrock:TagResource",
"bedrock:UntagResource",
"bedrock:ListTagsForResource",
"bedrock:CreateModelInvocationJob",
"bedrock:GetModelInvocationJob",
"bedrock:ListModelInvocationJobs",
"bedrock:StopModelInvocationJob"
],
"Resource": "*"
}
]
}
```
------
권한을 더욱 제한하려면 작업을 생략하거나 리소스 및 조건 키를 지정하여 권한을 필터링할 수 있습니다. 작업, 리소스 및 조건 키에 대한 자세한 내용은 *서비스 권한 부여 참조*에서 다음 주제를 참조하세요.
+ [Amazon Bedrock에서 정의한 작업](https://docs.aws.amazon.com/service-authorization/latest/reference/list_amazonbedrock.html#amazonbedrock-actions-as-permissions) - 작업, `Resource` 필드에서 작업의 범위를 지정할 수 있는 리소스 유형, `Condition` 필드에서 권한을 필터링할 수 있는 조건 키에 대해 알아봅니다.
+ [Amazon Bedrock에서 정의한 리소스 유형](https://docs.aws.amazon.com/service-authorization/latest/reference/list_amazonbedrock.html#amazonbedrock-resources-for-iam-policies) - Amazon Bedrock의 리소스 유형에 대해 알아봅니다.
+ [Amazon Bedrock의 조건 키](https://docs.aws.amazon.com/service-authorization/latest/reference/list_amazonbedrock.html#amazonbedrock-policy-keys) - Amazon Bedrock의 조건 키에 대해 알아봅니다.
다음 정책은 배치 추론 권한을 계정 ID `123456789012`를 가진 사용자만 `us-west-2` 리전에서 Anthropic Claude 3 Haiku 모델을 사용하여 배치 추론 작업을 생성할 수 있도록 제한하는 예제입니다.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "CreateBatchInferenceJob",
"Effect": "Allow",
"Action": [
"bedrock:CreateModelInvocationJob"
],
"Resource": [
"arn:aws:bedrock:us-west-2::foundation-model/anthropic.claude-3-haiku-20240307-v1:0",
"arn:aws:bedrock:us-west-2:123456789012:model-invocation-job/*"
]
}
]
}
```
------
## 서비스 역할이 배치 추론을 수행하는 데 필요한 권한
배치 추론은 사용자를 대신하여 작업을 수행하기 위해 자격 증명을 맡는 [서비스 역할](security-iam-sr.md)에 의해 수행됩니다. 서비스 역할은 다음 방법으로 생성할 수 있습니다.
+ AWS Management Console을 사용하여 Amazon Bedrock이 필요한 권한을 가진 서비스 역할을 자동으로 생성하도록 합니다. 배치 추론 작업을 생성할 때 이 옵션을 선택할 수 있습니다.
+ 를 사용하여 Amazon Bedrock에 대한 사용자 지정 서비스 역할을 AWS Identity and Access Management생성하고 필요한 권한을 연결합니다. 배치 추론 작업을 제출할 때 이 역할을 지정합니다. 배치 추론을 위한 사용자 지정 서비스 역할 생성에 대한 자세한 내용은 [배치 추론을 위한 사용자 지정 서비스 역할 생성](batch-iam-sr.md) 섹션을 참조하세요. 서비스 역할 생성에 대한 자세한 내용은 IAM 사용 설명서의 [AWS 서비스에 대한 권한을 위임할 역할 생성](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_roles_create_for-service.html)을 참조하세요.
**중요**
[배치 추론을 위해 데이터를 업로드](batch-inference-data.md)한 S3 버킷이 다른에 있는 AWS 계정경우 서비스 역할이 데이터에 액세스할 수 있도록 S3 버킷 정책을 구성해야 합니다. 콘솔을 사용하여 서비스 역할을 자동으로 생성하더라도 이 정책을 수동으로 구성해야 합니다. Amazon Bedrock 리소스에 대한 S3 버킷 정책을 구성하는 방법은 [다른 계정이 액세스할 수 있도록 Amazon S3 버킷에 버킷 정책 연결](s3-bucket-access.md#s3-bucket-access-cross-account) 섹션을 참조하세요.
Amazon Bedrock의 파운데이션 모델은 고객 소유권이 필요한 IAM 정책 조건에 사용할 수 없는 AWS관리형 리소스입니다. 이러한 모델은 개별 고객이 소유하고 운영AWS하며 개별 고객이 소유할 수 없습니다. 파운데이션 모델에 적용하면 고객 소유 리소스(예: 리소스 태그, 조직 ID 또는 기타 소유권 속성을 사용하는 조건)를 확인하는 모든 IAM 정책 조건이 실패하여 이러한 서비스에 대한 합법적인 액세스를 차단할 수 있습니다.
예를 들어 정책에 다음과 같은 `aws:ResourceOrgID` 조건이 포함된 경우:
```
{
"Condition": {
"StringEqualsIgnoreCase": {
"aws:ResourceOrgID": ["o-xxxxxxxx"]
}
}
}
```
배치 추론 작업은에서 실패합니다`AccessDeniedException`. `aws:ResourceOrgID` 조건을 제거하거나 파운데이션 모델에 대해 별도의 정책 설명을 생성합니다.
# VPC를 사용하여 배치 추론 작업 보호
배치 추론 작업을 실행하면 작업이 Amazon S3 버킷에 액세스하여 입력 데이터를 다운로드하고 출력 데이터를 작성합니다. 데이터에 대한 액세스 권한을 제어하려면 [Amazon VPC](https://docs.aws.amazon.com/vpc/latest/userguide/what-is-amazon-vpc.html)로 가상 프라이빗 클라우드(VPC)를 사용하는 것이 좋습니다. 인터넷을 통해 사용자 데이터에 접근할 수 없도록 VPC를 구성하고 대신 [AWS PrivateLink](https://docs.aws.amazon.com/vpc/latest/privatelink/what-is-privatelink.html)를 사용하여 VPC 인터페이스 엔드포인트를 만들어 데이터에 대한 프라이빗 연결을 설정하여 데이터를 추가로 보호할 수 있습니다. Amazon VPC 및를 Amazon Bedrock과 AWS PrivateLink 통합하는 방법에 대한 자세한 내용은 섹션을 참조하세요[Amazon VPC 및 AWS PrivateLink를 사용하여 데이터 보호](usingVPC.md).
다음 단계를 수행하여 배치 추론 작업에 대한 입력 프롬프트 및 출력 모델 응답에 VPC를 구성하고 사용합니다.
**Topics**
+ [배치 추론 중에 데이터를 보호하도록 VPC 설정](#batch-vpc-setup)
+ [배치 추론 역할에 VPC 권한 연결](#batch-vpc-role)
+ [배치 추론 작업을 제출할 때 VPC 구성 추가](#batch-vpc-config)
## 배치 추론 중에 데이터를 보호하도록 VPC 설정
VPC를 설정하려면 [VPC 설정](usingVPC.md#create-vpc)의 단계를 따릅니다. [(예제) VPC를 사용하여 Amazon S3 데이터에 대한 데이터 액세스 제한](vpc-s3.md)의 단계에 따라 S3 VPC 엔드포인트를 설정하고, 리소스 기반 IAM 정책을 사용해 배치 추론 데이터가 포함된 S3 버킷에 대한 액세스를 제한하여 VPC를 추가로 보호할 수 있습니다.
## 배치 추론 역할에 VPC 권한 연결
VPC 설정을 완료한 후 [배치 추론 서비스 역할](batch-iam-sr.md)에 다음 권한을 연결하여 VPC에 액세스할 수 있도록 합니다. 작업에 필요한 VPC 리소스에만 액세스할 수 있도록 이 정책을 수정합니다. *subnet-ids* 및 *security-group-id*를 VPC의 값으로 바꿉니다.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "1",
"Effect": "Allow",
"Action": [
"ec2:DescribeNetworkInterfaces",
"ec2:DescribeVpcs",
"ec2:DescribeDhcpOptions",
"ec2:DescribeSubnets",
"ec2:DescribeSecurityGroups"
],
"Resource": [
"*"
]
},
{
"Sid": "2",
"Effect": "Allow",
"Action": [
"ec2:CreateNetworkInterface"
],
"Resource": [
"arn:aws:ec2:us-east-1:123456789012:network-interface/*",
"arn:aws:ec2:us-east-1:123456789012:subnet/${{subnet-id}}",
"arn:aws:ec2:us-east-1:123456789012:security-group/${{security-group-id}}"
],
"Condition": {
"StringEquals": {
"aws:RequestTag/BedrockManaged": [
"true"
]
},
"ArnEquals": {
"aws:RequestTag/BedrockModelInvocationJobArn": [
"arn:aws:bedrock:us-east-1:123456789012:model-invocation-job/*"
]
}
}
},
{
"Sid": "3",
"Effect": "Allow",
"Action": [
"ec2:CreateNetworkInterfacePermission",
"ec2:DeleteNetworkInterface",
"ec2:DeleteNetworkInterfacePermission"
],
"Resource": [
"*"
],
"Condition": {
"StringEquals": {
"ec2:Subnet": [
"arn:aws:ec2:us-east-1:123456789012:subnet/${{subnet-id}}"
]
},
"ArnEquals": {
"ec2:ResourceTag/BedrockModelInvocationJobArn": [
"arn:aws:bedrock:us-east-1:123456789012:model-invocation-job/*"
]
}
}
},
{
"Sid": "4",
"Effect": "Allow",
"Action": [
"ec2:CreateTags"
],
"Resource": "arn:aws:ec2:us-east-1:123456789012:network-interface/*",
"Condition": {
"StringEquals": {
"ec2:CreateAction": [
"CreateNetworkInterface"
]
},
"ForAllValues:StringEquals": {
"aws:TagKeys": [
"BedrockManaged",
"BedrockModelInvocationJobArn"
]
}
}
}
]
}
```
------
## 배치 추론 작업을 제출할 때 VPC 구성 추가
이전 섹션에서 설명한 것처럼, VPC 및 필수 역할과 권한을 구성한 후에는 이 VPC를 사용하는 배치 추론 작업을 만들 수 있습니다.
**참고**
현재로서는 배치 추론 작업을 만들 때 API를 통해서만 VPC를 사용할 수 있습니다.
작업에 대한 VPC 서브넷 및 보안 그룹을 지정할 경우, Amazon Bedrock은 한 서브넷의 보안 그룹과 연결된 **탄력적 네트워크 인터페이스(ENI)를 생성합니다. ENI를 통해 Amazon Bedrock은 사용자 VPC에 있는 리소스에 연결할 수 있습니다. ENI에 대한 자세한 내용은 *Amazon VPC 사용 설명서*의 [탄력적 네트워크 인터페이스](https://docs.aws.amazon.com/vpc/latest/userguide/VPC_ElasticNetworkInterfaces.html)를 참조하세요. Amazon Bedrock은 생성한 ENI에 `BedrockManaged` 및 `BedrockModelInvocationJobArn` 태그를 지정합니다.
각각의 가용 영역에서 하나 이상의 서브넷을 제공하는 것이 좋습니다.
보안 그룹을 사용하면 VPC 리소스에 대한 Amazon Bedrock의 액세스를 제어하기 위한 규칙을 설정할 수 있습니다.
[CreateModelInvocationJob](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateModelInvocationJob.html) 요청을 제출할 때 다음 예제와 같이 `VpcConfig`를 요청 파라미터로 포함하여 사용할 VPC 서브넷 및 보안 그룹을 지정할 수 있습니다.
```
"vpcConfig": {
"securityGroupIds": [
"sg-0123456789abcdef0"
],
"subnets": [
"subnet-0123456789abcdef0",
"subnet-0123456789abcdef1",
"subnet-0123456789abcdef2"
]
}
```
# 배치 추론 작업 생성
모델 추론을 실행하기 위한 파일로 Amazon S3 버킷을 설정한 후 배치 추론 작업을 만들 수 있습니다. 시작하기 전에 [추론 데이터의 형식 지정 및 업로드](batch-inference-data.md)에 설명된 지침에 따라 파일을 설정했는지 확인합니다.
**참고**
VPC를 사용하여 배치 추론 작업을 제출하려면 API를 사용해야 합니다. API 탭을 선택하여 VPC 구성을 포함하는 방법을 알아봅니다.
배치 추론 작업을 생성하는 방법을 알아보려면 원하는 방법의 탭을 선택한 후 다음 단계를 따릅니다.
------
#### [ Console ]
**배치 추론 작업을 만드는 방법**
1. Amazon Bedrock 콘솔을 사용할 권한이 있는 IAM 자격 증명 AWS Management Console 으로에 로그인합니다. 그 다음 [https://console.aws.amazon.com/bedrock](https://console.aws.amazon.com/bedrock)에서 Amazon Bedrock 콘솔을 엽니다.
1. 왼쪽 탐색 창에서 **배치 추론**을 선택합니다.
1. **배치 추론 작업** 섹션에서 **작업 생성**을 선택합니다.
1. **작업 세부 정보** 섹션에서 배치 추론 작업에 **작업 이름**을 부여하고 **모델 선택**을 선택하여 배치 추론 작업에 사용할 모델을 선택합니다.
1. **모델 호출 유형** 섹션에서 입력 데이터의 API 형식을 선택합니다. 입력 데이터가 모델별 요청 형식을 사용하는 경우 **InvokeModel**을 선택하고, 입력 데이터가 **Converse** API 형식을 사용하는 경우 Converse를 선택합니다. 기본값은 **InvokeModel**입니다.
1. **입력 데이터** 섹션에서 **S3 찾아보기**를 선택하고 배치 추론 작업의 S3 위치를 선택합니다. 배치 추론은 위치가 S3 폴더이든 단일 JSONL 파일이든 관계없이 해당 S3 위치에서 모든 JSONL 및 관련 콘텐츠 파일을 처리합니다.
**참고**
입력 데이터가 작업을 제출하는 계정과 다른 계정에 속한 S3 버킷에 있는 경우, API를 사용하여 배치 추론 작업을 제출해야 합니다. 이를 수행하는 방법을 알아보려면 위의 API 탭을 선택합니다.
1. **출력 데이터** 섹션에서 ** S3 찾아보**기를 선택하고 배치 추론 작업의 출력 파일을 저장할 S3 위치를 선택합니다. 기본적으로 출력 데이터는에 의해 암호화됩니다 AWS 관리형 키. 사용자 지정 KMS 키를 선택하려면 **암호화 설정 사용자 지정(고급)**을 선택하고 키를 선택합니다. Amazon Bedrock 리소스의 암호화 및 사용자 지정 KMS 키 설정에 대한 자세한 내용은 [데이터 암호화](data-encryption.md) 섹션을 참조하세요.
**참고**
작업을 제출하는 계정과 다른 계정에 속한 S3 버킷에 출력 데이터를 쓰려는 경우, API를 사용하여 배치 추론 작업을 제출해야 합니다. 이를 수행하는 방법을 알아보려면 위의 API 탭을 선택합니다.
1. **서비스 액세스** 섹션에서 다음 옵션 중 하나를 선택합니다.
+ **기존 서비스 역할 사용** - 드롭다운 목록에서 서비스 역할을 선택합니다. 적절한 권한이 있는 사용자 지정 역할을 설정하는 방법에 대한 자세한 내용은 [배치 추론에 필요한 필수 권한](batch-inference-permissions.md) 섹션을 참조하세요.
+ **새 서비스 역할 생성 및 사용** - 서비스 역할의 이름을 입력합니다.
1. (선택 사항) 태그를 배치 추론 작업과 연결하려면 **태그** 섹션을 확장하고 각 태그에 키 및 선택적 값을 추가합니다. 자세한 내용은 [Amazon Bedrock 리소스 태그 지정](tagging.md) 섹션을 참조하세요.
1. **배치 추론 작업 생성**을 선택합니다.
------
#### [ API ]
배치 추론 작업을 만들려면 [Amazon Bedrock 컨트롤 플레인 엔드포인트](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp)를 사용하여 [CreateModelInvocationJob](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateModelInvocationJob.html) 요청을 전송합니다.
필수 필드는 다음과 같습니다.
****
| Field | 사용 사례: |
| --- | --- |
| jobName | 작업의 이름을 지정합니다. |
| roleArn | 작업을 만들고 관리할 수 있는 권한이 있는 서비스 역할의 Amazon 리소스 이름(ARN)을 지정합니다. 자세한 내용은 [배치 추론을 위한 사용자 지정 서비스 역할 생성](batch-iam-sr.md) 섹션을 참조하세요. |
| modelId | 추론에 사용할 모델의 ID 또는 ARN을 지정합니다. |
| inputDataConfig | 입력 데이터가 포함된 S3 위치를 지정합니다. 배치 추론은 위치가 S3 폴더이든 단일 JSONL 파일이든 관계없이 해당 S3 위치에서 모든 JSONL 및 관련 콘텐츠 파일을 처리합니다. 자세한 내용은 [추론 데이터의 형식 지정 및 업로드](batch-inference-data.md) 단원을 참조하십시오. |
| outputDataConfig | 모델 응답을 쓸 S3 위치를 지정합니다. |
다음 필드는 선택 사항입니다.
****
| Field | 사용 사례: |
| --- | --- |
| modelInvocationType | 입력 데이터의 API 형식을 지정합니다. Converse API 형식을 사용하려면 Converse로 설정하고, 모델별 요청 형식을 사용하려면 InvokeModel (기본값)로 설정합니다. Converse 요청 형식에 대한 자세한 내용은 [Converse](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html)를 참조하세요. |
| timeoutDurationInHours | 작업이 시간 초과되는 기간을 시간 단위로 지정합니다. |
| tags | 작업과 연결할 태그를 지정합니다. 자세한 내용은 [Amazon Bedrock 리소스 태그 지정](tagging.md) 섹션을 참조하세요. |
| vpcConfig | 작업 중 데이터를 보호하는 데 사용할 VPC 구성을 지정합니다. 자세한 내용은 [VPC를 사용하여 배치 추론 작업 보호](batch-vpc.md) 섹션을 참조하세요. |
| clientRequestToken | API 요청이 한 번만 완료되도록 합니다. 자세한 내용은 [멱등성 보장하기](https://docs.aws.amazon.com/ec2/latest/devguide/ec2-api-idempotency.html)를 참조하세요. |
응답은 다른 배치 추론 관련 API 직접 호출을 수행할 때 작업을 참조하는 데 사용할 수 있는 `jobArn`을 반환합니다.
------
# 배치 추론 작업 모니터링
배치 추론 작업에 대해 설정한 구성 외에도 작업의 상태를 확인하여 진행 상황을 모니터링할 수도 있습니다. 작업의 가능한 상태에 대한 자세한 내용은 [ModelInvocationJobSummary](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ModelInvocationJobSummary.html)의 `status` 필드를 참조하세요.
총 레코드 수와 이미 처리된 레코드 수를 비교하여 작업의 상태를 추적할 수도 있습니다. 이러한 숫자는 출력 파일이 포함된 Amazon S3 버킷의 `manifest.json.out` 파일에서 찾을 수 있습니다. 자세한 내용은 [배치 추론 작업 결과 확인](batch-inference-results.md) 섹션을 참조하세요. S3 객체를 다운로드하는 방법을 알아보려면 [객체 다운로드](https://docs.aws.amazon.com/AmazonS3/latest/userguide/download-objects.html)를 참조하세요.
**작은 정보**
작업 상태에 대해 폴링하는 대신 Amazon EventBridge를 사용하여 배치 추론 작업이 완료되거나 상태가 변경될 때 자동 알림을 받을 수 있습니다. 자세한 내용은 [Amazon EventBridge를 사용하여 Amazon Bedrock 작업 상태 변경 모니터링이벤트 변경 모니터링](monitoring-eventbridge.md) 단원을 참조하십시오.
배치 추론 작업의 세부 정보를 보는 방법을 알아보려면 원하는 방법의 탭을 선택한 후 다음 단계를 따릅니다.
------
#### [ Console ]
**배치 추론 작업에 대한 정보를 보는 방법**
1. Amazon Bedrock 콘솔을 사용할 권한이 있는 IAM 자격 증명 AWS Management Console 으로에 로그인합니다. 그 다음 [https://console.aws.amazon.com/bedrock](https://console.aws.amazon.com/bedrock)에서 Amazon Bedrock 콘솔을 엽니다.
1. 왼쪽 탐색 창에서 **배치 추론**을 선택합니다.
1. **배치 추론 작업** 섹션에서 작업을 선택합니다.
1. 작업 세부 정보 페이지에서 작업의 구성에 대한 정보를 보고 **상태**를 확인하여 진행 상황을 모니터링할 수 있습니다.
------
#### [ API ]
배치 추론 작업에 대한 정보를 가져오려면 [Amazon Bedrock 컨트롤 플레인 엔드포인트](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp)를 사용하여 [GetModelInvocationJob](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_GetModelInvocationJob.html) 요청을 보내고 `jobIdentifier` 필드에 작업의 ID 또는 ARN을 제공합니다.
여러 배치 추론 작업에 대한 정보를 나열하려면 [Amazon Bedrock 컨트롤 플레인 엔드포인트](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp)를 사용하여 [ListModelInvocationJobs](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ListModelInvocationJobs.html) 요청을 전송합니다. 필요한 경우 다음 파라미터를 지정할 수도 있습니다.
`GetModelInvocationJob` 및에 대한 응답에는 작업이 `InvokeModel` 또는 `Converse` API 형식을 사용하는지 여부를 나타내는 `modelInvocationType` 필드가 `ListModelInvocationJobs` 포함됩니다.
****
| Field | 간단한 설명 |
| --- | --- |
| maxResults | 응답으로 반환할 최대 결과 수입니다. |
| nextToken | maxResults 필드에 지정한 수보다 많은 결과가 있는 경우 응답은 nextToken 값을 반환합니다. 다음 결과 배치를 보려면 다른 요청에서 nextToken 값을 보냅니다. |
작업에 대해 모든 태그를 나열하려면 [Amazon Bedrock 컨트롤 플레인 엔드포인트](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp)를 사용하여 [ListTagsForResource](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ListTagsForResource.html) 요청을 전송하고 작업의 Amazon 리소스 이름(ARN)을 포함합니다.
------
# 배치 추론 작업 생성
진행 중인 배치 추론 작업을 중지하는 방법을 알아보려면 원하는 방법의 탭을 선택한 후 다음 단계를 따릅니다.
------
#### [ Console ]
**배치 추론 작업을 중지하는 방법**
1. Amazon Bedrock 콘솔을 사용할 권한이 있는 IAM 자격 증명으로 AWS Management Console에 로그인합니다. 그 다음 [https://console.aws.amazon.com/bedrock](https://console.aws.amazon.com/bedrock)에서 Amazon Bedrock 콘솔을 엽니다.
1. 왼쪽 탐색 창에서 **배치 추론**을 선택합니다.
1. 작업을 선택하여 작업 세부 정보 페이지로 이동하거나 작업 옆의 옵션 버튼을 선택합니다.
1. **작업 중단(Stop job)**을 선택합니다.
1. 메시지를 검토하고 **작업 중지**를 선택합니다.
**참고**
이미 처리된 토큰에 대해서는 요금이 부과됩니다.
------
#### [ API ]
배치 추론 작업을 중지하려면 [Amazon Bedrock 컨트롤 플레인 엔드포인트](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp)를 사용하여 [StopModelInvocationJob](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_StopModelInvocationJob.html) 요청을 보내고 `jobIdentifier` 필드에 작업의 ID 또는 ARN을 제공합니다.
작업이 성공적으로 중지된 경우 HTTP 200 응답을 받게 됩니다.
------
# 배치 추론 작업 결과 확인
배치 추론 작업이 `Completed` 상태이면 작업 생성 중에 지정한 Amazon S3 버킷의 파일에서 배치 추론 작업의 결과를 추출할 수 있습니다. S3 객체를 다운로드하는 방법을 알아보려면 [객체 다운로드](https://docs.aws.amazon.com/AmazonS3/latest/userguide/download-objects.html)를 참조하세요. S3 버킷에는 다음 파일이 포함됩니다.
1. Amazon Bedrock은 각 입력 JSONL 파일별로 출력 JSONL 파일을 생성합니다. 출력 파일에는 각 입력의 모델에서 얻은 출력이 다음 형식으로 포함되어 있습니다. 추론에 오류가 발생한 모든 줄의 `modelOutput` 필드를 `error` 객체가 대체합니다. `modelOutput` JSON 객체의 형식은 모델 호출 유형에 따라 다릅니다. `InvokeModel` 작업의 경우 형식은 `InvokeModel` 응답의 `body` 필드와 일치합니다( 참조[파운데이션 모델의 추론 요청 파라미터 및 응답 필드](model-parameters.md)). `Converse` 작업의 경우 형식은 [Converse](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html) API의 응답 본문과 일치합니다.
```
{ "recordId" : "string", "modelInput": {JSON body}, "modelOutput": {JSON body} }
```
다음 예제 출력은 가능한 출력 파일을 보여 줍니다.
```
{ "recordId" : "3223593EFGH", "modelInput" : {"inputText": "Roses are red, violets are"}, "modelOutput" : {"inputTextTokenCount": 8, "results": [{"tokenCount": 3, "outputText": "blue\n", "completionReason": "FINISH"}]}}
{ "recordId" : "1223213ABCD", "modelInput" : {"inputText": "Hello world"}, "error" : {"errorCode" : 400, "errorMessage" : "bad request" }}
```
1. 배치 추론 작업의 요약이 포함된 `manifest.json.out` 파일입니다.
```
{
"totalRecordCount" : number,
"processedRecordCount" : number,
"successRecordCount": number,
"errorRecordCount": number,
"inputTokenCount": number,
"outputTokenCount" : number
}
```
필드는 아래에 설명되어 있습니다.
+ totalRecordCount - 배치 추론 작업에 제출된 총 레코드 수입니다.
+ processedRecordCount - 배치 추론 작업에서 처리된 레코드 수입니다.
+ successRecordCount - 배치 추론 작업에서 성공적으로 처리된 레코드 수입니다.
+ errorRecordCount - 오류를 일으킨 배치 추론 작업의 레코드 수입니다.
+ inputTokenCount - 배치 추론 작업에 제출된 총 입력 토큰 수입니다.
+ outputTokenCount - 배치 추론 작업에서 생성된 총 출력 토큰 수입니다.
# 배치 추론의 코드 예제
이 장의 코드 예제에서는 배치 추론 작업을 만들고, 이에 대한 정보를 보고, 작업을 중지하는 방법을 보여줍니다. 이 예제에서는 `InvokeModel` API 형식을 사용합니다. `Converse` API 형식 사용에 대한 자세한 내용은 섹션을 참조하세요[추론 데이터의 형식 지정 및 업로드](batch-inference-data.md).
언어를 선택하여 해당 언어의 코드 예제를 확인하세요.
------
#### [ Python ]
*abc.jsonl*이라는 JSONL 파일을 생성하고 최소 레코드 수가 포함된 각 레코드에 대한 JSON 객체를 포함합니다(***\$1Model\$1*의 배치 추론 작업당 최소 레코드 수** [Amazon Bedrock의 할당량](quotas.md) 참조). 이 예제에서는 Anthropic Claude 3 Haiku 모델을 사용합니다. 다음은 파일에 포함된 첫 번째 입력 JSON의 예제입니다.
```
{
"recordId": "CALL0000001",
"modelInput": {
"anthropic_version": "bedrock-2023-05-31",
"max_tokens": 1024,
"messages": [
{
"role": "user",
"content": [
{
"type": "text",
"text": "Summarize the following call transcript: ..."
}
]
}
]
}
}
...
# Add records until you hit the minimum
```
*amzn-s3-demo-bucket-input*이라는 S3 버킷을 만들고 여기에 파일을 업로드합니다. 그런 다음 *amzn-s3-demo-bucket-output*이라는 S3 버킷을 만들어 출력 파일을 씁니다. 다음 코드 스니펫을 실행하여 작업을 제출하고 응답에서 *jobArn*을 가져옵니다.
```
import boto3
bedrock = boto3.client(service_name="bedrock")
inputDataConfig=({
"s3InputDataConfig": {
"s3Uri": "s3://amzn-s3-demo-bucket-input/abc.jsonl"
}
})
outputDataConfig=({
"s3OutputDataConfig": {
"s3Uri": "s3://amzn-s3-demo-bucket-output/"
}
})
response=bedrock.create_model_invocation_job(
roleArn="arn:aws:iam::123456789012:role/MyBatchInferenceRole",
modelId="anthropic.claude-3-haiku-20240307-v1:0",
jobName="my-batch-job",
inputDataConfig=inputDataConfig,
outputDataConfig=outputDataConfig
)
jobArn = response.get('jobArn')
```
작업의 `status`를 반환합니다.
```
bedrock.get_model_invocation_job(jobIdentifier=jobArn)['status']
```
*실패*한 배치 추론 작업을 나열합니다.
```
bedrock.list_model_invocation_jobs(
maxResults=10,
statusEquals="Failed",
sortOrder="Descending"
)
```
시작한 작업을 중지합니다.
```
bedrock.stop_model_invocation_job(jobIdentifier=jobArn)
```
------
# OpenAI Batch API를 사용하여 프롬프트 배치 제출
Amazon Bedrock OpenAI 모델로 배치 [OpenAI Create batch API](https://platform.openai.com/docs/api-reference/batch)를 사용하여 배치 추론 작업을 실행할 수 있습니다.
다음과 같은 방식으로 OpenAI Create batch API를 직접적으로 호출할 수 있습니다.
+ Amazon Bedrock 런타임 엔드포인트를 사용하여 HTTP 요청을 수행합니다.
+ Amazon Bedrock 런타임 엔드포인트를 사용하여 OpenAI SDK 요청을 사용합니다.
주제 영역을 선택하여 자세히 알아보세요.
**Topics**
+ [OpenAI Batch API에 지원되는 모델 및 리전](#inference-openai-batch-supported)
+ [OpenAI Batch API를 사용하기 위한 사전 조건](#inference-openai-batch-prereq)
+ [OpenAI 배치 작업 생성](#inference-openai-batch-create)
+ [OpenAI 배치 작업 검색](#inference-openai-batch-retrieve)
+ [OpenAI 배치 작업 나열](#inference-openai-batch-list)
+ [OpenAI 배치 작업 취소](#inference-openai-batch-cancel)
## OpenAI Batch API에 지원되는 모델 및 리전
배치 OpenAI 생성 API는 Amazon Bedrock 및 이러한 OpenAI 모델을 지원하는 AWS 리전에서 지원되는 모든 모델에 사용할 수 있습니다. 지원되는 모델 및 리전에 대한 자세한 내용은 [Amazon Bedrock에서 지원되는 파운데이션 모델](models-supported.md) 섹션을 참조하세요.
## OpenAI Batch API를 사용하기 위한 사전 조건
OpenAI Batch API 작업을 사용하기 위한 사전 조건을 보려면 원하는 방법의 탭을 선택한 후 다음 단계를 따릅니다.
------
#### [ OpenAI SDK ]
+ **인증** - OpenAI SDK는 Amazon Bedrock API 키를 사용한 인증만 지원합니다. Amazon Bedrock API 키를 생성하여 요청을 인증합니다. Amazon Bedrock API 키와 키 생성 방법에 대해 알아보려면 빌드 장의 API 키 섹션을 참조하세요.
+ **엔드포인트** - Amazon Bedrock 런타임 엔드포인트 및 할당량에 사용할 AWS 리전에 해당하는 엔드포인트를 찾습니다. [https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-rt](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-rt) AWS SDK를 사용하는 경우 클라이언트를 설정할 때 전체 엔드포인트가 아닌 리전 코드만 지정하면 될 수 있습니다.
+ **모델 액세스** - 이 기능을 지원하는 Amazon Bedrock 모델에 대한 액세스를 요청합니다. 자세한 내용은 [SDK 및 CLI를 사용하여 모델 액세스 관리](model-access.md#model-access-modify) 단원을 참조하십시오.
+ **OpenAI SDK 설치** - 자세한 내용은 OpenAI 설명서의 [라이브러리](https://platform.openai.com/docs/libraries)를 참조하세요.
+ **S3에 업로드된 배치 JSONL 파일** - OpenAI 설명서의 [배치 파일 준비](https://platform.openai.com/docs/guides/batch#1-prepare-your-batch-file)의 단계에 따라 배치 파일을 올바른 형식으로 준비합니다. 그런 다음 Amazon S3 버킷에 업로드합니다.
+ **IAM 권한** - 적절한 권한이 있는 다음 IAM ID가 있는지 확인합니다.
+ 인증하는 IAM 자격 증명은 배치 추론 관련 API 작업을 수행할 수 있습니다. 자세한 내용은 [IAM 자격 증명이 배치 추론 작업을 제출하고 관리하는 데 필요한 권한](batch-inference-permissions.md) 단원을 참조하십시오.
+ 사용 중인 배치 추론 서비스 역할은 사용자의 ID를 수임하고, 사용 중인 OpenAI 모델을 간접적으로 호출하고, S3의 배치 JSONL 파일에 액세스할 수 있습니다. 자세한 내용은 [서비스 역할](security-iam-sr.md) 단원을 참조하십시오.
------
#### [ HTTP request ]
+ **인증** - 자격 AWS 증명 또는 Amazon Bedrock API 키로 인증할 수 있습니다.
자격 AWS 증명을 설정하거나 Amazon Bedrock API 키를 생성하여 요청을 인증합니다.
+ 자격 AWS 증명 설정에 대한 자세한 내용은 [AWS 보안 자격 증명을 사용한 프로그래밍 방식 액세스를](https://docs.aws.amazon.com/IAM/latest/UserGuide/security-creds-programmatic-access.html) 참조하세요.
+ Amazon Bedrock API 키와 키 생성 방법에 대해 알아보려면 빌드 장의 API 키 섹션을 참조하세요.
+ **엔드포인트** - Amazon Bedrock 런타임 엔드포인트 및 할당량에 사용할 AWS 리전에 해당하는 엔드포인트를 찾습니다. [https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-rt](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-rt) AWS SDK를 사용하는 경우 클라이언트를 설정할 때 전체 엔드포인트가 아닌 리전 코드만 지정하면 될 수 있습니다.
+ **모델 액세스** - 이 기능을 지원하는 Amazon Bedrock 모델에 대한 액세스를 요청합니다. 자세한 내용은 [SDK 및 CLI를 사용하여 모델 액세스 관리](model-access.md#model-access-modify) 단원을 참조하십시오.
+ **S3에 업로드된 배치 JSONL 파일** - OpenAI 설명서의 [배치 파일 준비](https://platform.openai.com/docs/guides/batch#1-prepare-your-batch-file)의 단계에 따라 배치 파일을 올바른 형식으로 준비합니다. 그런 다음 Amazon S3 버킷에 업로드합니다.
+ **IAM 권한** - 적절한 권한이 있는 다음 IAM ID가 있는지 확인합니다.
+ 인증하는 IAM 자격 증명은 배치 추론 관련 API 작업을 수행할 수 있습니다. 자세한 내용은 [IAM 자격 증명이 배치 추론 작업을 제출하고 관리하는 데 필요한 권한](batch-inference-permissions.md) 단원을 참조하십시오.
+ 사용 중인 배치 추론 서비스 역할은 사용자의 ID를 수임하고, 사용 중인 OpenAI 모델을 간접적으로 호출하고, S3의 배치 JSONL 파일에 액세스할 수 있습니다. 자세한 내용은 [서비스 역할](security-iam-sr.md) 단원을 참조하십시오.
------
## OpenAI 배치 작업 생성
OpenAI Create batch API에 대한 자세한 내용은 OpenAI 설명서의 다음 리소스를 참조하세요.
+ [배치 생성](https://platform.openai.com/docs/api-reference/batch/create) - 요청과 응답을 모두 자세히 설명합니다.
+ [요청 출력 객체](https://platform.openai.com/docs/api-reference/batch/request-output) - 배치 작업에서 생성된 출력의 필드를 자세히 설명합니다. S3 버킷의 결과를 해석할 때는 이 설명서를 참조하세요.
**요청 구성**
배치 추론 요청을 구성할 때 다음 Amazon Bedrock 관련 필드 및 값을 기록해 둡니다.
**요청 헤더**
+ X-Amzn-Bedrock-RoleArn(필수) - 배치 추론 서비스 역할의 Amazon 리소스 이름(ARN)입니다. 자세한 내용은 [배치 추론을 위한 사용자 지정 서비스 역할 생성](batch-iam-sr.md) 섹션을 참조하세요.
+ X-Amzn-Bedrock-ModelId(필수) - 추론에 사용할 파운데이션 모델의 ID입니다. 자세한 내용은 [Amazon Bedrock에서 지원되는 파운데이션 모델](models-supported.md) 단원을 참조하십시오.
+ X-Amzn-Bedrock-OutputEncryptionKeyId(선택 사항) - 출력 S3 파일을 암호화하는 데 사용할 KMS 키의 ID입니다. 자세한 내용은 [AWS KMS (SSE-KMS)를 사용한 서버 측 암호화 지정을 참조하세요](https://docs.aws.amazon.com/AmazonS3/latest/userguide/specifying-kms-encryption.html).
+ X-Amzn-Bedrock-Tags(선택 사항) - 출력에 연결할 태그를 나타내는 키 및 값의 사전입니다. 자세한 내용은 [Amazon Bedrock 리소스 태그 지정](tagging.md) 단원을 참조하십시오.
**요청 본문 파라미터:**
+ 엔드포인트 - `v1/chat/completions`이어야 합니다.
+ input\$1file\$1id - 배치 JSONL 파일의 S3 URI를 지정합니다.
**생성된 결과 찾기**
생성 응답에는 배치 ID가 포함됩니다. 배치 추론 작업의 결과 및 오류 로깅은 입력 파일이 포함된 S3 폴더에 작성됩니다. 결과는 다음 폴더 구조와 같이 배치 ID와 이름이 동일한 폴더에 있습니다.
```
---- {batch_input_folder}
|---- {batch_input}.jsonl
|---- {batch_id}
|---- {batch_input}.jsonl.out
|---- {batch_input}.jsonl.err
```
OpenAI Create batch API를 다양한 메서드와 함께 사용하는 예제를 보려면 원하는 방법의 탭을 선택한 후 다음 단계를 따릅니다.
------
#### [ OpenAI SDK (Python) ]
OpenAI SDK를 사용하여 배치 작업을 생성하려면 다음을 수행합니다.
1. OpenAI SDK를 가져오고 다음 필드를 사용하여 클라이언트를 설정합니다.
+ `base_url` - 다음 형식과 같이 Amazon Bedrock 런타임 엔드포인트를 `/openai/v1`에 접두사로 추가합니다.
```
https://${bedrock-runtime-endpoint}/openai/v1
```
+ `api_key` - Amazon Bedrock API 키를 지정합니다.
+ `default_headers` - 헤더를 포함해야 하는 경우 이 객체에 헤더를 키-값 페어로 포함할 수 있습니다. 또는 특정 API 직접 호출을 수행할 때 `extra_headers`에서 헤더를 지정할 수 있습니다.
1. 클라이언트에서 [batches.create()](https://platform.openai.com/docs/api-reference/batch/create) 메서드를 사용합니다.
다음 예제를 실행하기 전에 다음 필드의 자리표시자를 바꿉니다.
+ api\$1key - *\$1AWS\$1BEARER\$1TOKEN\$1BEDROCK*을 실제 API 키로 바꿉니다.
+ X-Amzn-BedrockRoleArn – *arn:aws:iam::123456789012:role/BatchServiceRole*을 설정한 실제 배치 추론 서비스 역할로 바꿉니다.
+ input\$1file\$1id – *s3://amzn-s3-demo-bucket/openai-input.jsonl*을 배치 JSONL 파일을 업로드한 실제 S3 URI로 바꿉니다.
이 예제에서는 `us-west-2`에서 OpenAI Create batch job API를 직접적으로 호출하고 메타데이터 하나를 포함합니다.
```
from openai import OpenAI
client = OpenAI(
base_url="https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1",
api_key="$AWS_BEARER_TOKEN_BEDROCK", # Replace with actual API key
default_headers={
"X-Amzn-Bedrock-RoleArn": "arn:aws:iam::123456789012:role/BatchServiceRole" # Replace with actual service role ARN
}
)
job = client.batches.create(
input_file_id="s3://amzn-s3-demo-bucket/openai-input.jsonl", # Replace with actual S3 URI
endpoint="/v1/chat/completions",
completion_window="24h",
metadata={
"description": "test input"
},
extra_headers={
"X-Amzn-Bedrock-ModelId": "openai.gpt-oss-20b-1:0",
}
)
print(job)
```
------
#### [ HTTP request ]
직접 HTTP 요청으로 채팅 완성을 생성하려면 다음을 수행합니다.
1. 다음 형식과 같이 Amazon Bedrock 런타임 엔드포인트를 `/openai/v1/batches`에 접두사로 지정해 POST 메서드를 사용하여 URL을 지정합니다.
```
https://${bedrock-runtime-endpoint}/openai/v1/batches
```
1. `Authorization` 헤더에서 AWS 자격 증명 또는 Amazon Bedrock API 키를 지정합니다.
다음 예제를 실행하기 전에 다음 먼저 필드의 자리표시자를 바꿉니다.
+ 승인 - *\$1AWS\$1BEARER\$1TOKEN\$1BEDROCK*을 실제 API 키로 바꿉니다.
+ X-Amzn-BedrockRoleArn – *arn:aws:iam::123456789012:role/BatchServiceRole*을 설정한 실제 배치 추론 서비스 역할로 바꿉니다.
+ input\$1file\$1id – *s3://amzn-s3-demo-bucket/openai-input.jsonl*을 배치 JSONL 파일을 업로드한 실제 S3 URI로 바꿉니다.
다음 예제에서는 `us-west-2`에서 Create chat completion API를 직접적으로 호출하고 메타데이터 하나를 포함합니다.
```
curl -X POST 'https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1/batches' \
-H 'Authorization: Bearer $AWS_BEARER_TOKEN_BEDROCK' \
-H 'Content-Type: application/json' \
-H 'X-Amzn-Bedrock-ModelId: openai.gpt-oss-20b-1:0' \
-H 'X-Amzn-Bedrock-RoleArn: arn:aws:iam::123456789012:role/BatchServiceRole' \
-d '{
"input_file_id": "s3://amzn-s3-demo-bucket/openai-input.jsonl",
"endpoint": "/v1/chat/completions",
"completion_window": "24h",
"metadata": {"description": "test input"}
}'
```
------
## OpenAI 배치 작업 검색
OpenAI Retrieve batch API 요청 및 응답에 대한 자세한 내용은 [배치 검색](https://platform.openai.com/docs/api-reference/batch/retrieve)을 참조하세요.
요청할 때 정보를 가져올 배치 작업의 ID를 지정합니다. 응답은 S3 버킷에서 조회할 수 있는 출력 및 오류 파일 이름을 포함하여 배치 작업에 대한 정보를 반환합니다.
OpenAI Retrieve batch API를 다양한 메서드와 함께 사용하는 예제를 보려면 원하는 방법의 탭을 선택한 후 다음 단계를 따릅니다.
------
#### [ OpenAI SDK (Python) ]
OpenAI SDK를 사용하여 배치 작업을 검색하려면 다음을 수행합니다.
1. OpenAI SDK를 가져오고 다음 필드를 사용하여 클라이언트를 설정합니다.
+ `base_url` - 다음 형식과 같이 Amazon Bedrock 런타임 엔드포인트를 `/openai/v1`에 접두사로 추가합니다.
```
https://${bedrock-runtime-endpoint}/openai/v1
```
+ `api_key` - Amazon Bedrock API 키를 지정합니다.
+ `default_headers` - 헤더를 포함해야 하는 경우 이 객체에 헤더를 키-값 페어로 포함할 수 있습니다. 또는 특정 API 직접 호출을 수행할 때 `extra_headers`에서 헤더를 지정할 수 있습니다.
1. 클라이언트에서 [batches.retrieve()](https://platform.openai.com/docs/api-reference/batch/create) 메서드를 사용하고 정보를 검색할 배치의 ID를 지정합니다.
다음 예제를 실행하기 전에 다음 필드의 자리표시자를 바꿉니다.
+ api\$1key - *\$1AWS\$1BEARER\$1TOKEN\$1BEDROCK*을 실제 API 키로 바꿉니다.
+ batch\$1id - *\$1AWS\$1BEARER\$1TOKEN\$1BEDROCK*을 실제 API 키로 바꿉니다.
예제에서는 ID가 *batch\$1abc123*인 배치 작업의 `us-west-2`에서 OpenAI Retrieve batch job API를 직접적으로 호출합니다.
```
from openai import OpenAI
client = OpenAI(
base_url="https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1",
api_key="$AWS_BEARER_TOKEN_BEDROCK" # Replace with actual API key
)
job = client.batches.retrieve(batch_id="batch_abc123") # Replace with actual ID
print(job)
```
------
#### [ HTTP request ]
직접 HTTP 요청으로 배치 작업을 검색하려면 다음을 수행합니다.
1. 다음 형식과 같이 Amazon Bedrock 런타임 엔드포인트를 `/openai/v1/batches/${batch_id}`에 접두사로 지정해 GET 메서드를 사용하여 URL을 지정합니다.
```
https://${bedrock-runtime-endpoint}/openai/v1/batches/batch_abc123
```
1. `Authorization` 헤더에서 AWS 자격 증명 또는 Amazon Bedrock API 키를 지정합니다.
다음 예제를 실행하기 전에 다음 먼저 필드의 자리표시자를 바꿉니다.
+ 승인 - *\$1AWS\$1BEARER\$1TOKEN\$1BEDROCK*을 실제 API 키로 바꿉니다.
+ batch\$1abc123 - 경로에서 이 값을 배치 작업의 실제 ID로 바꿉니다.
다음 예제에서는 ID가 *batch\$1abc123*인 배치 작업의 `us-west-2`에서 OpenAI Retrieve batch API를 직접적으로 호출합니다.
```
curl -X GET 'https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1/batches/batch_abc123' \
-H 'Authorization: Bearer $AWS_BEARER_TOKEN_BEDROCK'
```
------
## OpenAI 배치 작업 나열
OpenAI List batches API 요청 및 응답에 대한 자세한 내용은 [배치 나열](https://platform.openai.com/docs/api-reference/batch/list)을 참조하세요. 응답은 배치 작업에 대한 정보 배열을 반환합니다.
요청을 할 때 쿼리 파라미터를 포함하여 결과를 필터링할 수 있습니다. 응답은 S3 버킷에서 조회할 수 있는 출력 및 오류 파일 이름을 포함하여 배치 작업에 대한 정보를 반환합니다.
OpenAI List batches API를 다양한 메서드와 함께 사용하는 예제를 보려면 원하는 방법의 탭을 선택한 후 다음 단계를 따릅니다.
------
#### [ OpenAI SDK (Python) ]
OpenAI SDK를 사용하여 배치 작업을 나열하려면 다음을 수행합니다.
1. OpenAI SDK를 가져오고 다음 필드를 사용하여 클라이언트를 설정합니다.
+ `base_url` - 다음 형식과 같이 Amazon Bedrock 런타임 엔드포인트를 `/openai/v1`에 접두사로 추가합니다.
```
https://${bedrock-runtime-endpoint}/openai/v1
```
+ `api_key` - Amazon Bedrock API 키를 지정합니다.
+ `default_headers` - 헤더를 포함해야 하는 경우 이 객체에 헤더를 키-값 페어로 포함할 수 있습니다. 또는 특정 API 직접 호출을 수행할 때 `extra_headers`에서 헤더를 지정할 수 있습니다.
1. 클라이언트에서 [batches.list()](https://platform.openai.com/docs/api-reference/batch/list) 메서드를 사용합니다. 다음과 같은 선택적 파라미터를 포함할 수 있습니다.
다음 예제를 실행하기 전에 다음 필드의 자리표시자를 바꿉니다.
+ api\$1key - *\$1AWS\$1BEARER\$1TOKEN\$1BEDROCK*을 실제 API 키로 바꿉니다.
이 예제에서는 `us-west-2`에서 OpenAI List batch jobs API를 직접적으로 호출하고 반환할 결과 수를 2개로 지정합니다.
```
from openai import OpenAI
client = OpenAI(
base_url="https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1",
api_key="$AWS_BEARER_TOKEN_BEDROCK" # Replace with actual API key
)
job = client.batches.list(limit=2)
print(job)
```
------
#### [ HTTP request ]
직접 HTTP 요청으로 배치 작업을 나열하려면 다음을 수행합니다.
1. 다음 형식과 같이 Amazon Bedrock 런타임 엔드포인트를 `/openai/v1/batches`에 접두사로 지정해 GET 메서드를 사용하여 URL을 지정합니다.
```
https://${bedrock-runtime-endpoint}/openai/v1/batches
```
다음과 같은 선택적 쿼리 파라미터를 포함할 수 있습니다.
1. `Authorization` 헤더에서 AWS 자격 증명 또는 Amazon Bedrock API 키를 지정합니다.
다음 예제를 실행하기 전에 다음 먼저 필드의 자리표시자를 바꿉니다.
+ 승인 - *\$1AWS\$1BEARER\$1TOKEN\$1BEDROCK*을 실제 API 키로 바꿉니다.
이 예제에서는 `us-west-2`에서 OpenAI List batches API를 직접적으로 호출하고 반환할 결과 수를 2개로 지정합니다.
```
curl -X GET 'https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1/batches?limit=2' \
-H 'Authorization: Bearer $AWS_BEARER_TOKEN_BEDROCK' \
```
------
## OpenAI 배치 작업 취소
OpenAI Cancel batch API 요청 및 응답 취소에 대한 자세한 내용은 [배치 취소](https://platform.openai.com/docs/api-reference/batch/cancel)를 참조하세요. 응답은 취소된 배치 작업에 대한 정보를 반환합니다.
요청할 때 취소할 배치 작업의 ID를 지정합니다.
OpenAI Cancel batch API를 다양한 메서드와 함께 사용하는 예제를 보려면 원하는 방법의 탭을 선택한 후 다음 단계를 따릅니다.
------
#### [ OpenAI SDK (Python) ]
OpenAI SDK를 사용하여 배치 작업을 취소하려면 다음을 수행합니다.
1. OpenAI SDK를 가져오고 다음 필드를 사용하여 클라이언트를 설정합니다.
+ `base_url` - 다음 형식과 같이 Amazon Bedrock 런타임 엔드포인트를 `/openai/v1`에 접두사로 추가합니다.
```
https://${bedrock-runtime-endpoint}/openai/v1
```
+ `api_key` - Amazon Bedrock API 키를 지정합니다.
+ `default_headers` - 헤더를 포함해야 하는 경우 이 객체에 헤더를 키-값 페어로 포함할 수 있습니다. 또는 특정 API 직접 호출을 수행할 때 `extra_headers`에서 헤더를 지정할 수 있습니다.
1. 클라이언트에서 [batches.cancel()](https://platform.openai.com/docs/api-reference/batch/cancel) 메서드를 사용하고 정보를 검색할 배치의 ID를 지정합니다.
다음 예제를 실행하기 전에 다음 필드의 자리표시자를 바꿉니다.
+ api\$1key - *\$1AWS\$1BEARER\$1TOKEN\$1BEDROCK*을 실제 API 키로 바꿉니다.
+ batch\$1id - *\$1AWS\$1BEARER\$1TOKEN\$1BEDROCK*을 실제 API 키로 바꿉니다.
예제에서는 ID가 *batch\$1abc123*인 배치 작업의 `us-west-2`에서 OpenAI Cancel batch job API를 직접적으로 호출합니다.
```
from openai import OpenAI
client = OpenAI(
base_url="https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1",
api_key="$AWS_BEARER_TOKEN_BEDROCK" # Replace with actual API key
)
job = client.batches.cancel(batch_id="batch_abc123") # Replace with actual ID
print(job)
```
------
#### [ HTTP request ]
직접 HTTP 요청으로 배치 작업을 취소하려면 다음을 수행합니다.
1. 다음 형식과 같이 Amazon Bedrock 런타임 엔드포인트를 `/openai/v1/batches/${batch_id}/cancel`에 접두사로 지정해 POST 메서드를 사용하여 URL을 지정합니다.
```
https://${bedrock-runtime-endpoint}/openai/v1/batches/batch_abc123/cancel
```
1. `Authorization` 헤더에서 AWS 자격 증명 또는 Amazon Bedrock API 키를 지정합니다.
다음 예제를 실행하기 전에 다음 먼저 필드의 자리표시자를 바꿉니다.
+ 승인 - *\$1AWS\$1BEARER\$1TOKEN\$1BEDROCK*을 실제 API 키로 바꿉니다.
+ batch\$1abc123 - 경로에서 이 값을 배치 작업의 실제 ID로 바꿉니다.
다음 예제에서는 ID가 *batch\$1abc123*인 배치 작업의 `us-west-2`에서 OpenAI Cancel batch API를 직접적으로 호출합니다.
```
curl -X GET 'https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1/batches/batch_abc123/cancel' \
-H 'Authorization: Bearer $AWS_BEARER_TOKEN_BEDROCK'
```
------
# 교차 리전 추론을 통한 처리량 증대
교차 리전 추론을 사용하면 특정 리전(예: 미국 또는 EU)에 연결된 교차 리전 추론 프로파일을 선택하거나 글로벌 추론 프로파일을 선택할 수 있습니다. 특정 지리에 연결된 추론 프로파일을 선택하면 Amazon Bedrock은 해당 지리 AWS 리전 내에서 최적의 상용를 자동으로 선택하여 추론 요청을 처리합니다. 글로벌 추론 프로파일을 사용하면 Amazon Bedrock은 요청을 처리할 최적의 상용 AWS 리전 을 자동으로 선택하여 사용 가능한 리소스를 최적화하고 모델 처리량을 늘립니다.
두 가지 유형의 교차 리전 추론 모두 파운데이션 모델(FM)과 요청을 라우팅할 수 있는를 AWS 리전 정의하는 [추론 프로파일을](inference-profiles.md) 통해 작동합니다. 온디맨드 모드에서 모델 추론을 실행할 때 서비스 할당량에 의해 또는 사용량이 가장 많은 시간에 요청이 제한될 수 있습니다. 리전 간 추론을 사용하면 다양한 컴퓨팅을 활용하여 계획되지 않은 트래픽 버스트를 원활하게 관리할 수 있습니다 AWS 리전.
[프로비저닝된 처리량](prov-throughput.md)을 구매하여 모델의 처리량을 늘릴 수도 있습니다. 추론 프로파일은 현재 프로비저닝된 처리량을 지원하지 않습니다.
추론 프로파일을 사용하여 교차 리전 추론을 실행할 수 있는 리전 및 모델을 보려면 [추론 프로파일에 지원되는 리전 및 모델](inference-profiles-support.md) 섹션을 참조하세요.
**Topics**
+ [지리적 추론과 글로벌 리전 간 추론 중에서 선택](#cross-region-inference-comparison)
+ [일반적인 고려 사항](#cross-region-inference-general-considerations)
+ [지리적 리전 간 추론](geographic-cross-region-inference.md)
+ [글로벌 리전 간 추론](global-cross-region-inference.md)
## 지리적 추론과 글로벌 리전 간 추론 중에서 선택
Amazon Bedrock은 서로 다른 사용 사례 및 규정 준수 요구 사항에 맞게 설계된 두 가지 유형의 리전 간 추론 프로파일을 제공합니다.
| 기능 | 지리적 리전 간 추론 | 글로벌 리전 간 추론 | 권장 사항 |
| --- | --- | --- | --- |
| 데이터 레지던시 | 지리적 경계(미국, EU, APAC 등) 내 | 전 세계에서 지원되는 모든 AWS 상용 리전 | 규정 준수 요구 사항을 보려면 지리를 선택합니다. |
| 처리량 | 단일 리전보다 높음 | 사용 가능한 가장 높음 | 성능을 극대화하려면 전역을 선택합니다. |
| 비용 | 표준 요금 | 약 10% 절감 | 비용 최적화를 위해 글로벌 선택 |
| SCP 요구 사항 | 프로필의 모든 대상 리전 허용 | 허용 "aws:RequestedRegion": "unspecified" | 조직 정책에 따라 구성 |
| 다음과 같은 경우에 가장 적합 | 데이터 레지던시 규정이 적용되는 조직 | 비용 및 성능의 우선순위를 지정하는 조직 | 규정 준수 및 성능 요구 사항 평가 |
데이터 레지던시 요구 사항이 있고 데이터 처리가 특정 지리적 경계 내에 있도록 해야 하는 경우 지리적 리전 간 추론을 선택합니다. 지리적 제한 없이 최대 처리량과 비용 절감을 원하는 경우 글로벌 리전 간 추론을 선택합니다.
## 일반적인 고려 사항
교차 리전 추론에 대한 다음 정보를 참고하세요.
+ 교차 리전 추론을 사용하는 데 드는 추가 라우팅 비용은 없습니다. 가격은 추론 프로파일을 직접적으로 호출하는 리전을 기준으로 계산됩니다. 요금에 대한 자세한 내용은 [Amazon Bedrock 요금](https://aws.amazon.com/bedrock/pricing/)을 참조하세요.
+ 교차 리전 추론은에서 수동으로 활성화되지 AWS 리전 않은 로 요청을 라우팅할 수 있습니다 AWS 계정. 교차 리전 추론이 작동하는 데는 수동 리전 활성화가 필요하지 않습니다.
+ 리전 간 작업 중에 전송되는 모든 데이터는 네트워크에 남아 AWS 있으며 퍼블릭 인터넷을 통과하지 않습니다. 데이터는 전송 중에 암호화됩니다 AWS 리전.
+ 모든 리전 간 추론 요청은 소스 리전의 CloudTrail에 로깅됩니다. 요청을 처리한 위치를 식별할 `additionalEventData.inferenceRegion` 필드를 찾습니다.
+ AWS Amazon Bedrock에서 제공하는 서비스도 CRIS를 사용할 수 있습니다. 자세한 내용은 서비스별 설명서를 참조하세요.
# 지리적 리전 간 추론
지리적 리전 간 추론은 데이터 처리를 지정된 지리적 경계(미국, EU, APAC 등) 내에서 유지하는 동시에 단일 리전 추론보다 높은 처리량을 제공합니다. 이 옵션은 데이터 레지던시 요구 사항 및 규정 준수 규정이 있는 조직에 적합합니다.
## 지리적 리전 간 추론 고려 사항
지리적 리전 간 추론에 대한 다음 정보를 참고하세요.
+ 리전(예: 미국, EU 및 APAC)에 연결된 추론 프로파일에 대한 리전 간 추론 요청은 데이터가 원래 상주 AWS 리전 하는 리전의 일부인 내에 유지됩니다. 예를 들어 미국 내에서 이루어진 요청은 AWS 리전 미국 내에서 유지됩니다. 데이터는 소스 리전에만 저장되어 있지만 교차 리전 참조 동안 입력 프롬프트와 출력 결과가 소스 리전 외부로 이동될 수 있습니다. 모든 데이터는 Amazon의 보안 네트워크를 통해 암호화되어 전송됩니다.
+ 지리적으로(예: 미국, EU 및 APAC) 연결된 추론 프로파일을 사용할 때 교차 리전 처리량에 대한 기본 할당량을 보려면 *AWS 일반* 참조의 [Amazon Bedrock 서비스 할당량](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#limits_bedrock)에서 **\$1\$1Model\$1에 대한 분당 교차 리전 모델 추론 요청** 및 **\$1\$1Model\$1 값에 대한 분당 교차 리전 모델 추론 토큰**을 참조하세요.
## 지리적 리전 간 추론을 위한 IAM 정책 요구 사항
IAM 사용자 또는 역할이 지리적 리전 간 추론 프로파일을 호출하도록 허용하려면 다음 리소스에 대한 액세스를 허용해야 합니다.
1. 리전별 교차 리전 추론 프로파일(이러한 프로파일에는 `us`, `eu`,와 같은 지리적 접두사가 있음`apac`)
1. 소스 리전의 파운데이션 모델
1. 지리적 프로필에 나열된 모든 대상 리전의 파운데이션 모델
다음 예제 정책은 소스 리전이 이고 대상 리전이 , `us-east-1` 및 인 미국의 지리적 리전 간 추론 프로파일과 함께 Claude Sonnet 4.5 파운데이션 모델을 사용하는 데 필요한 권한을 부여합니다. `us-east-1` `us-east-2` `us-west-2`
```
{
"Version": "2012-10-17" ,
"Statement": [
{
"Sid": "GrantGeoCrisInferenceProfileAccess",
"Effect": "Allow",
"Action": "bedrock:InvokeModel",
"Resource": [
"arn:aws:bedrock:us-east-1::inference-profile/us.anthropic.claude-sonnet-4-5-20250929-v1:0"
]
},
{
"Sid": "GrantGeoCrisModelAccess",
"Effect": "Allow",
"Action": "bedrock:InvokeModel",
"Resource": [
"arn:aws:bedrock:us-east-1::foundation-model/anthropic.claude-sonnet-4-5-20250929-v1:0",
"arn:aws:bedrock:us-east-2::foundation-model/anthropic.claude-sonnet-4-5-20250929-v1:0",
"arn:aws:bedrock:us-west-2::foundation-model/anthropic.claude-sonnet-4-5-20250929-v1:0"
],
"Condition": {
"StringEquals": {
"bedrock:InferenceProfileArn": "arn:aws:bedrock:us-east-1::inference-profile/us.anthropic.claude-sonnet-4-5-20250929-v1:0"
}
}
}
]
}
```
첫 번째 문은 요청 리전에서 시작된 요청에 대해 지리적 리전 간 추론 프로파일에 대한 `bedrock:InvokeModel` API 액세스 권한을 부여합니다. 두 번째 문은 추론 프로파일에 나열된 요청 리전과 모든 대상 리전 모두에서 파운데이션 모델에 대한 `bedrock:InvokeModel` API 액세스 권한을 부여합니다.
## 지리적 리전 간 추론에 대한 서비스 제어 정책 요구 사항
많은 조직이 보안 및 규정 준수를 위해 AWS Organizations의 서비스 제어 정책을 통해 리전별 액세스 제어를 구현합니다. 조직의 보안 정책이 SCPs 사용하여 미사용 리전을 차단하는 경우 리전별 SCP 조건이 소스 리전의 지리적 리전 간 추론 프로파일에 나열된 모든 대상 리전에 대한 액세스를 허용하는지 확인해야 합니다.
지리적 리전 간 추론의 경우 소스 리전(API 직접 호출)과 대상 리전(요청 라우팅 가능) 간의 관계를 이해해야 합니다. 추론 프로파일 설명서를 확인하여 소스 리전의 모든 대상 리전을 식별한 다음 SCPs 모든 대상 리전에 대한 액세스를 허용하는지 확인합니다.
예를 들어 미국 Anthropic Claude Sonnet 4.5 지리적 프로파일을 사용하여 us-east-1(소스 리전)에서를 호출하는 경우 요청을 us-east-1, us-east-2 및 us-west-2(대상 리전)로 라우팅할 수 있습니다. SCP가 us-east-1로만 액세스를 제한하는 경우 us-east-2 또는 us-west-2로 라우팅하려고 할 때 교차 리전 추론이 실패합니다. 따라서 어떤 리전에서 호출하는지에 관계없이 SCP에서 3개의 대상 리전을 모두 허용해야 합니다.
리전 제외를 위해 SCPs 구성할 때 추론 프로파일에서 대상 리전을 차단하면 소스 리전에 계속 액세스할 수 있더라도 리전 간 추론이 제대로 작동하지 않습니다. 글로벌 리전 간 추론에 대한 SCP 요구 사항은 섹션을 참조하세요[글로벌 리전 간 추론에 대한 서비스 제어 정책 요구 사항](global-cross-region-inference.md#global-cris-scp-setup).
보안을 개선하려면 `bedrock:InferenceProfileArn` 조건을 사용하여 특정 추론 프로파일에 대한 액세스를 제한하는 것이 좋습니다. 이렇게 하면 사용할 수 있는 추론 프로파일을 제한하면서 필요한 리전에 대한 액세스 권한을 부여할 수 있습니다.
## 지리적 리전 간 추론 사용
지리적 리전 간 추론을 사용하려면 다음과 같은 방법으로 모델 추론을 [실행할 때 추론 프로파일을](inference-profiles.md) 포함합니다.
+ **온디맨드 모델 추론** - [InvokeModel](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html), [InvokeModelWithResponseStream](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModelWithResponseStream.html), [Converse](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html) 또는 [ConverseStream](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_ConverseStream.html) 요청을 전송할 때 추론 프로파일의 ID를 `modelId`로 지정합니다. 추론 프로파일은 소스 리전에서 시작된 추론 요청을 라우팅할 수 있는 하나 이상의 리전을 정의합니다. 교차 리전 추론을 사용하면 추론 프로파일에 정의된 리전 간에 모델 간접 호출 요청을 동적으로 라우팅하여 처리량과 성능을 높일 수 있습니다. 사용자 트래픽, 수요 및 리소스 사용률의 라우팅 요인입니다. 자세한 내용은 [모델 추론을 사용하여 프롬프트 제출 및 응답 생성](inference.md) 섹션을 참조하세요.
+ **배치 추론** - [CreateModelInvocationJob](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateModelInvocationJob.html) 요청을 보낼 때 추론 프로파일의 ID를 `modelId`로 지정하여 배치 추론과 비동기적으로 요청을 제출합니다. 추론 프로파일을 사용하면 여러 AWS 리전 에서 컴퓨팅을 활용하고 배치 작업의 처리 시간을 단축할 수 있습니다. 작업이 완료되면 소스 리전의 Amazon S3 버킷에서 출력 파일을 검색할 수 있습니다.
+ **에이전트 **- [https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent_CreateAgent.html](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent_CreateAgent.html) 요청의 `foundationModel` 필드에 추론 프로파일의 ID를 지정합니다. 자세한 내용은 [에이전트를 수동으로 생성 및 구성](agents-create.md) 단원을 참조하십시오.
+ **지식 기반 응답 생성** - 지식 기반을 쿼리한 후 응답을 생성할 때 교차 리전 추론을 사용할 수 있습니다. 자세한 내용은 [쿼리 및 응답을 사용하여 지식 기반 테스트](knowledge-base-test.md) 단원을 참조하십시오.
+ **모델 평가** - 모델 평가 작업을 제출할 때 평가할 모델로 추론 프로파일을 제출할 수 있습니다. 자세한 내용은 [Amazon Bedrock 리소스의 성능 평가](evaluation.md) 단원을 참조하십시오.
+ **프롬프트 관리** - 프롬프트 관리에서 만든 프롬프트에 대한 응답을 생성할 때 교차 리전 추론을 사용할 수 있습니다. 자세한 내용은 [Amazon Bedrock에서 프롬프트 관리를 사용하여 재사용 가능한 프롬프트 구성 및 저장](prompt-management.md) 섹션을 참조하세요.
+ **프롬프트 흐름** - 프롬프트 흐름의 프롬프트 노드에서 인라인을 정의하는 프롬프트에 대한 응답을 생성할 때 교차 리전 추론을 사용할 수 있습니다. 자세한 내용은 [Amazon Bedrock Flows를 사용하여 엔드 투 엔드 생성형 AI 워크플로 구축](flows.md) 단원을 참조하십시오.
추론 프로파일을 사용하여 리전 간에 모델 호출 요청을 보내는 방법을 알아보려면 [모델 간접 호출에 추론 프로파일 사용](inference-profiles-use.md) 섹션을 참조하세요.
교차 리전 추론에 대한 자세한 내용은 [Amazon Bedrock에서 교차 리전 추론 시작](https://aws.amazon.com/blogs/machine-learning/getting-started-with-cross-region-inference-in-amazon-bedrock/)을 참조하세요.
IAM 설정 및 서비스 할당량 관리를 포함한 글로벌 리전 간 추론에 대한 자세한 내용은 섹션을 참조하세요[글로벌 리전 간 추론](global-cross-region-inference.md).
# 글로벌 리전 간 추론
글로벌 리전 간 추론은 지리적 경계를 넘어 리전 간 추론을 확장하여 추론 요청을 지원되는 AWS 리전 전 세계 상용으로 라우팅하여 사용 가능한 리소스를 최적화하고 모델 처리량을 높일 수 있습니다.
## 글로벌 리전 간 추론의 이점
Anthropic의 Claude Sonnet 4.5에 대한 글로벌 리전 간 추론은 기존의 지리적 리전 간 추론 프로파일에 비해 여러 가지 이점을 제공합니다.
+ **피크 수요 중 처리량 향상** - 글로벌 리전 간 추론은 사용 가능한 용량으로 요청을 AWS 리전 에 자동으로 라우팅하여 피크 수요 기간 동안 복원력을 개선합니다. 이 동적 라우팅은 개발자의 추가 구성이나 개입 없이 원활하게 수행됩니다. 간에 복잡한 클라이언트 측 로드 밸런싱이 필요할 수 있는 기존 접근 방식과 달리 AWS 리전글로벌 리전 간 추론은 트래픽 급증을 자동으로 처리합니다. 이는 가동 중지 시간이나 성능 저하로 인해 재정적 또는 평판에 상당한 영향을 미칠 수 있는 비즈니스 크리티컬 애플리케이션에 특히 중요합니다.
+ **비용 효율성** - Anthropic의 Claude Sonnet 4.5에 대한 글로벌 리전 간 추론은 지리적 리전 간 추론에 비해 입력 및 출력 토큰 요금을 모두 약 10% 절감합니다. 요금은 요청이 이루어진에 따라 계산됩니다(소 AWS 리전 스 AWS 리전). 즉, 조직은 더 낮은 비용으로 복원력을 개선할 수 있습니다. 이 요금 모델은 생성형 AI 배포를 최적화하려는 조직에 글로벌 리전 간 추론을 비용 효율적인 솔루션으로 만듭니다. 리소스 사용률을 개선하고 추가 비용 없이 처리량을 높임으로써 조직은 Amazon Bedrock에 대한 투자 가치를 극대화할 수 있습니다.
+ **간소화된 모니터링** - 글로벌 리전 간 추론을 사용하는 경우 CloudWatch 및 CloudTrail은 소스에 로그 항목을 계속 기록하여 관찰성과 관리를 AWS 리전간소화합니다. 요청이 AWS 리전 전 세계 여러 곳에서 처리되더라도 익숙한 AWS 모니터링 도구를 통해 애플리케이션의 성능 및 사용 패턴을 중앙 집중식으로 볼 수 있습니다.
+ **온디맨드 할당량 유연성 -** 글로벌 리전 간 추론을 사용하면 개별 리전 용량에 따라 워크로드가 더 이상 제한되지 않습니다. 특정에서 사용 가능한 용량으로 제한되는 대신 AWS 전역 인프라에서 요청을 동적으로 라우팅할 수 AWS 리전있습니다. 이렇게 하면 훨씬 더 큰 리소스 풀에 액세스할 수 있으므로 대용량 워크로드와 갑작스러운 트래픽 급증을 덜 복잡하게 처리할 수 있습니다.
## 글로벌 리전 간 추론 고려 사항
글로벌 리전 간 추론에 대한 다음 정보를 참고하세요.
+ 글로벌 교차 리전 추론 프로파일은 특정 리전에 연결된 추론 프로필보다 높은 처리량을 제공합니다. 특정 지리에 연결된 추론 프로파일은 단일 리전 추론보다 높은 처리량을 제공합니다.
+ 글로벌 추론 프로파일을 사용할 때 교차 리전 처리량에 대한 기본 할당량을 보려면 *AWS 일반* 참조의 [Amazon Bedrock 서비스 할당량](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#limits_bedrock)에서 **\$1\$1Model\$1에 대한 분당 글로벌 교차 리전 모델 추론 요청** 및 **\$1\$1Model\$1 값에 대한 분당 글로벌 교차 리전 모델 추론 토큰**을 참조하세요.
[Service Quotas 콘솔](https://console.aws.amazon.com/servicequotas/home/services/bedrock/quotas)에서 또는 **소스 리전**의 AWS CLI 명령을 사용하여 글로벌 리전 간 추론 프로파일에 대한 할당량을 요청, 확인 및 관리할 수 있습니다.
## 글로벌 리전 간 추론을 위한 IAM 정책 요구 사항
사용자에 대해 글로벌 리전 간 추론을 활성화하려면 역할에 세 부분으로 구성된 IAM 정책을 적용해야 합니다. 다음은 세분화된 제어를 제공하는 IAM 정책의 예입니다. 예제 정책의 ``를 운영 중인 로 바꿀 수 AWS 리전 있습니다.
```
{
"Version": "2012-10-17" ,
"Statement": [
{
"Sid": "GrantGlobalCrisInferenceProfileRegionAccess",
"Effect": "Allow",
"Action": "bedrock:InvokeModel",
"Resource": [
"arn:aws:bedrock:::inference-profile/global."
],
"Condition": {
"StringEquals": {
"aws:RequestedRegion": ""
}
}
},
{
"Sid": "GrantGlobalCrisInferenceProfileInRegionModelAccess",
"Effect": "Allow",
"Action": "bedrock:InvokeModel",
"Resource": [
"arn:aws:bedrock:::foundation-model/"
],
"Condition": {
"StringEquals": {
"aws:RequestedRegion": "",
"bedrock:InferenceProfileArn": "arn:aws:bedrock:::inference-profile/global."
}
}
},
{
"Sid": "GrantGlobalCrisInferenceProfileGlobalModelAccess",
"Effect": "Allow",
"Action": "bedrock:InvokeModel",
"Resource": [
"arn:aws:bedrock:::foundation-model/"
],
"Condition": {
"StringEquals": {
"aws:RequestedRegion": "unspecified",
"bedrock:InferenceProfileArn": "arn:aws:bedrock:::inference-profile/global."
}
}
}
]
}
```
정책의 첫 번째 부분은 요청의 리전 추론 프로파일에 대한 액세스 권한을 부여합니다 AWS 리전. 두 번째 부분에서는 리전 FM 리소스에 대한 액세스를 제공합니다. 세 번째 부분은 리전 간 라우팅 기능을 활성화하는 글로벌 FM 리소스에 대한 액세스 권한을 부여합니다.
이러한 정책을 구현할 때 세 가지 리소스 Amazon 리소스 이름(ARNs)이 모두 IAM 문에 포함되어 있는지 확인합니다.
+ 리전 추론 프로필 ARN은 패턴을 따릅니다`arn:aws:bedrock:REGION:ACCOUNT:inference-profile/global.MODEL-NAME`. 이는 소스의 글로벌 추론 프로파일에 대한 액세스 권한을 부여하는 데 사용됩니다 AWS 리전.
+ 리전 FM은를 사용합니다`arn:aws:bedrock:REGION::foundation-model/MODEL-NAME`. 이는 소스의 FM에 대한 액세스 권한을 부여하는 데 사용됩니다 AWS 리전.
+ 글로벌 FM에는가 필요합니다`arn:aws:bedrock:::foundation-model/MODEL-NAME`. 이는 서로 다른 글로벌에서 FM에 대한 액세스 권한을 부여하는 데 사용됩니다 AWS 리전.
글로벌 FM ARN에는 AWS 리전 또는 계정이 지정되어 있지 않으며, 이는 의도적이고 리전 간 기능에 필요합니다.
### 글로벌 리전 간 추론 비활성화
두 가지 기본 접근 방식 중에서 선택하여 특정 IAM 역할에 대해 글로벌 CRIS에 거부 정책을 구현할 수 있으며, 각각 사용 사례와 영향이 다릅니다.
+ **IAM 정책 제거** - 첫 번째 방법은 사용자 권한에서 세 가지 필수 IAM 정책 중 하나 이상을 제거하는 것입니다. 글로벌 CRIS는 세 정책이 모두 작동해야 하므로 정책을 제거하면 액세스가 거부됩니다.
+ **거부 정책 구현** - 두 번째 접근 방식은 글로벌 CRIS 추론 프로파일을 특별히 대상으로 하는 명시적 거부 정책을 구현하는 것입니다. 이 방법은 보안 의도를 명확하게 문서화하고 누군가 실수로 나중에 필요한 허용 정책을 추가하더라도 명시적 거부가 우선하도록 합니다. 거부 정책은 패턴과 일치하는 `StringEquals` 조건을 사용해야 합니다`"aws:RequestedRegion": "unspecified"`. 이 패턴은 `global` 특히 접두사가 있는 추론 프로파일을 대상으로 합니다.
거부 정책을 구현할 때는 글로벌 CRIS가 `aws:RequestedRegion` 필드의 동작 방식을 변경한다는 점을 이해하는 것이 중요합니다. 서비스가이 필드를 실제 대상이 `global` 아닌 로 설정하기 때문에와 같은 특정 AWS 리전 이름의 `StringEquals` 조건을 사용하는 기존 AWS 리전기반 거부 정책은 글로벌 CRIS에서 예상대로 작동하지 `"aws:RequestedRegion": "us-west-2"` 않습니다 AWS 리전. 그러나 앞서 언급했듯이 `"aws:RequestedRegion": "unspecified"`는 거부 효과를 초래합니다.
## 글로벌 리전 간 추론에 대한 서비스 제어 정책 요구 사항
글로벌 리전 간 추론의 경우 조직의 보안 정책이 SCPs 사용하여 미사용 리전을 차단하는 경우를 사용하여 액세스를 허용하도록 리전별 SCP 조건을 업데이트해야 합니다`"aws:RequestedRegion": "unspecified"`. 이 조건은 Amazon Bedrock Global 리전 간 추론에만 적용되며 지원되는 모든 AWS 상용 리전으로 요청을 라우팅할 수 있도록 합니다.
다음 예제 SCP는 글로벌 라우팅을 위한 리전`"unspecified"`으로를 사용하는 Amazon Bedrock Global 리전 간 추론 호출을 허용하면서 승인된 리전 외부의 모든 AWS API 호출을 차단합니다.
```
{
"Version": "2012-10-17" ,
"Statement": [
{
"Sid": "DenyAllOutsideApprovedRegions",
"Effect": "Deny",
"Action": "*",
"Resource": "*",
"Condition": {
"StringNotEquals": {
"aws:RequestedRegion": [
"us-east-1",
"us-east-2",
"us-west-2",
"unspecified"
]
}
}
}
]
}
```
### 글로벌 리전 간 추론 비활성화
요청이 지원되는 다른 AWS 상용 리전에서 처리될 수 있으므로 데이터 레지던시 또는 규정 준수 요구 사항이 있는 조직은 글로벌 리전 간 추론이 규정 준수 프레임워크에 적합한지 평가해야 합니다. 글로벌 리전 간 추론을 명시적으로 비활성화하려면 다음 SCP 정책을 구현합니다.
```
{
"Effect": "Deny",
"Action": "bedrock:*",
"Resource": "*",
"Condition": {
"StringEquals": {
"aws:RequestedRegion": "unspecified"
},
"ArnLike": {
"bedrock:InferenceProfileArn": "arn:aws:bedrock:*:*:inference-profile/global.*"
}
}
}
```
이 SCP는 `"aws:RequestedRegion"`가 `"unspecified"`이고 `"ArnLike"` 조건이 ARN에 `global` 접두사가 있는 추론 프로파일을 대상으로 하기 때문에 글로벌 리전 간 추론을 명시적으로 거부합니다.
### AWS Control Tower 구현
AWS Control Tower에서 관리하는 SCPs 수동으로 편집하면 드리프트가 발생할 수 있으므로 사용하지 않는 것이 좋습니다. 대신 Control Tower에서 제공하는 메커니즘을 사용하여 이러한 예외를 관리합니다. 핵심 원칙에는 기존 리전 거부 제어를 확장하거나 리전을 활성화한 다음 사용자 지정 조건부 차단 정책을 적용하는 것이 포함됩니다.
Control Tower를 사용하여 교차 리전 추론을 구현하는 방법에 대한 자세한 step-by-step 지침은 블로그 게시물 [ 다중 계정 환경에서 Amazon Bedrock 교차 리전 추론 활성화를](https://aws.amazon.com/blogs/machine-learning/enable-amazon-bedrock-cross-region-inference-in-multi-account-environments/) 참조하세요. 여기에는 기존 리전 거부 SCPs 확장, 사용자 지정 SCP로 거부된 리전 활성화 SCPs, Customizations for AWS Control Tower(CfCT)를 사용하여 사용자 지정 SCPs 포함됩니다.
## 글로벌 리전 간 추론에 대한 요청 한도 증가
글로벌 CRIS 추론 프로파일을 사용하는 경우 지원되는 20개 이상의 소스에서 글로벌 CRIS를 사용할 수 있습니다 AWS 리전. 이는 전역 한도이므로 전역 리전 간 추론 프로파일에 대한 할당량 보기, 관리 또는 증가 요청은 요청된 소스의 Service Quotas 콘솔 또는 AWS 명령줄 인터페이스(AWS CLI)를 통해 이루어져야 합니다 AWS 리전.
한도 증가를 요청하려면 다음 단계를 완료하세요.
1. AWS 계정의 Service Quotas 콘솔에 로그인합니다.
1. 탐색 창에서 **AWS 서비스**를 선택합니다.
1. 서비스 목록에서 **Amazon Bedrock**을 찾아 선택합니다.
1. Amazon Bedrock의 할당량 목록에서 검색 필터를 사용하여 특정 글로벌 CRIS 할당량을 찾습니다. 예제:
+ Anthropic Claude Sonnet 4.5 V1에 대한 분당 글로벌 리전 간 모델 추론 토큰
1. 늘리려는 할당량을 선택합니다.
1. **계정 수준에서 증가 요청**을 선택합니다.
1. 원하는 새 할당량 값을 입력합니다.
1. **요청**을 선택하여 요청을 제출합니다.
필요한 할당량 증가를 계산할 때는 입력 및 출력 토큰이 제한 시스템의 토큰 할당량 사용량으로 변환되는 속도로 정의되는 연소율을 고려해야 합니다. 다음 모델은 **출력 토큰의 연소율이 5배입니다(출력 토큰 1개는 할당량에서 토큰 5개를 사용함).**
+ Anthropic Claude Opus 4
+ Anthropic Claude Sonnet 4.5
+ Anthropic Claude Sonnet 4
+ Anthropic Claude 3.7 Sonnet
다른 모든 모델의 경우 연소율은 **1:1**입니다(출력 토큰 1개는 할당량에서 토큰 1개를 사용함). 입력 토큰의 경우 토큰 대 할당량 비율은 1:1입니다. 요청당 총 토큰 수 계산은 다음과 같습니다.
`Input token count + Cache write input tokens + (Output token count x Burndown rate)`
## 글로벌 리전 간 추론 사용
Anthropic의 Claude Sonnet 4.5에서 글로벌 리전 간 추론을 사용하려면 개발자가 다음 주요 단계를 완료해야 합니다.
+ **글로벌 추론 프로파일 ID 사용** - Amazon Bedrock에 API를 호출할 때 AWS 리전특정 모델 ID 대신 글로벌 Anthropic의 Claude Sonnet 4.5 추론 프로파일 ID(`global.anthropic.claude-sonnet-4-5-20250929-v1:0`)를 지정합니다.
+ **IAM 권한 구성** - 잠재적 대상의 추론 프로파일 및 FMs에 액세스할 수 있는 적절한 IAM 권한을 부여합니다 AWS 리전.
글로벌 리전 간 추론은 다음에 대해 지원됩니다.
+ 온디맨드 모델 추론
+ 배치 추론
+ 에이전트
+ 모델 평가
+ 프롬프트 관리
+ 프롬프트 흐름
**참고**
글로벌 추론 프로파일은 온디맨드 모델 추론, 배치 추론, 에이전트, 모델 평가, 프롬프트 관리 및 프롬프트 흐름에 대해 지원됩니다.
## 글로벌 리전 간 추론 구현
Anthropic의 Claude Sonnet 4.5를 사용하여 글로벌 리전 간 추론을 구현하는 것은 간단하므로 기존 애플리케이션 코드를 몇 번만 변경하면 됩니다. 다음은 Python에서 코드를 업데이트하는 방법의 예입니다.
```
import boto3
import json
bedrock = boto3.client('bedrock-runtime', region_name='us-east-1')
model_id = "global.anthropic.claude-sonnet-4-5-20250929-v1:0"
response = bedrock.converse(
messages=[{"role": "user", "content": [{"text": "Explain cloud computing in 2 sentences."}]}],
modelId=model_id,
)
print("Response:", response['output']['message']['content'][0]['text'])
print("Token usage:", response['usage'])
print("Total tokens:", response['usage']['totalTokens'])
```
# 추론 프로파일을 사용하여 모델 간접 호출 리소스 설정
*추론 프로파일*은 추론 프로파일이 모델 간접 호출 요청을 라우팅할 수 있는 모델과 하나 이상의 리전을 정의하는 Amazon Bedrock의 리소스입니다. 다음 태스크에 추론 프로파일을 사용할 수 있습니다.
+ **사용량 지표 추적** - CloudWatch 로그를 설정하고 애플리케이션 추론 프로파일로 모델 간접 호출 요청을 제출하여 모델 간접 호출에 대한 사용량 지표를 수집합니다. 추론 프로파일에 대한 정보를 볼 때 이러한 지표를 검사하고 이를 사용하여 결정을 알릴 수 있습니다. CloudWatch 로그 설정 방법에 대한 자세한 내용은 [CloudWatch Logs 및 Amazon S3를 사용하여 모델 간접 호출 모니터링](model-invocation-logging.md) 섹션을 참조하세요.
+ **태그를 사용하여 비용 모니터링** - 온디맨드 모델 간접 호출 요청을 제출할 때 애플리케이션 추론 프로파일에 태그를 연결하여 비용을 추적합니다. 비용 할당에 태그를 사용하는 방법에 대한 자세한 내용은 AWS Billing 사용 설명서의 [비용 할당 태그를 사용하여 AWS 비용 구성 및 추적](https://docs.aws.amazon.com/awsaccountbilling/latest/aboutv2/cost-alloc-tags.html)을 참조하세요.
+ **교차 리전 추론** - 여러 AWS 리전이 포함된 추론 프로파일을 사용하여 처리량을 늘립니다. 추론 프로파일은 이러한 리전에 모델 간접 호출 요청을 분산하여 처리량과 성능을 높입니다. 교차 리전 추론에 대한 자세한 내용은 [교차 리전 추론을 통한 처리량 증대](cross-region-inference.md) 섹션을 참조하세요.
Amazon Bedrock은 다음과 같은 유형의 추론 프로파일을 제공합니다.
+ **교차 리전(시스템 정의) 추론 프로파일** - Amazon Bedrock에서 사전 정의되고 모델에 대한 요청을 라우팅할 수 있는 여러 리전을 포함하는 추론 프로파일입니다.
+ **애플리케이션 추론 프로파일** - 사용자가 비용 및 모델 사용량을 추적하기 위해 생성하는 추론 프로파일입니다. 모델 간접 호출 요청을 한 리전 또는 여러 리전으로 라우팅하는 추론 프로파일을 생성할 수 있습니다.
+ 한 리전에서 모델의 비용 및 사용량을 추적하는 추론 프로파일을 생성하려면 추론 프로파일이 요청을 라우팅할 리전에서 파운데이션 모델을 지정합니다.
+ 여러 리전에서 모델의 비용 및 사용량을 추적하는 추론 프로파일을 생성하려면 추론 프로파일이 요청을 라우팅할 모델 및 리전을 정의하는 교차 리전(시스템 정의) 추론 프로파일을 지정합니다.
다음 기능과 함께 추론 프로파일을 사용하여 요청을 여러 리전으로 라우팅하고 이러한 기능으로 이루어진 간접 호출 요청의 사용량 및 비용을 추적할 수 있습니다.
+ 모델 추론 - Amazon Bedrock 콘솔의 플레이그라운드에서 추론 프로파일을 선택하거나 [InvokeModel](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html), [InvokeModelWithResponseStream](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModelWithResponseStream.html), [Converse](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html) 및 [ConverseStream](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_ConverseStream.html) 작업을 직접적으로 호출할 때 추론 프로파일의 ARN을 지정하여 모델 간접 호출을 실행할 때 추론 프로파일을 사용합니다. 자세한 내용은 [모델 추론을 사용하여 프롬프트 제출 및 응답 생성](inference.md) 단원을 참조하십시오.
+ 지식 기반 벡터 임베딩 및 응답 생성 - 지식 기반을 쿼리한 후 응답을 생성하거나, 데이터 소스에서 비텍스트 정보를 구문 분석할 때 추론 프로파일을 사용합니다. 자세한 내용은 [쿼리 및 응답을 사용하여 지식 기반 테스트](knowledge-base-test.md) 및 [데이터 소스에 대한 구문 분석 옵션](kb-advanced-parsing.md)을 참조하세요.
+ 모델 평가 - 모델 평가 작업을 제출할 때 평가할 모델로 추론 프로파일을 제출할 수 있습니다. 자세한 내용은 [Amazon Bedrock 리소스의 성능 평가](evaluation.md) 단원을 참조하십시오.
+ 프롬프트 관리 - 프롬프트 관리에서 만든 프롬프트에 대한 응답을 생성할 때 추론 프로파일을 사용할 수 있습니다. 자세한 내용은 [Amazon Bedrock에서 프롬프트 관리를 사용하여 재사용 가능한 프롬프트 구성 및 저장](prompt-management.md) 섹션을 참조하세요.
+ 흐름 - 흐름의 프롬프트 노드에서 인라인을 정의하는 프롬프트에 대한 응답을 생성할 때 추론 프로파일을 사용할 수 있습니다. 자세한 내용은 [Amazon Bedrock Flows를 사용하여 엔드 투 엔드 생성형 AI 워크플로 구축](flows.md) 단원을 참조하십시오.
추론 프로파일 사용 요금은 추론 프로파일을 직접적으로 호출하는 리전의 모델 가격을 기준으로 계산됩니다. 요금에 대한 자세한 내용은 [Amazon Bedrock 요금](https://aws.amazon.com/bedrock/pricing/)을 참조하세요.
교차 리전 추론 프로파일이 제공할 수 있는 처리량에 대한 자세한 내용은 [교차 리전 추론을 통한 처리량 증대](cross-region-inference.md) 섹션을 참조하세요.
**Topics**
+ [추론 프로파일에 지원되는 리전 및 모델](inference-profiles-support.md)
+ [추론 프로파일의 사전 조건](inference-profiles-prereq.md)
+ [애플리케이션 추론 프로파일 생성](inference-profiles-create.md)
+ [애플리케이션 추론 프로파일의 태그 수정](inference-profiles-modify.md)
+ [추론 프로파일에 대한 정보 확인](inference-profiles-view.md)
+ [모델 간접 호출에 추론 프로파일 사용](inference-profiles-use.md)
+ [애플리케이션 추론 프로파일 삭제](inference-profiles-delete.md)
# 추론 프로파일에 지원되는 리전 및 모델
Amazon Bedrock에서 지원되는 리전 코드 및 엔드포인트 목록은 [Amazon Bedrock 엔드포인트 및 할당량](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#bedrock_region) 섹션을 참조하세요. 이 주제에서는 사용할 수 있는 사전 정의된 추론 프로파일과 애플리케이션 추론 프로파일을 지원하는 리전 및 모델에 대해 설명합니다.
**Topics**
+ [지원되는 교차 리전 추론 프로파일](#inference-profiles-support-system)
+ [애플리케이션 추론 프로파일에 지원되는 리전 및 모델](#inference-profiles-support-user)
## 지원되는 교차 리전 추론 프로파일
교차 리전(시스템 정의) 추론 프로파일을 사용하여 [교차 리전 추론](cross-region-inference.md)을 수행할 수 있습니다. 리전 간 추론을 사용하면 다양한 컴퓨팅을 활용하여 계획되지 않은 트래픽 버스트를 원활하게 관리할 수 있습니다 AWS 리전. 교차 리전 추론을 사용하면 트래픽을 여러 AWS 리전에 분산할 수 있습니다.
교차 리전(시스템 정의) 추론 프로파일은 지원하는 모델의 이름을 따서 이름이 지정되고 지원하는 리전에서 정의됩니다. 교차 리전 추론 프로파일이 요청을 처리하는 방법을 이해하려면 다음 정의를 검토하세요.
+ **소스 리전** - 추론 프로파일을 지정하는 API 요청을 수행하는 리전입니다.
+ **대상 리전** - Amazon Bedrock 서비스가 소스 리전의 요청을 라우팅할 수 있는 리전입니다.
Amazon Bedrock에서 교차 리전 추론 프로파일을 간접적으로 호출하면 요청은 소스 리전에서 시작되고 해당 프로파일에 정의된 대상 리전 중 하나로 자동으로 라우팅되어 성능을 최적화합니다. 글로벌 교차 리전 추론 프로파일의 대상 리전에는 모든 상용 리전이 포함됩니다.
**참고**
교차 리전 추론 프로파일의 대상 리전에는 AWS 계정 또는 조직 수준에서 명시적으로 활성화해야 하는 *리전인 옵트인* 리전이 포함될 수 있습니다. 자세한 내용은 [계정 AWS 리전 에서 활성화 또는 비활성화를 참조하세요](https://docs.aws.amazon.com/accounts/latest/reference/manage-acct-regions.html). 교차 리전 추론 프로파일을 사용하는 경우 계정의 해당 리전에 옵트인하지 않은 경우에도 추론 요청을 프로파일의 대상 리전으로 라우팅할 수 있습니다.
서비스 제어 정책(SCPs) 및 AWS Identity and Access Management (IAM) 정책은 함께 작동하여 리전 간 추론이 허용되는 위치를 제어합니다. SCP를 사용하면 Amazon Bedrock이 추론에 사용할 수 있는 리전을 제어할 수 있으며, IAM 정책을 사용하면 추론을 실행할 권한이 있는 사용자 또는 역할을 정의할 수 있습니다. 교차 리전 추론 프로파일의 대상 리전이 SCP에서 차단된 경우 다른 리전이 허용된 상태로 남아 있더라도 요청이 실패합니다. 교차 리전 추론을 통한 효율적인 작업을 보장하기 위해 SCP 및 IAM 정책을 업데이트하여 선택한 추론 프로파일에 포함된 모든 대상 리전에서 필요한 모든 Amazon Bedrock 추론 작업(예: `bedrock:InvokeModel*` 또는 `bedrock:CreateModelInvocationJob`)을 허용할 수 있습니다. 자세한 내용은 [다중 계정 환경에서 Amazon Bedrock 교차 리전 추론 활성화](https://aws.amazon.com/blogs/machine-learning/enable-amazon-bedrock-cross-region-inference-in-multi-account-environments/)를 참조하세요.
**참고**
일부 추론 프로파일은 직접적으로 호출하는 소스 리전에 따라 다른 대상 리전으로 라우팅됩니다. 예를 들어 미국 동부(오하이오)에서 `us.anthropic.claude-3-haiku-20240307-v1:0`을 직접 호출하면 요청을 `us-east-1`, `us-east-2` 또는 `us-west-2`로 라우팅할 수 있지만 미국 서부(오리건)에서 직접 호출하면 요청을 `us-east-1` 및 `us-west-2`로만 라우팅할 수 있습니다.
소스 및 대상 리전에서 추론 프로파일을 확인하려면 다음 중 하나를 수행할 수 있습니다.
+ [지원되는 교차 리전 추론 프로파일 목록](#inference-profiles-support)에서 해당 섹션을 확장합니다.
+ 소스 리전에서 [Amazon Bedrock 컨트롤 플레인 엔드포인트](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp)를 사용하여 [GetInferenceProfile](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_GetInferenceProfile.html) 요청을 보내고 `inferenceProfileIdentifier` 필드에 추론 프로파일의 Amazon 리소스 이름(ARN) 또는 ID를 지정합니다. 응답의 `models` 필드는 각 대상 리전을 식별할 수 있는 모델 ARN 목록에 매핑됩니다.
**참고**
가 요청을 처리할 수 있는 상용 리전을 AWS 추가함에 따라 특정 모델에 대한 글로벌 리전 간 추론 프로필은 시간이 지남에 따라 변경될 수 있습니다. 그러나 추론 프로파일이 지리(예: 미국, EU 또는 APAC)에 연결된 경우 대상 리전 목록은 변경되지 않습니다.는 새 리전을 통합하는 새 추론 프로파일을 생성할 AWS 수 있습니다. 설정의 ID를 새 ID로 변경하여 이러한 추론 프로파일을 사용하도록 시스템을 업데이트할 수 있습니다.
글로벌 교차 리전 추론 프로파일은 현재 미국 서부(오리건), 미국 동부(버지니아 북부), 미국 동부(오하이오), 유럽(아일랜드), 아시아 태평양(도쿄) 소스 리전의 Anthropic Claude Sonnet 4 모델에서만 지원됩니다. 글로벌 추론 프로파일의 대상 리전에는 모든 상용 AWS 리전이 포함됩니다.
다음 섹션 중 하나를 펼쳐서 교차 리전 추론 프로파일, 직접 호출할 수 있는 소스 리전, 요청을 라우팅할 수 있는 대상 리전에 대한 정보를 확인합니다.
### GLOBAL Amazon Nova 2 Lite
GLOBAL Amazon Nova 2 Lite 추론 프로파일을 호출하려면 소스 리전 중 하나에서 다음 추론 프로파일 ID를 지정합니다.
```
global.amazon.nova-2-lite-v1:0
```
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| ap-east-2 | Commercial AWS Regions ap-east-2 |
| ap-northeast-1 | Commercial AWS Regions ap-northeast-1 |
| ap-northeast-2 | Commercial AWS Regions ap-northeast-2 |
| ap-south-1 | Commercial AWS Regions ap-south-1 |
| ap-southeast-1 | Commercial AWS Regions ap-southeast-1 |
| ap-southeast-2 | Commercial AWS Regions ap-southeast-2 |
| ap-southeast-3 | Commercial AWS Regions ap-southeast-3 |
| ap-southeast-4 | Commercial AWS Regions ap-southeast-4 |
| ap-southeast-5 | Commercial AWS Regions ap-southeast-5 |
| ap-southeast-7 | Commercial AWS Regions ap-southeast-7 |
| ca-central-1 | Commercial AWS Regions ca-central-1 |
| ca-west-1 | Commercial AWS Regions ca-west-1 |
| eu-central-1 | Commercial AWS Regions eu-central-1 |
| eu-north-1 | Commercial AWS Regions eu-north-1 |
| eu-south-1 | Commercial AWS Regions eu-south-1 |
| eu-south-2 | Commercial AWS Regions eu-south-2 |
| eu-west-1 | Commercial AWS Regions eu-west-1 |
| eu-west-2 | Commercial AWS Regions eu-west-2 |
| eu-west-3 | Commercial AWS Regions eu-west-3 |
| il-central-1 | Commercial AWS Regions il-central-1 |
| me-central-1 | Commercial AWS Regions me-central-1 |
| us-east-1 | Commercial AWS Regions us-east-1 |
| us-east-2 | Commercial AWS Regions us-east-2 |
| us-west-1 | Commercial AWS Regions us-west-1 |
| us-west-2 | Commercial AWS Regions us-west-2 |
### GLOBAL Anthropic Claude Opus 4.5
GLOBAL Anthropic Claude Opus 4.5 추론 프로파일을 호출하려면 소스 리전 중 하나에서 다음 추론 프로파일 ID를 지정합니다.
```
global.anthropic.claude-opus-4-5-20251101-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-claude.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| af-south-1 | Commercial AWS Regions af-south-1 |
| ap-east-2 | Commercial AWS Regions ap-east-2 |
| ap-northeast-1 | Commercial AWS Regions ap-northeast-1 |
| ap-northeast-2 | Commercial AWS Regions ap-northeast-2 |
| ap-northeast-3 | Commercial AWS Regions ap-northeast-3 |
| ap-south-1 | Commercial AWS Regions ap-south-1 |
| ap-south-2 | Commercial AWS Regions ap-south-2 |
| ap-southeast-1 | Commercial AWS Regions ap-southeast-1 |
| ap-southeast-2 | Commercial AWS Regions ap-southeast-2 |
| ap-southeast-3 | Commercial AWS Regions ap-southeast-3 |
| ap-southeast-4 | Commercial AWS Regions ap-southeast-4 |
| ap-southeast-5 | Commercial AWS Regions ap-southeast-5 |
| ap-southeast-7 | Commercial AWS Regions ap-southeast-7 |
| ca-central-1 | Commercial AWS Regions ca-central-1 |
| ca-west-1 | Commercial AWS Regions ca-west-1 |
| eu-central-1 | Commercial AWS Regions eu-central-1 |
| eu-central-2 | Commercial AWS Regions eu-central-2 |
| eu-north-1 | Commercial AWS Regions eu-north-1 |
| eu-south-1 | Commercial AWS Regions eu-south-1 |
| eu-south-2 | Commercial AWS Regions eu-south-2 |
| eu-west-1 | Commercial AWS Regions eu-west-1 |
| eu-west-2 | Commercial AWS Regions eu-west-2 |
| eu-west-3 | Commercial AWS Regions eu-west-3 |
| il-central-1 | Commercial AWS Regions il-central-1 |
| me-central-1 | Commercial AWS Regions me-central-1 |
| me-south-1 | Commercial AWS Regions me-south-1 |
| mx-central-1 | Commercial AWS Regions mx-central-1 |
| sa-east-1 | Commercial AWS Regions sa-east-1 |
| us-east-1 | Commercial AWS Regions us-east-1 |
| us-east-2 | Commercial AWS Regions us-east-2 |
| us-west-1 | Commercial AWS Regions us-west-1 |
| us-west-2 | Commercial AWS Regions us-west-2 |
### GLOBAL TwelveLabs Pegasus v1.2
GLOBAL TwelveLabs Pegasus v1.2 추론 프로파일을 호출하려면 소스 리전 중 하나에서 다음 추론 프로파일 ID를 지정합니다.
```
global.twelvelabs.pegasus-1-2-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-pegasus.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| af-south-1 | Commercial AWS Regions af-south-1 |
| ap-east-2 | Commercial AWS Regions ap-east-2 |
| ap-northeast-1 | Commercial AWS Regions ap-northeast-1 |
| ap-northeast-2 | Commercial AWS Regions ap-northeast-2 |
| ap-northeast-3 | Commercial AWS Regions ap-northeast-3 |
| ap-south-1 | Commercial AWS Regions ap-south-1 |
| ap-south-2 | Commercial AWS Regions ap-south-2 |
| ap-southeast-1 | Commercial AWS Regions ap-southeast-1 |
| ap-southeast-2 | Commercial AWS Regions ap-southeast-2 |
| ap-southeast-3 | Commercial AWS Regions ap-southeast-3 |
| ap-southeast-4 | Commercial AWS Regions ap-southeast-4 |
| ap-southeast-5 | Commercial AWS Regions ap-southeast-5 |
| ap-southeast-7 | Commercial AWS Regions ap-southeast-7 |
| ca-central-1 | Commercial AWS Regions ca-central-1 |
| ca-west-1 | Commercial AWS Regions ca-west-1 |
| eu-central-1 | Commercial AWS Regions eu-central-1 |
| eu-central-2 | Commercial AWS Regions eu-central-2 |
| eu-north-1 | Commercial AWS Regions eu-north-1 |
| eu-south-1 | Commercial AWS Regions eu-south-1 |
| eu-south-2 | Commercial AWS Regions eu-south-2 |
| eu-west-1 | Commercial AWS Regions eu-west-1 |
| eu-west-2 | Commercial AWS Regions eu-west-2 |
| eu-west-3 | Commercial AWS Regions eu-west-3 |
| il-central-1 | Commercial AWS Regions il-central-1 |
| me-central-1 | Commercial AWS Regions me-central-1 |
| me-south-1 | Commercial AWS Regions me-south-1 |
| mx-central-1 | Commercial AWS Regions mx-central-1 |
| sa-east-1 | Commercial AWS Regions sa-east-1 |
| us-east-1 | Commercial AWS Regions us-east-1 |
| us-east-2 | Commercial AWS Regions us-east-2 |
| us-west-1 | Commercial AWS Regions us-west-1 |
| us-west-2 | Commercial AWS Regions us-west-2 |
### Global Anthropic Claude Haiku 4.5
Global Anthropic Claude Haiku 4.5 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
global.anthropic.claude-haiku-4-5-20251001-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-claude.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| af-south-1 | Commercial AWS Regions af-south-1 |
| ap-east-2 | Commercial AWS Regions ap-east-2 |
| ap-northeast-1 | Commercial AWS Regions ap-northeast-1 |
| ap-northeast-2 | Commercial AWS Regions ap-northeast-2 |
| ap-northeast-3 | Commercial AWS Regions ap-northeast-3 |
| ap-south-1 | Commercial AWS Regions ap-south-1 |
| ap-south-2 | Commercial AWS Regions ap-south-2 |
| ap-southeast-1 | Commercial AWS Regions ap-southeast-1 |
| ap-southeast-2 | Commercial AWS Regions ap-southeast-2 |
| ap-southeast-3 | Commercial AWS Regions ap-southeast-3 |
| ap-southeast-4 | Commercial AWS Regions ap-southeast-4 |
| ap-southeast-5 | Commercial AWS Regions ap-southeast-5 |
| ap-southeast-7 | Commercial AWS Regions ap-southeast-7 |
| ca-central-1 | Commercial AWS Regions ca-central-1 |
| ca-west-1 | Commercial AWS Regions ca-west-1 |
| eu-central-1 | Commercial AWS Regions eu-central-1 |
| eu-central-2 | Commercial AWS Regions eu-central-2 |
| eu-north-1 | Commercial AWS Regions eu-north-1 |
| eu-south-1 | Commercial AWS Regions eu-south-1 |
| eu-south-2 | Commercial AWS Regions eu-south-2 |
| eu-west-1 | Commercial AWS Regions eu-west-1 |
| eu-west-2 | Commercial AWS Regions eu-west-2 |
| eu-west-3 | Commercial AWS Regions eu-west-3 |
| il-central-1 | Commercial AWS Regions il-central-1 |
| me-central-1 | Commercial AWS Regions me-central-1 |
| me-south-1 | Commercial AWS Regions me-south-1 |
| mx-central-1 | Commercial AWS Regions mx-central-1 |
| sa-east-1 | Commercial AWS Regions sa-east-1 |
| us-east-1 | Commercial AWS Regions us-east-1 |
| us-east-2 | Commercial AWS Regions us-east-2 |
| us-west-1 | Commercial AWS Regions us-west-1 |
| us-west-2 | Commercial AWS Regions us-west-2 |
### Global Anthropic Claude Opus 4.6
Global Anthropic Claude Opus 4.6 추론 프로파일을 호출하려면 소스 리전 중 하나에서 다음 추론 프로파일 ID를 지정합니다.
```
global.anthropic.claude-opus-4-6-v1
```
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| af-south-1 | Commercial AWS Regions af-south-1 |
| ap-east-2 | Commercial AWS Regions ap-east-2 |
| ap-northeast-1 | Commercial AWS Regions ap-northeast-1 |
| ap-northeast-2 | Commercial AWS Regions ap-northeast-2 |
| ap-northeast-3 | Commercial AWS Regions ap-northeast-3 |
| ap-south-1 | Commercial AWS Regions ap-south-1 |
| ap-south-2 | Commercial AWS Regions ap-south-2 |
| ap-southeast-1 | Commercial AWS Regions ap-southeast-1 |
| ap-southeast-2 | Commercial AWS Regions ap-southeast-2 |
| ap-southeast-3 | Commercial AWS Regions ap-southeast-3 |
| ap-southeast-4 | Commercial AWS Regions ap-southeast-4 |
| ap-southeast-5 | Commercial AWS Regions ap-southeast-5 |
| ap-southeast-7 | Commercial AWS Regions ap-southeast-7 |
| ca-central-1 | Commercial AWS Regions ca-central-1 |
| ca-west-1 | Commercial AWS Regions ca-west-1 |
| eu-central-1 | Commercial AWS Regions eu-central-1 |
| eu-central-2 | Commercial AWS Regions eu-central-2 |
| eu-north-1 | Commercial AWS Regions eu-north-1 |
| eu-south-1 | Commercial AWS Regions eu-south-1 |
| eu-south-2 | Commercial AWS Regions eu-south-2 |
| eu-west-1 | Commercial AWS Regions eu-west-1 |
| eu-west-2 | Commercial AWS Regions eu-west-2 |
| eu-west-3 | Commercial AWS Regions eu-west-3 |
| il-central-1 | Commercial AWS Regions il-central-1 |
| me-central-1 | Commercial AWS Regions me-central-1 |
| me-south-1 | Commercial AWS Regions me-south-1 |
| mx-central-1 | Commercial AWS Regions mx-central-1 |
| sa-east-1 | Commercial AWS Regions sa-east-1 |
| us-east-1 | Commercial AWS Regions us-east-1 |
| us-east-2 | Commercial AWS Regions us-east-2 |
| us-west-1 | Commercial AWS Regions us-west-1 |
| us-west-2 | Commercial AWS Regions us-west-2 |
### Global Anthropic Claude Sonnet 4.6
Global Anthropic Claude Sonnet 4.6 추론 프로파일을 호출하려면 소스 리전 중 하나에서 다음 추론 프로파일 ID를 지정합니다.
```
global.anthropic.claude-sonnet-4-6
```
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| af-south-1 | Commercial AWS Regions af-south-1 |
| ap-east-2 | Commercial AWS Regions ap-east-2 |
| ap-northeast-1 | Commercial AWS Regions ap-northeast-1 |
| ap-northeast-2 | Commercial AWS Regions ap-northeast-2 |
| ap-northeast-3 | Commercial AWS Regions ap-northeast-3 |
| ap-south-1 | Commercial AWS Regions ap-south-1 |
| ap-south-2 | Commercial AWS Regions ap-south-2 |
| ap-southeast-1 | Commercial AWS Regions ap-southeast-1 |
| ap-southeast-2 | Commercial AWS Regions ap-southeast-2 |
| ap-southeast-3 | Commercial AWS Regions ap-southeast-3 |
| ap-southeast-4 | Commercial AWS Regions ap-southeast-4 |
| ap-southeast-5 | Commercial AWS Regions ap-southeast-5 |
| ap-southeast-7 | Commercial AWS Regions ap-southeast-7 |
| ca-central-1 | Commercial AWS Regions ca-central-1 |
| ca-west-1 | Commercial AWS Regions ca-west-1 |
| eu-central-1 | Commercial AWS Regions eu-central-1 |
| eu-central-2 | Commercial AWS Regions eu-central-2 |
| eu-north-1 | Commercial AWS Regions eu-north-1 |
| eu-south-1 | Commercial AWS Regions eu-south-1 |
| eu-south-2 | Commercial AWS Regions eu-south-2 |
| eu-west-1 | Commercial AWS Regions eu-west-1 |
| eu-west-2 | Commercial AWS Regions eu-west-2 |
| eu-west-3 | Commercial AWS Regions eu-west-3 |
| il-central-1 | Commercial AWS Regions il-central-1 |
| me-central-1 | Commercial AWS Regions me-central-1 |
| me-south-1 | Commercial AWS Regions me-south-1 |
| mx-central-1 | Commercial AWS Regions mx-central-1 |
| sa-east-1 | Commercial AWS Regions sa-east-1 |
| us-east-1 | Commercial AWS Regions us-east-1 |
| us-east-2 | Commercial AWS Regions us-east-2 |
| us-west-1 | Commercial AWS Regions us-west-1 |
| us-west-2 | Commercial AWS Regions us-west-2 |
### Global Claude Sonnet 4
Global Claude Sonnet 4 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
global.anthropic.claude-sonnet-4-20250514-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-claude.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| ap-northeast-1 | Commercial AWS Regions ap-northeast-1 |
| eu-west-1 | Commercial AWS Regions eu-west-1 |
| us-east-1 | Commercial AWS Regions us-east-1 |
| us-east-2 | Commercial AWS Regions us-east-2 |
| us-west-2 | Commercial AWS Regions us-west-2 |
### Global Claude Sonnet 4.5
Global Claude Sonnet 4.5 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
global.anthropic.claude-sonnet-4-5-20250929-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-claude.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| af-south-1 | Commercial AWS Regions af-south-1 |
| ap-east-2 | Commercial AWS Regions ap-east-2 |
| ap-northeast-1 | Commercial AWS Regions ap-northeast-1 |
| ap-northeast-2 | Commercial AWS Regions ap-northeast-2 |
| ap-northeast-3 | Commercial AWS Regions ap-northeast-3 |
| ap-south-1 | Commercial AWS Regions ap-south-1 |
| ap-south-2 | Commercial AWS Regions ap-south-2 |
| ap-southeast-1 | Commercial AWS Regions ap-southeast-1 |
| ap-southeast-2 | Commercial AWS Regions ap-southeast-2 |
| ap-southeast-3 | Commercial AWS Regions ap-southeast-3 |
| ap-southeast-4 | Commercial AWS Regions ap-southeast-4 |
| ap-southeast-5 | Commercial AWS Regions ap-southeast-5 |
| ap-southeast-7 | Commercial AWS Regions ap-southeast-7 |
| ca-central-1 | Commercial AWS Regions ca-central-1 |
| ca-west-1 | Commercial AWS Regions ca-west-1 |
| eu-central-1 | Commercial AWS Regions eu-central-1 |
| eu-central-2 | Commercial AWS Regions eu-central-2 |
| eu-north-1 | Commercial AWS Regions eu-north-1 |
| eu-south-1 | Commercial AWS Regions eu-south-1 |
| eu-south-2 | Commercial AWS Regions eu-south-2 |
| eu-west-1 | Commercial AWS Regions eu-west-1 |
| eu-west-2 | Commercial AWS Regions eu-west-2 |
| eu-west-3 | Commercial AWS Regions eu-west-3 |
| il-central-1 | Commercial AWS Regions il-central-1 |
| me-central-1 | Commercial AWS Regions me-central-1 |
| me-south-1 | Commercial AWS Regions me-south-1 |
| mx-central-1 | Commercial AWS Regions mx-central-1 |
| sa-east-1 | Commercial AWS Regions sa-east-1 |
| us-east-1 | Commercial AWS Regions us-east-1 |
| us-east-2 | Commercial AWS Regions us-east-2 |
| us-west-1 | Commercial AWS Regions us-west-1 |
| us-west-2 | Commercial AWS Regions us-west-2 |
### Global Cohere Embed v4
Global Cohere Embed v4 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
global.cohere.embed-v4:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-embed.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| ap-northeast-1 | Commercial AWS Regions ap-northeast-1 |
| ap-northeast-2 | Commercial AWS Regions ap-northeast-2 |
| ap-northeast-3 | Commercial AWS Regions ap-northeast-3 |
| ap-south-1 | Commercial AWS Regions ap-south-1 |
| ap-south-2 | Commercial AWS Regions ap-south-2 |
| ap-southeast-1 | Commercial AWS Regions ap-southeast-1 |
| ap-southeast-2 | Commercial AWS Regions ap-southeast-2 |
| ap-southeast-3 | Commercial AWS Regions ap-southeast-3 |
| ap-southeast-4 | Commercial AWS Regions ap-southeast-4 |
| ca-central-1 | Commercial AWS Regions ca-central-1 |
| eu-central-1 | Commercial AWS Regions eu-central-1 |
| eu-central-2 | Commercial AWS Regions eu-central-2 |
| eu-north-1 | Commercial AWS Regions eu-north-1 |
| eu-south-1 | Commercial AWS Regions eu-south-1 |
| eu-south-2 | Commercial AWS Regions eu-south-2 |
| eu-west-1 | Commercial AWS Regions eu-west-1 |
| eu-west-2 | Commercial AWS Regions eu-west-2 |
| eu-west-3 | Commercial AWS Regions eu-west-3 |
| sa-east-1 | Commercial AWS Regions sa-east-1 |
| us-east-1 | Commercial AWS Regions us-east-1 |
| us-east-2 | Commercial AWS Regions us-east-2 |
| us-west-1 | Commercial AWS Regions us-west-1 |
| us-west-2 | Commercial AWS Regions us-west-2 |
### 미국 Amazon Nova 2 Lite
미국 Amazon Nova 2 Lite 추론 프로파일을 호출하려면 소스 리전 중 하나에서 다음 추론 프로파일 ID를 지정합니다.
```
us.amazon.nova-2-lite-v1:0
```
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| ca-central-1 | ca-central-1 us-east-1 us-east-2 us-west-2 |
| ca-west-1 | ca-west-1 us-east-1 us-east-2 us-west-2 |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### US Anthropic Claude 3 Haiku
US Anthropic Claude 3 Haiku 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
us.anthropic.claude-3-haiku-20240307-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-claude.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| us-east-1 | us-east-1 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-west-2 |
### US Anthropic Claude 3 Opus
US Anthropic Claude 3 Opus 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
us.anthropic.claude-3-opus-20240229-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-claude.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| us-east-1 | us-east-1 us-west-2 |
| us-west-2 | us-east-1 us-west-2 |
### US Anthropic Claude 3 Sonnet
US Anthropic Claude 3 Sonnet 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
us.anthropic.claude-3-sonnet-20240229-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-claude.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| us-east-1 | us-east-1 us-west-2 |
| us-west-2 | us-east-1 us-west-2 |
### US Anthropic Claude 3.5 Haiku
US Anthropic Claude 3.5 Haiku 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
us.anthropic.claude-3-5-haiku-20241022-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-claude.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### US Anthropic Claude 3.5 Sonnet
US Anthropic Claude 3.5 Sonnet 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
us.anthropic.claude-3-5-sonnet-20240620-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-claude.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| us-east-1 | us-east-1 us-west-2 |
| us-east-2 | us-east-1 us-west-2 |
| us-west-2 | us-east-1 us-west-2 |
### US Anthropic Claude 3.5 Sonnet v2
US Anthropic Claude 3.5 Sonnet v2 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
us.anthropic.claude-3-5-sonnet-20241022-v2:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-claude.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### US Anthropic Claude 3.7 Sonnet
US Anthropic Claude 3.7 Sonnet 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
us.anthropic.claude-3-7-sonnet-20250219-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-claude.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### US Anthropic Claude Haiku 4.5
US Anthropic Claude Haiku 4.5 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
us.anthropic.claude-haiku-4-5-20251001-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-claude.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| ca-central-1 | ca-central-1 us-east-1 us-east-2 us-west-2 |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### 미국 Anthropic Claude Opus 4.5
미국 Anthropic Claude Opus 4.5 추론 프로파일을 호출하려면 소스 리전 중 하나에서 다음 추론 프로파일 ID를 지정합니다.
```
us.anthropic.claude-opus-4-5-20251101-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-claude.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| ca-central-1 | ca-central-1 us-east-1 us-east-2 us-west-2 |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### 미국 Anthropic Claude Opus 4.6
미국 Anthropic Claude Opus 4.6 추론 프로파일을 호출하려면 소스 리전 중 하나에서 다음 추론 프로파일 ID를 지정합니다.
```
us.anthropic.claude-opus-4-6-v1
```
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| ca-central-1 | ca-central-1 us-east-1 us-east-2 us-west-2 |
| ca-west-1 | ca-west-1 us-east-1 us-east-2 us-west-2 |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### US Anthropic Claude Sonnet 4.5
US Anthropic Claude Sonnet 4.5 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
us.anthropic.claude-sonnet-4-5-20250929-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-claude.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| ca-central-1 | ca-central-1 us-east-1 us-east-2 us-west-2 |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### 미국 Anthropic Claude Sonnet 4.6
미국 Anthropic Claude Sonnet 4.6 추론 프로파일을 호출하려면 소스 리전 중 하나에서 다음 추론 프로파일 ID를 지정합니다.
```
us.anthropic.claude-sonnet-4-6
```
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| ca-central-1 | ca-central-1 us-east-1 us-east-2 us-west-2 |
| ca-west-1 | ca-west-1 us-east-1 us-east-2 us-west-2 |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### US Claude Opus 4
US Claude Opus 4 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
us.anthropic.claude-opus-4-20250514-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-claude.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### US Claude Opus 4.1
US Claude Opus 4.1 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
us.anthropic.claude-opus-4-1-20250805-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-claude.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### US Claude Sonnet 4
US Claude Sonnet 4 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
us.anthropic.claude-sonnet-4-20250514-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-claude.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### US Cohere Embed v4
US Cohere Embed v4 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
us.cohere.embed-v4:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-embed.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### US DeepSeek-R1
US DeepSeek-R1 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
us.deepseek.r1-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](https://www.deepseek.com/) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### US Llama 4 Maverick 17B Instruct
US Llama 4 Maverick 17B Instruct 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
us.meta.llama4-maverick-17b-instruct-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-meta.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### US Llama 4 Scout 17B Instruct
US Llama 4 Scout 17B Instruct 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
us.meta.llama4-scout-17b-instruct-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-meta.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### US Meta Llama 3.1 70B Instruct
US Meta Llama 3.1 70B Instruct 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
us.meta.llama3-1-70b-instruct-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-meta.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### US Meta Llama 3.1 8B Instruct
US Meta Llama 3.1 8B Instruct 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
us.meta.llama3-1-8b-instruct-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-meta.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### US Meta Llama 3.1 Instruct 405B
US Meta Llama 3.1 Instruct 405B 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
us.meta.llama3-1-405b-instruct-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-meta.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
### US Meta Llama 3.2 11B Instruct
US Meta Llama 3.2 11B Instruct 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
us.meta.llama3-2-11b-instruct-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-meta.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| us-east-1 | us-east-1 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-west-2 |
### US Meta Llama 3.2 1B Instruct
US Meta Llama 3.2 1B Instruct 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
us.meta.llama3-2-1b-instruct-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-meta.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| us-east-1 | us-east-1 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-west-2 |
### US Meta Llama 3.2 3B Instruct
US Meta Llama 3.2 3B Instruct 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
us.meta.llama3-2-3b-instruct-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-meta.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| us-east-1 | us-east-1 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-west-2 |
### US Meta Llama 3.2 90B Instruct
US Meta Llama 3.2 90B Instruct 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
us.meta.llama3-2-90b-instruct-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-meta.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| us-east-1 | us-east-1 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-west-2 |
### US Meta Llama 3.3 70B Instruct
US Meta Llama 3.3 70B Instruct 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
us.meta.llama3-3-70b-instruct-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-meta.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### US Mistral Pixtral Large 25.02
US Mistral Pixtral Large 25.02 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
us.mistral.pixtral-large-2502-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-mistral.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### US Nova Lite
US Nova Lite 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
us.amazon.nova-lite-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](https://docs.aws.amazon.com/nova/latest/userguide/getting-started-schema.html) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### US Nova Micro
US Nova Micro 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
us.amazon.nova-micro-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](https://docs.aws.amazon.com/nova/latest/userguide/getting-started-schema.html) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### US Nova Premier
US Nova Premier 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
us.amazon.nova-premier-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](https://docs.aws.amazon.com/nova/latest/userguide/getting-started-schema.html) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### US Nova Pro
US Nova Pro 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
us.amazon.nova-pro-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](https://docs.aws.amazon.com/nova/latest/userguide/getting-started-schema.html) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### 미국 Pegasus v1.2
US Pegasus v1.2 추론 프로파일을 호출하려면 소스 리전 중 하나에서 다음 추론 프로파일 ID를 지정합니다.
```
us.twelvelabs.pegasus-1-2-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-pegasus.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-1 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### 미국 안정 이미지 보존형 업스케일
US Stable Image Conservative Upscale 추론 프로파일을 호출하려면 소스 리전 중 하나에서 다음 추론 프로파일 ID를 지정합니다.
```
us.stability.stable-conservative-upscale-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](stable-image-services.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### US Stable Image Control Sketch
US Stable Image Control Sketch 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
us.stability.stable-image-control-sketch-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-stability-diffusion.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### US Stable Image Control Structure
US Stable Image Control Structure 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
us.stability.stable-image-control-structure-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-stability-diffusion.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### 미국 Stable Image Creative Upscale
미국 Stable Image Creative Upscale 추론 프로파일을 호출하려면 소스 리전 중 하나에서 다음 추론 프로파일 ID를 지정합니다.
```
us.stability.stable-creative-upscale-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](stable-image-services.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### US Stable Image Erase Object
US Stable Image Erase Object 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
us.stability.stable-image-erase-object-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-stability-diffusion.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### 미국 안정 이미지 Fast Upscale
미국 Stable Image Fast Upscale 추론 프로파일을 호출하려면 소스 리전 중 하나에서 다음 추론 프로파일 ID를 지정합니다.
```
us.stability.stable-fast-upscale-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](stable-image-services.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### US Stable Image Inpaint
US Stable Image Inpaint 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
us.stability.stable-image-inpaint-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-stability-diffusion.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### 미국 Stable Image Outpaint
미국 Stable Image Outpaint 추론 프로파일을 호출하려면 소스 리전 중 하나에서 다음 추론 프로파일 ID를 지정합니다.
```
us.stability.stable-outpaint-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](stable-image-services.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### US Stable Image Remove Background
US Stable Image Remove Background 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
us.stability.stable-image-remove-background-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-stability-diffusion.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### US Stable Image Search and Recolor
US Stable Image Search and Recolor 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
us.stability.stable-image-search-recolor-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-stability-diffusion.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### US Stable Image Search and Replace
US Stable Image Search and Replace 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
us.stability.stable-image-search-replace-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-stability-diffusion.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### US Stable Image Style Guide
US Stable Image Style Guide 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
us.stability.stable-image-style-guide-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-stability-diffusion.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### US Stable Image Style Transfer
US Stable Image Style Transfer 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
us.stability.stable-style-transfer-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-stability-diffusion.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### US TwelveLabs Marengo 임베드 3.0
US TwelveLabs Marengo Embed 3.0 추론 프로파일을 호출하려면 소스 리전 중 하나에서 다음 추론 프로파일 ID를 지정합니다.
```
us.twelvelabs.marengo-embed-3-0-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-marengo.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
### US TwelveLabs Marengo Embed v2.7
US TwelveLabs Marengo Embed v2.7 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
us.twelvelabs.marengo-embed-2-7-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-marengo.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-1 us-west-2 |
### 미국 라이터 팔미라 X4
US Writer Palmyra X4 추론 프로파일을 호출하려면 소스 리전 중 하나에서 다음 추론 프로파일 ID를 지정합니다.
```
us.writer.palmyra-x4-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-writer-palmyra.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### 미국 라이터 팔미라 X5
US Writer Palmyra X5 추론 프로파일을 호출하려면 소스 리전 중 하나에서 다음 추론 프로파일 ID를 지정합니다.
```
us.writer.palmyra-x5-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-writer-palmyra.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### US-GOV Claude 3 Haiku
US-GOV Claude 3 Haiku 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
us-gov.anthropic.claude-3-haiku-20240307-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-claude.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| us-gov-east-1 | us-gov-east-1 us-gov-west-1 |
### US-GOV Claude 3.5 Sonnet
US-GOV Claude 3.5 Sonnet 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
us-gov.anthropic.claude-3-5-sonnet-20240620-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-claude.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| us-gov-east-1 | us-gov-east-1 us-gov-west-1 |
### US-GOV Claude 3.7 Sonnet
US-GOV Claude 3.7 Sonnet 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
us-gov.anthropic.claude-3-7-sonnet-20250219-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-claude.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| us-gov-east-1 | us-gov-east-1 us-gov-west-1 |
### US-GOV Claude Sonnet 4.5
US-GOV Claude Sonnet 4.5 추론 프로파일을 호출하려면 소스 리전 중 하나에서 다음 추론 프로파일 ID를 지정합니다.
```
us-gov.anthropic.claude-sonnet-4-5-20250929-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-claude.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| us-gov-east-1 | us-gov-west-1 |
| us-gov-west-1 | us-gov-west-1 |
### APAC Anthropic Claude 3 Haiku
APAC Anthropic Claude 3 Haiku 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
apac.anthropic.claude-3-haiku-20240307-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-claude.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| ap-northeast-1 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-northeast-2 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-south-1 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-southeast-1 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-southeast-2 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 |
### APAC Anthropic Claude 3 Sonnet
APAC Anthropic Claude 3 Sonnet 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
apac.anthropic.claude-3-sonnet-20240229-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-claude.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| ap-northeast-1 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-northeast-2 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-south-1 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-southeast-1 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-southeast-2 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 |
### APAC Anthropic Claude 3.5 Sonnet
APAC Anthropic Claude 3.5 Sonnet 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
apac.anthropic.claude-3-5-sonnet-20240620-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-claude.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| ap-northeast-1 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-northeast-2 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-south-1 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-southeast-1 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-southeast-2 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 |
### APAC Anthropic Claude 3.5 Sonnet v2
APAC Anthropic Claude 3.5 Sonnet v2 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
apac.anthropic.claude-3-5-sonnet-20241022-v2:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-claude.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| ap-northeast-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-northeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-northeast-3 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-south-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-south-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 |
| ap-southeast-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-southeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 |
### APAC Anthropic Claude 3.7 Sonnet
APAC Anthropic Claude 3.7 Sonnet 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
apac.anthropic.claude-3-7-sonnet-20250219-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-claude.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| ap-northeast-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 |
| ap-northeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 |
| ap-northeast-3 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 |
| ap-south-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 |
| ap-south-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 |
| ap-southeast-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 |
| ap-southeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 |
### APAC Claude Sonnet 4
APAC Claude Sonnet 4 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
apac.anthropic.claude-sonnet-4-20250514-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-claude.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| ap-east-2 | ap-east-2 ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 |
| ap-northeast-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-4 |
| ap-northeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-4 |
| ap-northeast-3 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-4 |
| ap-south-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-4 |
| ap-south-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-4 |
| ap-southeast-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-4 |
| ap-southeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-4 |
| ap-southeast-3 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 |
| ap-southeast-4 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-4 |
| ap-southeast-5 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-5 |
| ap-southeast-7 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-7 |
| me-central-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 me-central-1 |
### APAC Nova Lite
APAC Nova Lite 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
apac.amazon.nova-lite-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](https://docs.aws.amazon.com/nova/latest/userguide/getting-started-schema.html) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| ap-east-2 | ap-east-2 ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 |
| ap-northeast-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-northeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-south-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-southeast-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-southeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-southeast-3 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 |
| ap-southeast-4 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-4 |
| ap-southeast-5 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-5 |
| ap-southeast-7 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-7 |
| me-central-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 me-central-1 |
### APAC Nova Micro
APAC Nova Micro 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
apac.amazon.nova-micro-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](https://docs.aws.amazon.com/nova/latest/userguide/getting-started-schema.html) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| ap-east-2 | ap-east-2 ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 |
| ap-northeast-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-northeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-south-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-southeast-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-southeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-southeast-3 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 |
| ap-southeast-5 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-5 |
| ap-southeast-7 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-7 |
| me-central-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 me-central-1 |
### APAC Nova Pro
APAC Nova Pro 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
apac.amazon.nova-pro-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](https://docs.aws.amazon.com/nova/latest/userguide/getting-started-schema.html) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| ap-east-2 | ap-east-2 ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 |
| ap-northeast-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-northeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-south-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-southeast-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-southeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-southeast-3 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 |
| ap-southeast-4 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-4 |
| ap-southeast-5 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-5 |
| ap-southeast-7 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-7 |
| me-central-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 me-central-1 |
### APAC Pegasus v1.2
APAC Pegasus v1.2 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
apac.twelvelabs.pegasus-1-2-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-pegasus.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| ap-northeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-4 |
### APAC TwelveLabs Marengo Embed v2.7
APAC TwelveLabs Marengo Embed v2.7 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
apac.twelvelabs.marengo-embed-2-7-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-marengo.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| ap-northeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 |
### AU Anthropic Claude Sonnet 4.5
AU Anthropic Claude Sonnet 4.5 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
au.anthropic.claude-sonnet-4-5-20250929-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-claude.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| ap-southeast-2 | ap-southeast-2 ap-southeast-4 |
| ap-southeast-4 | ap-southeast-2 ap-southeast-4 |
### AU Anthropic Claude Haiku 4.5
AU Anthropic Claude Haiku 4.5 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
au.anthropic.claude-haiku-4-5-20251001-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-claude.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| ap-southeast-2 | ap-southeast-2 ap-southeast-4 |
| ap-southeast-4 | ap-southeast-2 ap-southeast-4 |
### AU Anthropic Claude Opus 4.6
AU Anthropic Claude Opus 4.6 추론 프로파일을 호출하려면 소스 리전 중 하나에서 다음 추론 프로파일 ID를 지정합니다.
```
au.anthropic.claude-opus-4-6-v1
```
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| ap-southeast-2 | ap-southeast-2 ap-southeast-4 |
| ap-southeast-4 | ap-southeast-2 ap-southeast-4 |
### AU Anthropic Claude Sonnet 4.6
AU Anthropic Claude Sonnet 4.6 추론 프로파일을 호출하려면 소스 리전 중 하나에서 다음 추론 프로파일 ID를 지정합니다.
```
au.anthropic.claude-sonnet-4-6
```
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| ap-southeast-2 | ap-southeast-2 ap-southeast-4 |
| ap-southeast-4 | ap-southeast-2 ap-southeast-4 |
### CA Nova Lite
CA Nova Lite 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
ca.amazon.nova-lite-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](https://docs.aws.amazon.com/nova/latest/userguide/getting-started-schema.html) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| ca-central-1 | ca-central-1 ca-west-1 |
| ca-west-1 | ca-central-1 ca-west-1 |
### EU Amazon Nova 2 Lite
EU Amazon Nova 2 Lite 추론 프로파일을 호출하려면 소스 리전 중 하나에서 다음 추론 프로파일 ID를 지정합니다.
```
eu.amazon.nova-2-lite-v1:0
```
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| eu-central-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-north-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-south-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-south-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-west-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-west-3 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
### EU Anthropic Claude 3 Haiku
EU Anthropic Claude 3 Haiku 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
eu.anthropic.claude-3-haiku-20240307-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-claude.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| eu-central-1 | eu-central-1 eu-west-1 eu-west-3 |
| eu-west-1 | eu-central-1 eu-west-1 eu-west-3 |
| eu-west-3 | eu-central-1 eu-west-1 eu-west-3 |
### EU Anthropic Claude 3 Sonnet
EU Anthropic Claude 3 Sonnet 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
eu.anthropic.claude-3-sonnet-20240229-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-claude.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| eu-central-1 | eu-central-1 eu-west-1 eu-west-3 |
| eu-west-1 | eu-central-1 eu-west-1 eu-west-3 |
| eu-west-3 | eu-central-1 eu-west-1 eu-west-3 |
### EU Anthropic Claude 3.5 Sonnet
EU Anthropic Claude 3.5 Sonnet 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
eu.anthropic.claude-3-5-sonnet-20240620-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-claude.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| eu-central-1 | eu-central-1 eu-west-1 eu-west-3 |
| eu-west-1 | eu-central-1 eu-west-1 eu-west-3 |
| eu-west-3 | eu-central-1 eu-west-1 eu-west-3 |
### EU Anthropic Claude 3.7 Sonnet
EU Anthropic Claude 3.7 Sonnet 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
eu.anthropic.claude-3-7-sonnet-20250219-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-claude.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| eu-central-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 |
| eu-north-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 |
| eu-west-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 |
| eu-west-3 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 |
### EU Anthropic Claude Haiku 4.5
EU Anthropic Claude Haiku 4.5 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
eu.anthropic.claude-haiku-4-5-20251001-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-claude.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| eu-central-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-central-2 | eu-central-1 eu-central-2 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-north-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-south-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-south-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-west-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-west-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-2 eu-west-3 |
| eu-west-3 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
### EU Anthropic Claude Opus 4.5
EU Anthropic Claude Opus 4.5 추론 프로파일을 호출하려면 소스 리전 중 하나에서 다음 추론 프로파일 ID를 지정합니다.
```
eu.anthropic.claude-opus-4-5-20251101-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-claude.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| eu-central-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-central-2 | eu-central-1 eu-central-2 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-north-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-south-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-south-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-west-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-west-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-2 eu-west-3 |
| eu-west-3 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
### EU Anthropic Claude Opus 4.6
EU Anthropic Claude Opus 4.6 추론 프로파일을 호출하려면 소스 리전 중 하나에서 다음 추론 프로파일 ID를 지정합니다.
```
eu.anthropic.claude-opus-4-6-v1
```
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| eu-central-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-central-2 | eu-central-1 eu-central-2 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-north-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-south-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-south-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-west-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-west-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-2 eu-west-3 |
| eu-west-3 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
### EU Anthropic Claude Sonnet 4.5
EU Anthropic Claude Sonnet 4.5 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
eu.anthropic.claude-sonnet-4-5-20250929-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-claude.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| eu-central-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-central-2 | eu-central-1 eu-central-2 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-north-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-south-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-south-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-west-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-west-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-2 eu-west-3 |
| eu-west-3 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
### EU Anthropic Claude Sonnet 4.6
EU Anthropic Claude Sonnet 4.6 추론 프로파일을 호출하려면 소스 리전 중 하나에서 다음 추론 프로파일 ID를 지정합니다.
```
eu.anthropic.claude-sonnet-4-6
```
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| eu-central-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-central-2 | eu-central-1 eu-central-2 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-north-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-south-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-south-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-west-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-west-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-2 eu-west-3 |
| eu-west-3 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
### EU Claude Sonnet 4
EU Claude Sonnet 4 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
eu.anthropic.claude-sonnet-4-20250514-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-claude.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| eu-central-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-north-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-south-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-south-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-west-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-west-3 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| il-central-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 il-central-1 |
### EU Cohere Embed v4
EU Cohere Embed v4 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
eu.cohere.embed-v4:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-embed.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| eu-central-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-north-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-south-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-south-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-west-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-west-3 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
### EU Meta Llama 3.2 1B Instruct
EU Meta Llama 3.2 1B Instruct 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
eu.meta.llama3-2-1b-instruct-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-meta.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| eu-central-1 | eu-central-1 eu-west-1 eu-west-3 |
| eu-west-1 | eu-central-1 eu-west-1 eu-west-3 |
| eu-west-3 | eu-central-1 eu-west-1 eu-west-3 |
### EU Meta Llama 3.2 3B Instruct
EU Meta Llama 3.2 3B Instruct 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
eu.meta.llama3-2-3b-instruct-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-meta.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| eu-central-1 | eu-central-1 eu-west-1 eu-west-3 |
| eu-west-1 | eu-central-1 eu-west-1 eu-west-3 |
| eu-west-3 | eu-central-1 eu-west-1 eu-west-3 |
### EU Mistral Pixtral Large 25.02
EU Mistral Pixtral Large 25.02 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
eu.mistral.pixtral-large-2502-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-mistral.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| eu-central-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 |
| eu-north-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 |
| eu-west-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 |
| eu-west-3 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 |
### EU Nova Lite
EU Nova Lite 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
eu.amazon.nova-lite-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](https://docs.aws.amazon.com/nova/latest/userguide/getting-started-schema.html) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| eu-central-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 |
| eu-north-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 |
| eu-south-1 | eu-central-1 eu-north-1 eu-south-1 eu-west-1 eu-west-3 |
| eu-south-2 | eu-central-1 eu-north-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-west-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 |
| eu-west-3 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 |
| il-central-1 | eu-central-1 eu-north-1 eu-south-1 eu-west-1 eu-west-3 il-central-1 |
### EU Nova Micro
EU Nova Micro 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
eu.amazon.nova-micro-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](https://docs.aws.amazon.com/nova/latest/userguide/getting-started-schema.html) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| eu-central-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 |
| eu-north-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 |
| eu-south-1 | eu-central-1 eu-north-1 eu-south-1 eu-west-1 eu-west-3 |
| eu-south-2 | eu-central-1 eu-north-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-west-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 |
| eu-west-3 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 |
| il-central-1 | eu-central-1 eu-north-1 eu-south-1 eu-west-1 eu-west-3 il-central-1 |
### EU Nova Pro
EU Nova Pro 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
eu.amazon.nova-pro-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](https://docs.aws.amazon.com/nova/latest/userguide/getting-started-schema.html) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| eu-central-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 |
| eu-north-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 |
| eu-south-1 | eu-central-1 eu-north-1 eu-south-1 eu-west-1 eu-west-3 |
| eu-south-2 | eu-central-1 eu-north-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-west-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 |
| eu-west-3 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 |
| il-central-1 | eu-central-1 eu-north-1 eu-south-1 eu-west-1 eu-west-3 il-central-1 |
### EU TwelveLabs Marengo 임베드 3.0
EU TwelveLabs Marengo Embed 3.0 추론 프로파일을 호출하려면 소스 리전 중 하나에서 다음 추론 프로파일 ID를 지정합니다.
```
eu.twelvelabs.marengo-embed-3-0-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-marengo.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| eu-west-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
### EU TwelveLabs Marengo Embed v2.7
EU TwelveLabs Marengo Embed v2.7 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
eu.twelvelabs.marengo-embed-2-7-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-marengo.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| eu-west-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
### EU TwelveLabs Pegasus v1.2
EU TwelveLabs Pegasus v1.2 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
eu.twelvelabs.pegasus-1-2-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-pegasus.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| eu-central-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-central-2 | eu-central-1 eu-central-2 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-north-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-south-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-south-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-west-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-west-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-2 eu-west-3 |
| eu-west-3 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
### JP Amazon Nova 2 Lite
JP Amazon Nova 2 Lite 추론 프로파일을 호출하려면 소스 리전 중 하나에서 다음 추론 프로파일 ID를 지정합니다.
```
jp.amazon.nova-2-lite-v1:0
```
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| ap-northeast-1 | ap-northeast-1 ap-northeast-3 |
### JP Anthropic Claude Haiku 4.5
JP Anthropic Claude Haiku 4.5 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
jp.anthropic.claude-haiku-4-5-20251001-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-claude.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| ap-northeast-1 | ap-northeast-1 ap-northeast-3 |
| ap-northeast-3 | ap-northeast-1 ap-northeast-3 |
### JP Anthropic Claude Sonnet 4.5
JP Anthropic Claude Sonnet 4.5 추론 프로파일을 직접적으로 호출하려면 소스 리전 중 하나에 다음 추론 프로파일 ID를 지정합니다.
```
jp.anthropic.claude-sonnet-4-5-20250929-v1:0
```
이 모델의 추론 파라미터에 대한 자세한 내용은 [링크를](model-parameters-claude.md) 참조하세요.
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| ap-northeast-1 | ap-northeast-1 ap-northeast-3 |
| ap-northeast-3 | ap-northeast-1 ap-northeast-3 |
### JP Anthropic Claude Sonnet 4.6
JP Anthropic Claude Sonnet 4.6 추론 프로파일을 호출하려면 소스 리전 중 하나에서 다음 추론 프로파일 ID를 지정합니다.
```
jp.anthropic.claude-sonnet-4-6
```
다음 표에는 추론 프로파일을 직접적으로 호출할 수 있는 소스 리전과 요청을 라우팅할 수 있는 대상 리전이 나와 있습니다.
| 소스 리전 | 대상 리전 |
| --- | --- |
| ap-northeast-1 | ap-northeast-1 ap-northeast-3 |
| ap-northeast-3 | ap-northeast-1 ap-northeast-3 |
## 애플리케이션 추론 프로파일에 지원되는 리전 및 모델
AWS 리전다음과 같은 모든 모델에 대해 애플리케이션 추론 프로파일을 생성할 수 있습니다.
+ ap-northeast-1
+ ap-northeast-2
+ ap-south-1
+ ap-southeast-1
+ ap-southeast-2
+ ca-central-1
+ eu-central-1
+ eu-west-1
+ eu-west-2
+ eu-west-3
+ sa-east-1
+ us-east-1
+ us-east-2
+ us-gov-east-1
+ us-west-2
Amazon Bedrock에서 지원되는 모든 모델 및 추론 프로파일에서 애플리케이션 추론 프로파일을 생성할 수 있습니다. Amazon Bedrock에서 지원되는 모델에 대한 자세한 내용은 [Amazon Bedrock에서 지원되는 파운데이션 모델](models-supported.md) 섹션을 참조하세요.
# 추론 프로파일의 사전 조건
추론 프로파일을 사용하려면 먼저 다음 사전 조건을 충족했는지 확인하세요.
+ 역할이 추론 프로파일 API 작업에 액세스할 수 있습니다. 역할에 [AmazonBedrockFullAccess](security-iam-awsmanpol.md#security-iam-awsmanpol-AmazonBedrockFullAccess)AWS 관리형 정책이 연결되어 있는 경우이 단계를 건너뛸 수 있습니다. 그렇지 않으면 다음을 수행하세요.
1. [IAM 정책 생성](https://docs.aws.amazon.com/IAM/latest/UserGuide/access_policies_create.html)의 단계에 따라 다음 정책을 생성합니다. 그러면 역할이 모든 파운데이션 모델 및 추론 프로파일을 사용하여 추론 프로파일 관련 작업을 수행하고 모델 추론을 실행할 수 있습니다.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"bedrock:InvokeModel*",
"bedrock:CreateInferenceProfile"
],
"Resource": [
"arn:aws:bedrock:*::foundation-model/*",
"arn:aws:bedrock:*:*:inference-profile/*",
"arn:aws:bedrock:*:*:application-inference-profile/*"
]
},
{
"Effect": "Allow",
"Action": [
"bedrock:GetInferenceProfile",
"bedrock:ListInferenceProfiles",
"bedrock:DeleteInferenceProfile",
"bedrock:TagResource",
"bedrock:UntagResource",
"bedrock:ListTagsForResource"
],
"Resource": [
"arn:aws:bedrock:*:*:inference-profile/*",
"arn:aws:bedrock:*:*:application-inference-profile/*"
]
}
]
}
```
------
(선택 사항) 다음과 같은 방법으로 역할의 액세스를 제한할 수 있습니다.
+ 역할이 수행할 수 있는 API 작업을 제한하려면 액세스를 허용하려는 [API 작업](https://docs.aws.amazon.com/service-authorization/latest/reference/list_amazonbedrock.html#amazonbedrock-actions-as-permissions)만 포함하도록 `Action` 필드의 목록을 수정합니다.
+ 역할의 특정 추론 프로파일에 대한 액세스를 제한하려면 액세스를 허용하려는 [추론 프로파일](https://docs.aws.amazon.com/service-authorization/latest/reference/list_amazonbedrock.html#amazonbedrock-resources-for-iam-policies) 및 파운데이션 모델만 포함하도록 `Resource` 목록을 수정합니다. 시스템 정의 추론 프로파일은 `inference-profile`로 시작하고 애플리케이션 추론 프로파일은 `application-inference-profile`로 시작합니다.
**중요**
첫 설명의 `Resource` 필드에서 추론 프로파일을 지정하는 경우, 연결된 각 리전의 파운데이션 모델도 함께 지정해야 합니다.
+ 추론 프로파일을 통해서만 파운데이션 모델을 간접 호출할 수 있도록 사용자 액세스를 제한하려면 `Condition` 필드를 추가하고 `aws:InferenceProfileArn` [조건 키](https://docs.aws.amazon.com/service-authorization/latest/reference/list_amazonbedrock.html#amazonbedrock-policy-keys)를 사용합니다. 액세스를 필터링할 추론 프로파일을 지정합니다. 이 조건은 `foundation-model` 리소스의 범위를 지정하는 설명에 포함될 수 있습니다.
+ 예를 들어, 다음 정책을 역할에 연결하면 us-west-2 리전의 *111122223333* 계정에서 미국 Anthropic Claude 3 Haiku 추론 프로파일을 통해서만 Anthropic Claude 3 Haiku 모델을 간접 호출할 수 있습니다.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"bedrock:InvokeModel*"
],
"Resource": [
"arn:aws:bedrock:us-west-2:111122223333:inference-profile/us.anthropic.claude-3-haiku-20240307-v1:0"
]
},
{
"Effect": "Allow",
"Action": [
"bedrock:InvokeModel*"
],
"Resource": [
"arn:aws:bedrock:us-east-1::foundation-model/anthropic.claude-3-haiku-20240307-v1:0",
"arn:aws:bedrock:us-west-2::foundation-model/anthropic.claude-3-haiku-20240307-v1:0"
],
"Condition": {
"StringLike": {
"bedrock:InferenceProfileArn": "arn:aws:bedrock:us-west-2:111122223333:inference-profile/us.anthropic.claude-3-haiku-20240307-v1:0"
}
}
}
]
}
```
------
+ 예를 들어, 다음 정책을 역할에 연결하면 us-east-2(미국 동부(오하이오)) 리전의 111122223333 계정에서 Global Claude Sonnet 4 추론 프로파일을 통해서만 Anthropic Claude Sonnet 4 모델을 간접 호출할 수 있습니다.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"bedrock:InvokeModel*"
],
"Resource": [
"arn:aws:bedrock:us-east-2:111122223333:inference-profile/global.anthropic.claude-sonnet-4-20250514-v1:0"
]
},
{
"Effect": "Allow",
"Action": [
"bedrock:InvokeModel*"
],
"Resource": [
"arn:aws:bedrock:us-east-2::foundation-model/anthropic.claude-sonnet-4-20250514-v1:0",
"arn:aws:bedrock:::foundation-model/anthropic.claude-sonnet-4-20250514-v1:0"
],
"Condition": {
"StringLike": {
"bedrock:InferenceProfileArn": "arn:aws:bedrock:us-east-2:111122223333:inference-profile/global.anthropic.claude-sonnet-4-20250514-v1:0"
}
}
}
]
}
```
------
+ 요청 컨텍스트 키 `aws:RequestedRegion`이 지정되지 않음과 같은지 확인하는 `StringEquals` 조건과 함께 명시적 Deny를 추가하여 Global Claude Sonnet 4 추론 프로파일의 사용을 제한할 수도 있습니다. `StringEquals`와 일치하므로 Deny는 추론 요청의 모든 Allow를 재정의하고 글로벌 라우팅을 차단합니다.
```
{
"Effect": "Deny",
"Action": [
"bedrock:InvokeModel*"
],
"Resource": "*",
"Condition": {
"StringEquals": {
"aws:RequestedRegion": "unspecified"
}
}
},
```
1. [IAM 자격 증명 권한 추가 및 제거](https://docs.aws.amazon.com/IAM/latest/UserGuide/access_policies_manage-attach-detach.html)의 단계에 따라 정책을 역할에 연결하여 역할이 모든 추론 프로파일을 보고 사용할 수 있는 권한을 부여합니다.
+ 추론 프로파일을 직접적으로 호출하려는 리전에서 사용하려는 추론 프로파일에 정의된 모델에 대한 액세스를 요청했습니다.
# 애플리케이션 추론 프로파일 생성
하나 이상의 리전으로 애플리케이션 추론 프로파일을 생성하여 모델을 간접적으로 호출할 때 사용량과 비용을 추적할 수 있습니다.
+ 한 리전에 대한 애플리케이션 추론 프로파일을 생성하려면 파운데이션 모델을 지정합니다. 해당 모델을 사용하여 해당 리전에 대해 수행된 요청의 사용량 및 비용이 추적됩니다.
+ 여러 리전에 대한 애플리케이션 추론 프로파일을 생성하려면 교차 리전(시스템 정의) 추론 프로파일을 지정합니다. 추론 프로파일은 선택한 교차 리전(시스템 정의) 추론 프로파일에 정의된 리전으로 요청을 라우팅합니다. 추론 프로파일에서 해당 리전에 대해 수행된 요청의 사용량 및 비용이 추적됩니다.
현재는 Amazon Bedrock API로만 추론 프로파일을 생성할 수 있습니다.
추론 프로파일을 생성하려면 [Amazon Bedrock 컨트롤 플레인 엔드포인트](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp)를 사용하여 [CreateInferenceProfile](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateInferenceProfile.html) 요청을 보냅니다.
필수 필드는 다음과 같습니다.
****
| Field | 사용 사례: |
| --- | --- |
| inferenceProfileName | 추론 프로파일의 이름을 지정합니다. |
| modelSource | 비용 및 사용량을 추적하려는 모델 및 리전을 정의하는 파운데이션 모델 또는 교차 리전(시스템 정의) 추론 프로파일을 지정합니다. |
다음 필드는 선택 사항입니다.
****
| Field | 사용 사례: |
| --- | --- |
| description | 추론 프로파일에 대한 설명을 제공합니다. |
| tags | 추론 프로파일에 태그를 연결합니다. 자세한 내용은 [Amazon Bedrock 리소스 태그 지정](tagging.md) 및 [비용 할당 태그를 사용하여 AWS비용 구성 및 추적](https://docs.aws.amazon.com//awsaccountbilling/latest/aboutv2/cost-alloc-tags.html)을 참조하세요. |
| clientRequestToken | API 요청이 한 번만 완료되도록 합니다. 자세한 내용은 [멱등성 보장](https://docs.aws.amazon.com/ec2/latest/devguide/ec2-api-idempotency.html)을 참조하세요. |
응답은 다른 추론 프로파일 관련 작업에 사용할 수 있고 모델 간접 호출 및 Amazon Bedrock 리소스와 함께 사용할 수 있는 `inferenceProfileArn`을 반환합니다.
# 애플리케이션 추론 프로파일의 태그 수정
애플리케이션 추론 프로파일을 생성한 후에도 [Amazon Bedrock 컨트롤 플레인 엔드포인트](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp)로 [TagResource](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_TagResource.html) 또는 [UntagResource](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_UntagResource.html) 요청을 제출하고 `resourceArn` 필드에서 애플리케이션 추론 프로파일의 ARN을 지정하여 Amazon Bedrock API를 통해 태그를 계속 관리할 수 있습니다. 태그 지정에 대한 자세한 내용은 [Amazon Bedrock 리소스 태그 지정](tagging.md) 섹션을 참조하세요.
# 추론 프로파일에 대한 정보 확인
생성한 교차 리전 추론 프로파일 또는 애플리케이션 추론 프로파일에 대한 정보를 볼 수 있습니다. 추론 프로파일에 대한 정보를 확인하는 방법을 알아보려면 원하는 메서드의 탭을 선택하고 다음 단계를 따릅니다.
------
#### [ Console ]
**교차 리전(시스템 정의) 추론 프로파일에 대한 정보를 보려면**
1. Amazon Bedrock 콘솔을 사용할 권한이 있는 IAM 자격 증명으로 AWS Management Console에 로그인합니다. 그 다음 [https://console.aws.amazon.com/bedrock](https://console.aws.amazon.com/bedrock)에서 Amazon Bedrock 콘솔을 엽니다.
1. 왼쪽 탐색 창에서 **교차 리전 추론**을 선택합니다. 그런 다음 **교차 리전 추론** 섹션에서 추론 프로파일을 선택합니다.
1. **추론 프로파일 세부 정보** 섹션에서 추론 프로파일의 세부 정보를 확인하고 **모델** 섹션에서 추론 프로파일이 포함하는 리전을 확인합니다.
**참고**
Amazon Bedrock 콘솔에서는 애플리케이션 추론 프로파일을 볼 수 없습니다.
------
#### [ API ]
추론 프로파일에 대한 정보를 가져오려면 [Amazon Bedrock 컨트롤 플레인 엔드포인트](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp)를 사용하여 [GetInferenceProfile](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_GetInferenceProfile.html) 요청을 보내고 `inferenceProfileIdentifier` 필드에 추론 프로파일의 Amazon 리소스 이름(ARN) 또는 ID를 지정합니다.
사용할 수 있는 추론 프로파일에 대한 정보를 나열하려면 [Amazon Bedrock 컨트롤 플레인 엔드포인트](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp)를 사용하여 [ListInferenceProfiles](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ListInferenceProfiles.html) 요청을 전송합니다. 필요한 경우 다음 파라미터를 지정할 수도 있습니다.
****
| 필드 | 간단한 설명 |
| --- | --- |
| maxResults | 응답으로 반환할 최대 결과 수입니다. |
| nextToken | maxResults 필드에 지정한 수보다 많은 결과가 있는 경우 응답은 nextToken 값을 반환합니다. 다음 결과 배치를 보려면 다른 요청에서 nextToken 값을 보냅니다. |
------
# 모델 간접 호출에 추론 프로파일 사용
파운데이션 모델 대신 교차 리전 추론 프로파일을 사용하여 요청을 여러 리전으로 라우팅할 수 있습니다. 하나 이상의 리전에서 모델의 비용 및 사용량을 추적하려면 애플리케이션 추론 프로파일을 사용할 수 있습니다. 모델 추론을 실행할 때 추론 프로파일을 사용하는 방법을 알아보려면 원하는 방법에 해당하는 탭을 선택하고 다음 단계를 따릅니다.
------
#### [ Console ]
추론 프로파일을 지원하는 기능과 함께 사용하려면 다음을 수행합니다.
1. Amazon Bedrock 콘솔을 사용할 권한이 있는 IAM 자격 증명으로 AWS Management Console에 로그인합니다. 그 다음 [https://console.aws.amazon.com/bedrock](https://console.aws.amazon.com/bedrock)에서 Amazon Bedrock 콘솔을 엽니다.
1. 추론 프로파일을 사용하려는 기능의 페이지로 이동합니다. 예를 들어 왼쪽 탐색 창에서 **채팅/텍스트 플레이그라운드**를 선택합니다.
1. **모델 선택**을 선택한 다음 모델을 선택합니다. 예를 들어 **Amazon**을 선택한 다음 **Nova Premier**를 선택합니다.
1. **추론**의 드롭다운 메뉴에서 **추론 프로파일**을 선택합니다.
1. 사용할 추론 프로파일(예: **미국 Nova Premier**)을 선택한 다음 **적용**을 선택합니다.
------
#### [ API ]
다음 API 작업을 사용하여 포함된 모든 리전에서 추론을 실행할 때 추론 프로파일을 사용할 수 있습니다.
+ [InvokeModel](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html) 또는 [InvokeModelWithResponseStream](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModelWithResponseStream.html) - 모델 간접 호출에서 추론 프로파일을 사용하려면 [InvokeModel을 사용하여 단일 프롬프트 제출](inference-invoke.md)의 단계를 따르고 `modelId` 필드에 추론 프로파일의 Amazon 리소스 이름(ARN)을 지정합니다. 예제는 [모델 간접 호출에서 추론 프로파일 사용](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html#API_runtime_InvokeModel_Example_5)을 참조하세요.
+ [Converse](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html) 또는 [ConverseStream](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_ConverseStream.html) - Converse API를 사용하여 모델 간접 호출에 추론 프로파일을 사용하려면 [Converse API 작업과 대화 수행](conversation-inference.md)의 단계를 따르고 `modelId` 필드에 추론 프로파일의 ARN을 지정합니다. 예제는 [대화에서 추론 프로파일 사용](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html#API_runtime_Converse_Example_5)을 참조하세요.
+ [https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent-runtime_RetrieveAndGenerate.html](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent-runtime_RetrieveAndGenerate.html) - 지식 기반 쿼리 결과에서 응답을 생성할 때 추론 프로파일을 사용하려면 [쿼리 및 응답을 사용하여 지식 기반 테스트](knowledge-base-test.md)의 API 탭에 있는 단계를 따르고 `modelArn` 필드에 추론 프로파일의 ARN을 지정합니다. 자세한 내용은 [추론 프로파일을 사용하여 응답 생성](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent-runtime_RetrieveAndGenerate.html#API_agent-runtime_RetrieveAndGenerate_Example_3)을 참조하세요.
+ [CreateEvaluationJob](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateEvaluationJob.html) - 모델 평가를 위해 추론 프로파일을 제출하려면 [Amazon Bedrock에서 자동 모델 평가 작업 시작](model-evaluation-jobs-management-create.md)의 API 탭에 있는 단계를 따르고 `modelIdentifier` 필드에 추론 프로파일의 ARN을 지정합니다.
+ [CreatePrompt](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent_CreatePrompt.html) - 프롬프트 관리에서 만든 프롬프트에 대한 응답을 생성할 때 추론 프로파일을 사용하려면 [프롬프트 관리를 사용하여 프롬프트 생성](prompt-management-create.md)의 API 탭에 있는 단계를 따르고 `modelId` 필드에 추론 프로파일의 ARN을 지정합니다.
+ [CreateFlow](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent_CreateFlow.html) - 흐름의 프롬프트 노드 내에서 정의하는 인라인 프롬프트에 대한 응답을 생성할 때 추론 프로파일을 사용하려면 [Amazon Bedrock에서 흐름 생성 및 설계](flows-create.md)의 API 탭에 있는 단계를 따릅니다. [프롬프트 노드](flows-nodes.md#flows-nodes-prompt)를 정의할 때 `modelId` 필드에 추론 프로파일의 ARN을 지정합니다.
+ [CreateDataSource](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent_CreateDataSource.html) - 데이터 소스에서 비텍스트 정보를 구문 분석할 때 추론 프로파일을 사용하려면 [데이터 소스에 대한 구문 분석 옵션](kb-advanced-parsing.md)의 API 섹션에 있는 단계를 따르고 `modelArn` 필드에 추론 프로파일의 ARN을 지정합니다.
**참고**
교차 리전(시스템 정의) 추론 프로파일을 사용하는 경우 추론 프로파일의 ARN 또는 ID를 사용할 수 있습니다.
------
# 애플리케이션 추론 프로파일 삭제
애플리케이션 추론 프로파일이 더 이상 필요하지 않으면 해당 프로파일을 삭제할 수 있습니다. Amazon Bedrock API를 통해서만 추론 프로파일을 삭제할 수 있습니다.
추론 프로파일을 삭제하려면 [Amazon Bedrock 컨트롤 플레인 엔드포인트](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp)로 [DeleteInferenceProfile](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_DeleteInferenceProfiles.html) 요청을 보내고 `inferenceProflieIdentifier` 필드에서 삭제할 추론 프로파일의 Amazon 리소스 이름(ARN) 또는 ID를 지정합니다.
# Amazon Bedrock에서 프로비저닝된 처리량으로 모델 간접 호출 용량 증대
**처리량**은 모델이 처리하고 반환하는 입력 및 출력의 수와 속도를 나타냅니다. **프로비저닝된 처리량**을 구매하여 고정 비용으로 모델에 더 높은 수준의 처리량을 프로비저닝할 수 있습니다. 모델을 사용자 지정한 경우 프로비저닝된 처리량을 구매해야 모델을 사용할 수 있습니다.
구매한 프로비저닝된 처리량에 대해서는 시간당 요금이 청구됩니다. 요금에 대한 자세한 내용은 [Amazon Bedrock 요금](https://aws.amazon.com/bedrock/pricing)을 참조하세요. 시간당 요금은 다음 요인에 따라 달라집니다.
1. 선택한 모델(사용자 지정 모델의 경우 요금은 사용자 지정했던 기본 모델과 동일함)
1. 프로비저닝된 처리량에 대해 지정하는 모델 단위(MU) 수. MU는 지정된 모델에 대해 특정 수준의 처리량을 제공합니다. MU의 처리량 수준은 다음 항목을 지정합니다.
+ MU가 1분 동안 모든 요청 전체에서 처리할 수 있는 입력 토큰 수.
+ MU가 1분 동안 모든 요청 전체에서 생성할 수 있는 출력 토큰 수.
**참고**
MU가 지정하는 항목, MU당 요금 및 한도 증가를 요청하는 방법에 대한 자세한 내용은 관리자에게 문의하세요 AWS 계정 .
1. 프로비저닝된 처리량을 유지하기 위해 약정하는 기간. 약정 기간이 길수록 시간당 요금이 더 할인됩니다. 다음 약정 수준 중에서 선택할 수 있습니다.
+ 약정 없음 - 언제든지 프로비저닝된 처리량을 삭제할 수 있습니다.
+ 1개월 - 1개월 약정 기간이 끝날 때까지 프로비저닝된 처리량을 삭제할 수 없습니다.
+ 6개월 - 6개월 약정 기간이 끝날 때까지 프로비저닝된 처리량을 삭제할 수 없습니다.
**참고**
결제는 프로비저닝된 처리량을 삭제할 때까지 계속됩니다.
다음 단계에서는 프로비저닝된 처리량을 설정하고 사용하는 프로세스를 간략하게 설명합니다.
1. 프로비저닝된 처리량에 대해 구매할 MU 수와 프로비저닝된 처리량을 사용하여 커밋할 시간을 결정합니다.
1. 기본 모델 또는 사용자 지정 모델을 위한 프로비저닝된 처리량을 구매합니다.
1. 프로비저닝된 모델을 만든 후 이를 사용하여 [모델 추론을 실행](inference.md)할 수 있습니다.
**Topics**
+ [프로비저닝된 처리량에 지원되는 리전 및 모델](prov-thru-supported.md)
+ [프로비저닝된 처리량의 사전 조건](prov-thru-prereq.md)
+ [Amazon Bedrock 모델에 대한 프로비저닝된 처리량 구매](prov-thru-purchase.md)
+ [프로비저닝된 처리량에 대한 정보 확인](prov-thru-info.md)
+ [프로비저닝된 처리량 수정](prov-thru-edit.md)
+ [프로비저닝된 처리량을 Amazon Bedrock 리소스와 함께 사용](prov-thru-use.md)
+ [프로비저닝된 처리량 삭제 또는 자동 갱신 취소](prov-thru-delete.md)
+ [프로비저닝된 처리량의 코드 예제](prov-thru-code-examples.md)
# 프로비저닝된 처리량에 지원되는 리전 및 모델
Amazon Bedrock API를 통해 프로비저닝된 처리량을 구매하는 경우, 모델 ID에 대한 Amazon Bedrock FM의 컨텍스트 변형을 지정해야 합니다.
**참고**
프로비저닝된 처리량은 커밋 없는 구매가 있는 사용자 지정 모델에 대해서만 AWS GovCloud(미국 서부)에서 지원됩니다. 해당하는 프로비저닝된 처리량을 구매할 때 사용자 지정 모델의 ID를 사용합니다.
다음 표에는 프로비저닝된 처리량을 구매할 수 있는 모델, 프로비저닝된 처리량을 구매할 때 사용할 모델 ID, 모델의 프로비저닝된 처리량을 구매할 수 AWS 리전 있는가 나와 있습니다.
| 제공업체 | 모델 | 모델 ID | 단일 리전 모델 지원 |
| --- | --- | --- | --- |
| Amazon | Nova 2 Lite | amazon.nova-2-lite-v1:0:256k | us-east-1 |
| Amazon | Nova Canvas | amazon.nova-canvas-v1:0 | us-east-1 |
| Amazon | Nova Lite | amazon.nova-lite-v1:0:24k | us-east-1 |
| Amazon | Nova Lite | amazon.nova-lite-v1:0:300k | us-east-1 |
| Amazon | Nova Micro | amazon.nova-micro-v1:0:128k | us-east-1 |
| Amazon | Nova Micro | amazon.nova-micro-v1:0:24k | us-east-1 |
| Amazon | Nova Pro | amazon.nova-pro-v1:0:24k | us-east-1 |
| Amazon | Nova Pro | amazon.nova-pro-v1:0:300k | us-east-1 |
| Amazon | Titan Embeddings G1 - Text | amazon.titan-embed-text-v1:2:8k | us-east-1 us-west-2 |
| Amazon | Titan Image Generator G1 v2 | amazon.titan-image-generator-v2:0 | us-east-1 us-west-2 |
| Amazon | Titan Multimodal Embeddings G1 | amazon.titan-embbed-image-v 1:0 | ap-south-1 ap-southeast-2 ca-central-1 eu-central-1 eu-west-1 eu-west-2 eu-west-3 sa-east-1 us-east-1 us-west-2 |
| Anthropic | Claude | anthropic.claude-v2:0:100k | us-east-1 us-west-2 |
| Anthropic | Claude | anthropic.claude-v2:0:18k | us-east-1 us-west-2 |
| Anthropic | Claude | anthropic.claude-v2:1:18k | eu-central-1 us-east-1 us-west-2 |
| Anthropic | Claude | anthropic.claude-v2:1:200k | eu-central-1 us-east-1 us-west-2 |
| Anthropic | Claude 3 Haiku | anthropic.claude-3-haiku-20240307-v1:0:200k | ap-southeast-2 eu-west-3 us-east-1 us-west-2 |
| Anthropic | Claude 3 Haiku | anthropic.claude-3-haiku-20240307-v1:0:48k | ap-south-1 ap-southeast-2 eu-west-1 eu-west-3 us-east-1 us-west-2 |
| Anthropic | Claude 3 Sonnet | anthropic.claude-3-sonnet-20240229-v1:0:200k | ap-southeast-2 eu-west-1 eu-west-3 us-east-1 us-west-2 |
| Anthropic | Claude 3 Sonnet | anthropic.claude-3-sonnet-20240229-v1:0:28k | ap-south-1 ap-southeast-2 eu-west-1 eu-west-3 us-east-1 us-west-2 |
| Anthropic | claude-3.5-sonnet | anthropic.claude-3-5-sonnet-20240620-v1:0:18k | us-west-2 |
| Anthropic | claude-3.5-sonnet | anthropic.claude-3-5-sonnet-20240620-v1:0:200k | us-west-2 |
| Anthropic | claude-3.5-sonnet | anthropic.claude-3-5-sonnet-20240620-v1:0:51k | us-west-2 |
| Anthropic | Claude 3.5 Sonnet v2 | anthropic.claude-3-5-sonnet-20241022-v2:0:18k | us-west-2 |
| Anthropic | Claude 3.5 Sonnet v2 | anthropic.claude-3-5-sonnet-20241022-v2:0:200k | us-west-2 |
| Anthropic | Claude 3.5 Sonnet v2 | anthropic.claude-3-5-sonnet-20241022-v2:0:51k | us-west-2 |
| Anthropic | Claude Instant | anthropic.claude-instant-v1:2:100k | us-east-1 us-west-2 |
| Cohere | Embed English | cohere.embed-english-v3:0:512 | ca-central-1 eu-west-2 eu-west-3 sa-east-1 us-east-1 us-west-2 |
| Cohere | Embed Multilingual | cohere.embed-multilingual-v3:0:512 | ca-central-1 eu-west-2 eu-west-3 sa-east-1 us-east-1 us-west-2 |
| Meta | Llama 3.1 70B Instruct | meta.llama3-1-70b-instruct-v1:0:128k | us-west-2 |
| Meta | Llama 3.1 8B 지침 | meta.llama3-1-8b-instruct-v1:0:128k | us-west-2 |
| Meta | Llama 3.2 11B 지침 | meta.llama3-2-11b-instruct-v1:0:128k | us-west-2 |
| Meta | Llama 3.2 1B 지침 | meta.llama3-2-1b-instruct-v1:0:128k | us-west-2 |
| Meta | Llama 3.2 3B 지침 | meta.llama3-2-3b-instruct-v1:0:128k | us-west-2 |
| Meta | Llama 3.2 90B 지침 | meta.llama3-2-90b-instruct-v1:0:128k | us-west-2 |
**참고**
다음 모델은 기본 모델에 대한 약정 없는 구매를 지원하지 않습니다.
Titan Image Generator G1 V1
Titan Image Generator G1 V2
# 프로비저닝된 처리량의 사전 조건
프로비저닝된 처리량을 구매하고 관리하려면 먼저 다음 사전 조건을 충족해야 합니다.
1. 프로비저닝된 처리량을 구매하려는 [모델에 대한 액세스를 요청합니다](model-access.md). 액세스 권한이 부여되면 기본 모델 및 기본 모델에서 사용자 지정된 모든 모델에 대해 프로비저닝된 처리량을 구매할 수 있습니다.
1. IAM 역할이 프로비저닝된 처리량 API 작업에 액세스할 수 있는지 확인합니다. 역할에 [AmazonBedrockFullAccess](security-iam-awsmanpol.md#security-iam-awsmanpol-AmazonBedrockFullAccess)AWS 관리형 정책이 연결되어 있는 경우이 단계를 건너뛸 수 있습니다. 그렇지 않으면 다음을 수행하세요.
1. [IAM 정책 생성](https://docs.aws.amazon.com/IAM/latest/UserGuide/access_policies_create.html)의 단계에 따라 다음 정책을 만듭니다. 그러면 역할이 모든 파운데이션 모델 및 사용자 지정 모델에 대해 프로비저닝된 처리량을 만들 수 있습니다.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "PermissionsForProvisionedThroughput",
"Effect": "Allow",
"Action": [
"bedrock:GetFoundationModel",
"bedrock:ListFoundationModels",
"bedrock:GetCustomModel",
"bedrock:ListCustomModels",
"bedrock:InvokeModel",
"bedrock:InvokeModelWithResponseStream",
"bedrock:ListTagsForResource",
"bedrock:UntagResource",
"bedrock:TagResource",
"bedrock:CreateProvisionedModelThroughput",
"bedrock:GetProvisionedModelThroughput",
"bedrock:ListProvisionedModelThroughputs",
"bedrock:UpdateProvisionedModelThroughput",
"bedrock:DeleteProvisionedModelThroughput"
],
"Resource": "*"
}
]
}
```
------
**참고**
리전 간 추론과 함께 프로비저닝된 처리량을 사용하는 경우 추가 권한이 필요할 수 있습니다. 자세한 내용은 [교차 리전 추론을 통한 처리량 증대](cross-region-inference.md) 섹션을 참조하세요.
(선택 사항) 다음과 같은 방법으로 역할의 액세스를 제한할 수 있습니다.
+ 역할이 수행할 수 있는 API 작업을 제한하려면 액세스를 허용하려는 [API 작업](https://docs.aws.amazon.com/service-authorization/latest/reference/list_amazonbedrock.html#amazonbedrock-actions-as-permissions)만 포함하도록 `Action` 필드의 목록을 수정합니다.
+ 프로비저닝된 모델을 만든 후 액세스를 허용하려는 [프로비저닝된 모델](https://docs.aws.amazon.com/service-authorization/latest/reference/list_amazonbedrock.html#amazonbedrock-resources-for-iam-policies)만 포함하도록 `Resource` 목록을 수정하면 프로비저닝된 모델을 사용해 API 요청을 수행하는 역할의 기능을 제한할 수 있습니다. 예제는 [사용자가 프로비저닝된 모델을 간접 호출하도록 허용](security_iam_id-based-policy-examples.md#security_iam_id-based-policy-examples-perform-actions-pt) 섹션을 참조하세요.
+ 특정 파운데이션 모델 또는 사용자 지정 모델에서 프로비저닝된 모델을 만드는 역할의 기능을 제한하려면 액세스를 허용하려는 [파운데이션 모델 및 사용자 지정 모델](https://docs.aws.amazon.com/service-authorization/latest/reference/list_amazonbedrock.html#amazonbedrock-resources-for-iam-policies)만 포함하도록 `Resource` 목록을 수정합니다.
1. [IAM 자격 증명 권한 추가 및 제거](https://docs.aws.amazon.com/IAM/latest/UserGuide/access_policies_manage-attach-detach.html)의 단계에 따라 역할에 정책을 연결하여 역할 권한을 부여합니다.
1. 고객 관리형 AWS KMS키로 암호화된 사용자 지정 모델에 대해 프로비저닝된 처리량을 구매하는 경우 IAM 역할에 키를 해독할 수 있는 권한이 있어야 합니다. [고객 관리형 키를 만드는 방법과 키 정책을 연결하는 방법](encryption-custom-job.md#encryption-key-policy)에서 템플릿을 사용할 수 있습니다. 최소 권한의 경우 *사용자 지정 모델 사용자를 위한 권한* 정책 문만 사용할 수 있습니다.
# Amazon Bedrock 모델에 대한 프로비저닝된 처리량 구매
Amazon Bedrock은 토큰별 및 모델 단위별 두 가지 유형의 프로비저닝된 처리량을 제공합니다. 구매하려는 프로비저닝된 처리량의 유형은 다음 지침을 참조하세요.
두 유형의 프로비저닝된 처리량 간의 차이점에 대해 자세히 알아보려면 섹션을 참조하세요[Amazon Bedrock에서 프로비저닝된 처리량으로 모델 간접 호출 용량 증대](prov-throughput.md).
## 모델 단위별 프로비저닝된 처리량
모델에 대해 모델 단위별로 프로비저닝된 처리량을 구매할 때 모델에 대한 커밋 수준과 할당할 모델 단위(MUs) 수를 지정합니다. MU 할당량은 AWS 일반 참조의 [Amazon Bedrock Viewing service quotas](https://docs.aws.amazon.com/general/latest/gr/bedrock.html)를 참조하세요. 프로비저닝된 처리량(약정 포함 또는 미포함)을 구매하려면 먼저 [AWS지원 센터를](https://console.aws.amazon.com/support/home#/case/create?issueType=service-limit-increase) 방문하여 계정이 프로비저닝된 처리량 간에 분산되도록 MUs를 요청해야 합니다. 요청이 부여되면 프로비저닝된 처리량을 구매할 수 있습니다.
**참고**
프로비저닝된 처리량을 구매한 후 사용자 지정 모델과 연결된 경우 다음 옵션 중 하나를 지정하여 모델을 변경할 수 있습니다.
사용자 지정 모델을 사용자 지정한 기본 모델
사용자 지정 모델과 동일한 기본 모델에서 사용자 지정된 다른 사용자 지정 모델
사용자 지정 모델과 연결된 프로비저닝된 처리량에 대해서만 연결된 모델을 변경할 수 있습니다.
모델에 대해 프로비저닝된 처리량을 구매하는 방법을 알아보려면 원하는 방법의 탭을 선택한 다음 다음 단계를 따릅니다.
------
#### [ Console ]
1. Amazon Bedrock 콘솔을 사용할 권한이 있는 IAM 자격 증명AWS Management Console으로에 로그인합니다. 그 다음 [https://console.aws.amazon.com/bedrock](https://console.aws.amazon.com/bedrock)에서 Amazon Bedrock 콘솔을 엽니다.
1. 왼쪽 탐색 창에서 **프로비저닝된 처리량**을 선택합니다.
1. **프로비저닝된 처리량** 섹션에서 **프로비저닝된 처리량 구매**를 선택합니다.
1. **프로비저닝된 처리량 세부 정보** 섹션에서 다음을 수행합니다.
1. **프로비저닝된 처리량 이름** 필드에 프로비저닝된 처리량의 이름을 입력합니다.
1. **모델 선택**에서 기본 모델 제공업체 또는 사용자 지정 모델 카테고리를 선택합니다. 그런 다음 처리량을 프로비저닝할 모델을 선택합니다.
**참고**
약정 없이 프로비저닝된 처리량을 구매할 수 있는 기본 모델을 보려면 지원되는 모델 설명서를 참조하세요.
AWS GovCloud (US)리전에서는 커밋 없이 사용자 지정 모델의 프로비저닝된 처리량만 구매할 수 있습니다.
1. (선택 사항) 프로비저닝된 처리량에 태그를 연결하려면 **태그** 섹션을 확장하고 **새 태그 추가**를 선택합니다. 자세한 내용은 [Amazon Bedrock 리소스 태그 지정](tagging.md) 단원을 참조하십시오.
1. **프로비저닝 모드에서** **모델 단위별**을 선택합니다.
1. **약정 기간 및 모델 단위** 섹션에서 다음을 수행합니다.
1. **약정 기간 선택** 섹션에서 프로비저닝된 처리량을 사용하기로 약정할 기간을 선택합니다.
1. **모델 단위** 필드에 원하는 모델 단위 수(MU)를 입력합니다. 약정 포함으로 모델을 프로비저닝하는 경우 먼저 [AWS 지원 센터를](https://console.aws.amazon.com/support/home#/case/create?issueType=service-limit-increase) 방문하여 구매할 수 있는 MU 수를 늘려 달라고 요청해야 합니다.
1. **프로비저닝된 처리량 구매**를 선택합니다.
1. 표시되는 메모를 검토하고 확인란을 선택하여 약정 기간과 요금을 확인합니다. 그런 다음, **구매 확인**을 선택합니다.
1. 콘솔에 **프로비저닝된 처리량** 개요 페이지가 표시됩니다. 프로비저닝된 처리량 테이블의 프로비저닝된 처리량 **상태**가 **생성 중**으로 바뀝니다. 프로비저닝된 처리량 생성이 완료되면 **상태**가 **서비스 중**으로 바뀝니다. 업데이트가 실패하면 **상태**가 **실패**로 바뀝니다.
------
#### [ API ]
프로비저닝된 처리량을 구매하려면 [Amazon Bedrock 컨트롤 플레인 엔드포인트](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp)를 사용하여 [CreateProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateProvisionedModelThroughput.html) 요청을 전송합니다.
요청 본문의 내용과 모델 단위별로 프로비저닝된 처리량을 생성하기 위해 제공해야 하는 파라미터에 대한 자세한 내용은 *Amazon Bedrock API* 참조의 [CreateProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateProvisionedModelThroughput.html)을 참조하세요.
**참고**
약정 없이 프로비저닝된 처리량을 구매할 수 있는 기본 모델을 보려면 지원되는 모델 설명서를 참조하세요.
AWS GovCloud (US)리전에서는 커밋 없이 사용자 지정 모델의 프로비저닝된 처리량만 구매할 수 있습니다.
응답은 [모델 추론](inference.md)에서 `modelId`로 사용할 수 있는 `provisionedModelArn`을 반환합니다. 프로비저닝된 처리량을 사용할 준비가 되었는지 확인하려면 [GetProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_GetProvisionedModelThroughput.html) 요청을 전송하고 상태가 `InService`인지 확인합니다. 업데이트가 실패하면 상태가 `Failed`가 되고 [GetProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_GetProvisionedModelThroughput.html) 응답에 `failureMessage`가 포함됩니다.
[코드 예시 보기](prov-thru-code-examples.md)
------
# 프로비저닝된 처리량에 대한 정보 확인
구매한 프로비저닝된 처리량에 대한 정보를 보는 방법을 알아보려면 원하는 방법의 탭을 선택한 다음 다음 단계를 따릅니다.
------
#### [ Console ]
**프로비저닝된 처리량에 대한 정보를 확인하는 방법**
1. Amazon Bedrock 콘솔을 사용할 권한이 있는 IAM 자격 증명 AWS Management Console 으로에 로그인합니다. 그런 다음 [https://console.aws.amazon.com/bedrock](https://console.aws.amazon.com/bedrock) Amazon Bedrock 콘솔을 엽니다.
1. 왼쪽 탐색 창에서 **프로비저닝된 처리량**을 선택합니다.
1. **프로비저닝된 처리량** 섹션에서 프로비저닝된 처리량을 선택합니다.
1. **프로비저닝된 처리량 개요** 섹션에서 프로비저닝된 처리량에 대한 세부 정보를 확인하고 **태그** 섹션에서 프로비저닝된 처리량과 연결된 태그를 확인합니다.
------
#### [ API ]
특정 프로비저닝된 처리량에 대한 정보를 검색하려면 [Amazon Bedrock 컨트롤 플레인 엔드포인트](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp)를 사용하여 [GetProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_GetProvisionedModelThroughput.html) 요청을 보냅니다. 프로비저닝된 처리량의 이름 또는 ARN을 `provisionedModelId`로 지정합니다.
계정의 모든 프로비저닝된 처리량에 대한 정보를 나열하려면 [Amazon Bedrock 컨트롤 플레인 엔드포인트](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp)를 사용하여 [ListProvisionedModelThroughputs](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ListProvisionedModelThroughputs.html) 요청을 전송합니다. 필요한 경우 다음 파라미터를 지정하여 반환되는 결과 수를 제어할 수 있습니다.
****
| 필드 | 간단한 설명 |
| --- | --- |
| maxResults | 응답으로 반환할 최대 결과 수입니다. |
| nextToken | maxResults 필드에 지정한 수보다 많은 결과가 있는 경우 응답은 nextToken 값을 반환합니다. 다음 결과 배치를 보려면 다른 요청에서 nextToken 값을 보냅니다. |
결과를 정렬하고 필터링하도록 지정할 수 있는 기타 선택적 파라미터는 [ListProvisionedModelThroughputs](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ListProvisionedModelThroughputs.html)를 참조하세요.
프로비저닝된 처리량에 대한 모든 태그를 나열하려면 [Amazon Bedrock 컨트롤 플레인 엔드포인트](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp)를 사용하여 [ListTagsForResource](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ListTagsForResource.html) 요청을 보내고 프로비저닝된 처리량의 Amazon 리소스 이름(ARN)을 포함합니다.
[코드 예시 보기](prov-thru-code-examples.md)
------
# 프로비저닝된 처리량 수정
구매 후 편집할 수 있는 프로비저닝된 처리량의 측면은 프로비저닝 모드에 따라 다릅니다. 모델 단위별 프로비저닝된 처리량의 경우 프로비저닝된 처리량의 이름과 태그만 편집할 수 있으며, 사용자 지정 모델인 경우 모델만 편집할 수 있습니다.
토큰별 프로비저닝된 처리량을 사용하면 프로비저닝된 처리량의 분당 입력 및 출력 토큰 수를 수정하는 등 더 많은 옵션이 있습니다.
수정하려는 프로비저닝된 처리량 유형을 편집하는 방법에 대해 자세히 알아보려면 다음 섹션을 참조하세요.
## 모델 단위별로 프로비저닝된 처리량 수정
기존 프로비저닝된 처리량의 이름 또는 태그를 편집할 수 있습니다.
프로비저닝된 처리량과 연결된 모델을 변경하는 데는 다음 제한 사항이 적용됩니다.
+ 기본 모델과 연결된 프로비저닝된 처리량의 모델은 변경할 수 없습니다.
+ 프로비저닝된 처리량이 사용자 지정 모델과 연결된 경우, 사용자 지정된 기본 모델 또는 동일한 기본 모델에서 파생된 다른 사용자 지정 모델로 연결을 변경할 수 있습니다.
프로비저닝된 처리량의 업데이트 중에 최종 고객의 지속적인 트래픽을 중단하지 않고도 프로비저닝된 처리량을 사용하여 추론을 실행할 수 있습니다. 프로비저닝된 처리량에 연결된 모델을 변경한 경우, 업데이트가 완전히 배포될 때까지 이전 모델에서 출력을 받을 수 있습니다.
프로비저닝된 처리량을 편집하는 방법을 알아보려면 원하는 방법의 탭을 선택한 다음 다음 단계를 따릅니다.
------
#### [ Console ]
1. Amazon Bedrock 콘솔을 사용할 권한이 있는 IAM 자격 증명AWS Management Console으로에 로그인합니다. 그 다음 [https://console.aws.amazon.com/bedrock](https://console.aws.amazon.com/bedrock)에서 Amazon Bedrock 콘솔을 엽니다.
1. 왼쪽 탐색 창에서 **프로비저닝된 처리량**을 선택합니다.
1. **프로비저닝된 처리량** 섹션에서 프로비저닝된 처리량을 선택합니다.
1. **편집**을 선택합니다. 다음 필드를 편집할 수 있습니다.
+ **프로비저닝된 처리량 이름** - 프로비저닝된 처리량의 이름을 변경합니다.
+ **모델 선택** - 프로비저닝된 처리량에 사용자 지정 모델이 연결되어 있는 경우, 연결된 모델을 변경할 수 있습니다.
1. **태그** 섹션에서 프로비저닝된 처리량에 연결된 태그를 편집할 수 있습니다. 자세한 내용은 [Amazon Bedrock 리소스 태그 지정](tagging.md) 섹션을 참조하세요.
1. **편집 내용 저장**을 선택하여 변경 사항을 저장합니다.
1. 콘솔에 **프로비저닝된 처리량** 개요 페이지가 표시됩니다. 프로비저닝된 처리량 테이블의 프로비저닝된 처리량 **상태**가 **업데이트 중**으로 변경됩니다. 프로비저닝된 처리량 업데이트가 완료되면 **상태**가 **서비스 중**으로 바뀝니다. 업데이트가 실패하면 **상태**가 **실패**로 바뀝니다.
------
#### [ API ]
프로비저닝된 처리량을 편집하려면 [Amazon Bedrock 컨트롤 플레인 엔드포인트](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp)를 사용하여 [UpdateProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_UpdateProvisionedModelThroughput.html) 요청을 전송합니다.
요청 본문과 제공해야 하는 파라미터에 대한 자세한 내용은 Amazon Bedrock API 참조의 [UpdateProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_UpdateProvisionedModelThroughput.html)을 참조하세요. **
작업이 성공하면 응답은 HTTP 200 상태 응답을 반환합니다. 프로비저닝된 처리량을 사용할 준비가 되었는지 확인하려면 [GetProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_GetProvisionedModelThroughput.html) 요청을 전송하고 상태가 `InService`인지 확인합니다. 상태가 `Updating`인 경우 프로비저닝된 처리량을 업데이트하거나 삭제할 수 없습니다. 업데이트가 실패하면 상태가 `Failed`가 되고 [GetProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_GetProvisionedModelThroughput.html) 응답에 `failureMessage`가 포함됩니다.
프로비저닝된 처리량에 태그를 추가하려면 [Amazon Bedrock 컨트롤 플레인 엔드포인트](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp)를 사용하여 [TagResource](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_TagResource.html) 요청을 보내고 프로비저닝된 처리량의 Amazon 리소스 이름(ARN)을 포함합니다. 요청 본문에는 각 태그에 지정한 키-값 페어가 포함된 객체인 `tags` 필드가 포함되어 있습니다.
프로비저닝된 처리량에서 태그를 제거하려면 [Amazon Bedrock 컨트롤 플레인 엔드포인트](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp)를 사용하여 [UntagResource](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_UntagResource.html) 요청을 보내고 프로비저닝된 처리량의 Amazon 리소스 이름(ARN)을 포함합니다. `tagKeys` 요청 파라미터는 제거하려는 태그의 키가 포함된 목록입니다.
[코드 예시 보기](prov-thru-code-examples.md)
------
# 프로비저닝된 처리량을 Amazon Bedrock 리소스와 함께 사용
프로비저닝된 처리량을 구매한 후 다음 기능과 함께 사용할 수 있습니다.
+ **모델 추론** - Amazon Bedrock 콘솔 플레이그라운드에서 프로비저닝된 처리량을 테스트할 수 있습니다. 프로비저닝된 처리량을 배포할 준비가 되면 프로비저닝된 모델을 간접 호출하도록 애플리케이션을 설정합니다. 원하는 방법의 탭을 선택한 후 다음 단계를 따릅니다.
------
#### [ Console ]
**Amazon Bedrock 콘솔 플레이그라운드에서 프로비저닝된 처리량을 사용하는 방법**
1. Amazon Bedrock 콘솔을 사용할 권한이 있는 IAM 자격 증명AWS Management Console으로에 로그인합니다. 그 다음 [https://console.aws.amazon.com/bedrock](https://console.aws.amazon.com/bedrock)에서 Amazon Bedrock 콘솔을 엽니다.
1. 왼쪽 탐색 창에서 사용 사례에 따라 **플레이그라운드**에서 **채팅**, **텍스트** 또는 **이미지**를 선택합니다.
1. **모델 선택**을 선택합니다.
1. **1. 카테고리** 열에서 제공업체 또는 사용자 지정 모델 카테고리를 선택합니다. 그런 다음 **2. 모델** 열에서 프로비저닝된 처리량이 연결된 모델을 선택합니다.
1. **3. 처리량** 열에서 프로비저닝된 처리량을 선택합니다.
1. **적용**을 선택합니다.
Amazon Bedrock 플레이그라운드를 사용하는 방법을 알아보려면 [플레이그라운드를 사용하여 콘솔에서 응답 생성](playgrounds.md) 섹션을 참조하세요.
------
#### [ API ]
프로비저닝된 처리량을 사용하여 추론을 실행하려면 [Amazon Bedrock 런타임 엔드포인트](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-rt)를 사용하여 [InvokeModel](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html), [InvokeModelWithResponseStream](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModelWithResponseStream.html), [Converse](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html) 또는 [ConverseStream](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_ConverseStream.html) 요청을 전송합니다. 프로비저닝된 모델 ARN을 `modelId` 파라미터로 지정합니다. 다양한 모델의 요청 본문에 대한 요구 사항을 보려면 [파운데이션 모델의 추론 요청 파라미터 및 응답 필드](model-parameters.md) 섹션을 참조하세요.
[코드 예시 보기](prov-thru-code-examples.md)
------
+ **프로비저닝된 처리량을 에이전트 별칭과 연결** - 에이전트 별칭을 [생성](agents-deploy.md)하거나 [업데이트](agents-alias-edit.md)할 때 프로비저닝된 처리량을 연결할 수 있습니다. Amazon Bedrock 콘솔에서 별칭을 설정하거나 편집할 때 프로비저닝된 처리량을 선택합니다. Amazon Bedrock API에서 [CreateAgentAlias](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent_CreateAgentAlias.html) 또는 [UpdateAgentAlias](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent_UpdateAgentAlias.html); 요청을 보낼 때 `routingConfiguration`에서 `provisionedThroughput`을 지정합니다.
# 프로비저닝된 처리량 삭제 또는 자동 갱신 취소
프로비저닝된 처리량은 각 약정 기간이 끝나면 자동으로 갱신되어 현재 입력 및 출력 토큰 구성을 유지합니다.
프로비저닝된 처리량을 유지하지 않으려면 삭제하거나 토큰별 프로비저닝된 처리량의 경우 자동 갱신을 취소하여 현재 기간이 종료될 때 갱신되지 않도록 할 수 있습니다.
## 프로비저닝된 처리량 삭제
프로비저닝된 처리량을 삭제하면 구매한 처리량 수준에서 더 이상 모델을 간접 호출할 수 없습니다. 사용자 지정 모델과 연결된 프로비저닝된 처리량을 삭제해도 사용자 지정 모델이 삭제되지 않습니다. 사용자 지정 모델을 삭제하는 방법은 [사용자 지정 모델 삭제](model-customization-delete.md) 섹션을 참조하세요.
**참고**
약정 기간이 완료되기 전에는 약정이 있는 모델 단위별로 프로비저닝된 처리량을 삭제할 수 없습니다.
프로비저닝된 처리량을 삭제하는 방법을 알아보려면 원하는 방법의 탭을 선택한 다음 다음 단계를 따릅니다.
------
#### [ Console ]
1. Amazon Bedrock 콘솔을 사용할 권한이 있는 IAM 자격 증명AWS Management Console으로에 로그인합니다. 그 다음 [https://console.aws.amazon.com/bedrock](https://console.aws.amazon.com/bedrock)에서 Amazon Bedrock 콘솔을 엽니다.
1. 왼쪽 탐색 창에서 **프로비저닝된 처리량**을 선택합니다.
1. **프로비저닝된 처리량** 섹션에서 프로비저닝된 처리량을 선택합니다.
1. **작업** 드롭다운 메뉴에서 **삭제**를 선택합니다.
1. 삭제하면 되돌릴 수 없음을 경고하는 모달 양식이 표시됩니다. 계속 진행하려면 **확인**을 선택합니다.
1. 프로비저닝된 처리량이 즉시 삭제됩니다.
------
#### [ API ]
프로비저닝된 처리량을 삭제하려면 [Amazon Bedrock 컨트롤 플레인 엔드포인트](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp)를 사용하여 [DeleteProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_DeleteProvisionedModelThroughput.html) 요청을 전송합니다. 프로비저닝된 처리량의 이름 또는 ARN을 `provisionedModelId`로 지정합니다. 삭제에 성공하면 응답은 HTTP 200 상태 코드를 반환합니다.
[코드 예시 보기](prov-thru-code-examples.md)
------
## 프로비저닝된 처리량에 대한 자동 갱신 취소
토큰별 프로비저닝된 처리량의 경우 약정 기간이 종료되기 전에 언제든지 자동 갱신을 취소하여 프로비저닝된 처리량이 자동으로 갱신되지 않도록 할 수 있습니다.
자동 갱신을 취소하면 프로비저닝된 처리량은 약정 기간이 끝날 때까지 계속 유지됩니다. 추론을 실행하든 실행하지 않든 현재 기간에 대한 전체 프로비저닝 요금이 계속 청구됩니다.
프로비저닝된 처리량에 대한 자동 갱신을 취소한 후에는 남은 약정 기간 동안 프로비저닝된 처리량을 더 이상 수정할 수 없습니다.
**참고**
취소한 후에는 자동 갱신을 다시 활성화할 수 없습니다. 현재 기간이 만료된 후 프로비저닝된 처리량이 필요한 경우 새 프로비저닝된 처리량을 구매해야 합니다.
토큰별 프로비저닝된 처리량의 자동 갱신을 취소하는 방법을 알아보려면 원하는 방법의 탭을 선택한 다음 다음 단계를 따릅니다.
------
#### [ Console ]
1. Amazon Bedrock 콘솔을 사용할 권한이 있는 IAM 자격 증명AWS Management Console으로에 로그인합니다. 그 다음 [https://console.aws.amazon.com/bedrock](https://console.aws.amazon.com/bedrock)에서 Amazon Bedrock 콘솔을 엽니다.
1. 왼쪽 탐색 창에서 **프로비저닝된 처리량**을 선택합니다.
1. **프로비저닝된 처리량** 섹션에서 프로비저닝된 처리량을 선택합니다.
1. **작업** 드롭다운 메뉴에서 **자동 갱신 취소**를 선택합니다.
1. 콘솔에는이 작업을 취소할 수 없음을 경고하는 모달 양식이 표시됩니다. 계속 진행하려면 **확인**을 선택합니다.
1. 프로비저닝된 처리량은 현재 약정 기간이 끝날 때까지 활성 상태로 유지되며, 그 이후에는 자동으로 삭제됩니다.
------
#### [ API ]
프로비저닝된 처리량에 대한 자동 갱신을 취소하려면 `disableAutoRenew` 파라미터가 로 설정된 [Amazon Bedrock 컨트롤 플레인 엔드포인트](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp)를 사용하여 [UpdateProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_UpdateProvisionedModelThroughput.html) 요청을 보냅니다`true`. 프로비저닝된 처리량은 현재 약정 기간이 끝날 때까지 활성 상태로 유지됩니다.
[코드 예시 보기](prov-thru-code-examples.md)
------
# 프로비저닝된 처리량의 코드 예제
다음 코드 예제에서는 AWS CLI및 Python SDK를 사용하여 프로비저닝된 처리량을 생성하는 방법과 이를 관리하고 호출하는 방법을 보여줍니다. 파운데이션 모델 또는 이미 사용자 지정한 모델에서 프로비저닝된 처리량을 생성할 수 있습니다. 시작하기 전에 다음 사전 조건을 수행합니다.
**사전 조건**
다음 예제에서는 Amazon Nova Lite 모델 ID가 인 모델을 사용합니다`amazon.nova-lite-v1:0:24k`. 아직 하지 않았다면의 단계에 Amazon Nova Lite 따라에 대한 액세스를 요청합니다[SDK 및 CLI를 사용하여 모델 액세스 관리](model-access.md#model-access-modify).
다른 파운데이션 모델 또는 사용자 지정 모델에 대해 프로비저닝된 처리량을 구매하려면 다음을 수행해야 합니다.
1. 다음 중 하나를 수행하여 모델의 ID(파운데이션 모델의 경우), 이름(사용자 지정 모델의 경우) 또는 ARN(둘 중 하나)을 찾습니다.
+ 파운데이션 모델의 프로비저닝된 처리량을 구매하는 경우 다음 방법 중 하나로 프로비저닝을 지원하는 모델의 ID 또는 Amazon 리소스 이름(ARN)을 찾습니다.
+ 테이블에서 값을 조회합니다.
+ [ListFoundationModels](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ListFoundationModels.html) 요청을 보내고 `byInferenceType` 값을 로 지정`PROVISIONED`하여 프로비저닝을 지원하는 모델 목록을 확인합니다. `modelId` 또는 `modelArn` 필드에서 값을 찾습니다.
+ 사용자 지정 모델의 프로비저닝된 처리량을 구매하는 경우 다음 방법 중 하나로 사용자 지정한 모델의 이름 또는 Amazon 리소스 이름(ARN)을 찾습니다.
+ Amazon Bedrock 콘솔의 왼쪽 탐색 창에서 **사용자 지정 모델을** 선택합니다. **모델** 목록에서 사용자 지정 모델의 이름을 찾거나 선택한 다음 모델 **세부 정보에서 모델** **ARN**을 찾습니다.
+ [ListCustomModels](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ListCustomModels.html) 요청을 보내고 응답에서 사용자 지정 모델의 `modelName` 또는 `modelArn` 값을 찾습니다.
1. 아래 예제에서 [InvokeModel](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html) 요청`body`의를에서 찾아 모델 본문의 형식과 일치하도록 수정합니다[파운데이션 모델의 추론 요청 파라미터 및 응답 필드](model-parameters.md).
원하는 방법의 탭을 선택한 후 다음 단계를 따릅니다.
------
#### [ AWS CLI ]
1. 터미널에서 다음 명령을 실행하여 [CreateProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateProvisionedModelThroughput.html) 요청을 전송하여 *MyPT*라는 커밋 없는 프로비저닝된 처리량을 생성합니다.
```
aws bedrock create-provisioned-model-throughput \
--model-units 1 \
--provisioned-model-name MyPT \
--model-id amazon.nova-lite-v1:0:24k
```
1. 응답은 `provisioned-model-arn`을 반환합니다. 생성이 완료될 때까지 잠시 기다립니다. 상태를 확인하려면 다음 명령을 실행`provisioned-model-id`하여 [GetProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_GetProvisionedModelThroughput.html) 요청을 보내고 프로비저닝된 모델의 이름 또는 ARN을 로 제공합니다.
```
aws bedrock get-provisioned-model-throughput \
--provisioned-model-id ${provisioned-model-arn}
```
1. [InvokeModel](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html) 요청을 전송하여 프로비저닝된 모델로 추론을 실행합니다. `CreateProvisionedModelThroughput` 응답에서 반환된 프로비저닝된 모델의 ARN을 로 제공합니다`model-id`. 출력은 현재 폴더에서 *output.txt* 파일에 작성됩니다.
```
aws bedrock-runtime invoke-model \
--model-id ${provisioned-model-arn} \
--body '{
"messages": [{
"role": "user",
"content": [{
"text": "Hello"
}]
}],
"inferenceConfig": {
"temperature":0.7
}
}' \
--cli-binary-format raw-in-base64-out \
output.txt
```
1. 다음 명령을 사용하여 프로비저닝된 처리량을 삭제하려면 [DeleteProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_DeleteProvisionedModelThroughput.html) 요청을 보냅니다. 프로비저닝된 처리량에 대해서 더 이상 요금이 부과되지 않습니다.
```
aws bedrock delete-provisioned-model-throughput
--provisioned-model-id MyPT
```
------
#### [ Python (Boto) ]
다음 코드 조각은 프로비저닝된 처리량을 생성하여 이에 대한 정보를 얻고 프로비저닝된 처리량을 호출하는 과정을 안내합니다.
1. *MyPT*라는 커밋 없는 프로비저닝된 처리량을 생성하고 프로비저닝된 처리량의 ARN을 *provisioned\$1model\$1arn*이라는 변수에 할당하려면 다음 [CreateProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateProvisionedModelThroughput.html) 요청을 보냅니다.
```
import boto3
provisioned_model_name = 'MyPT'
bedrock = boto3.client(service_name='bedrock')
response = bedrock.create_provisioned_model_throughput(
modelUnits=1,
provisionedModelName=provisioned_model_name,
modelId='amazon.nova-lite-v1:0:24k'
)
provisioned_model_arn = response['provisionedModelArn']
```
1. 생성이 완료될 때까지 잠시 기다립니다. 다음 코드 스니펫을 실행하여 상태를 확인할 수 있습니다. 프로비저닝된 처리량의 이름 또는 [CreateProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateProvisionedModelThroughput.html) 응답에서 반환된 ARN을 `provisionedModelId`로 제공할 수 있습니다.
```
bedrock.get_provisioned_model_throughput(provisionedModelId=provisioned_model_name)
```
1. 다음 명령을 사용하고 프로비저닝된 모델의 ARN을 로 사용하여 업데이트된 프로비저닝된 모델을 사용하여 추론을 실행합니다`modelId`.
```
import json
import logging
import boto3
from botocore.exceptions import ClientError
class ImageError(Exception):
"Custom exception for errors returned by the model"
def __init__(self, message):
self.message = message
logger = logging.getLogger(__name__)
logging.basicConfig(level=logging.INFO)
def generate_text(model_id, body):
"""
Generate text using your provisioned custom model.
Args:
model_id (str): The model ID to use.
body (str) : The request body to use.
Returns:
response (json): The response from the model.
"""
logger.info(
"Generating text with your provisioned custom model %s", model_id)
brt = boto3.client(service_name='bedrock-runtime')
accept = "application/json"
content_type = "application/json"
response = brt.invoke_model(
body=body, modelId=model_id, accept=accept, contentType=content_type
)
response_body = json.loads(response.get("body").read())
finish_reason = response_body.get("error")
if finish_reason is not None:
raise ImageError(f"Text generation error. Error is {finish_reason}")
logger.info(
"Successfully generated text with provisioned custom model %s", model_id)
return response_body
def main():
"""
Entrypoint for example.
"""
try:
logging.basicConfig(level=logging.INFO,
format="%(levelname)s: %(message)s")
model_id = provisioned-model-arn
body = json.dumps({
"inputText": "what isAWS?"
})
response_body = generate_text(model_id, body)
print(f"Input token count: {response_body['inputTextTokenCount']}")
for result in response_body['results']:
print(f"Token count: {result['tokenCount']}")
print(f"Output text: {result['outputText']}")
print(f"Completion reason: {result['completionReason']}")
except ClientError as err:
message = err.response["Error"]["Message"]
logger.error("A client error occurred: %s", message)
print("A client error occured: " +
format(message))
except ImageError as err:
logger.error(err.message)
print(err.message)
else:
print(
f"Finished generating text with your provisioned custom model {model_id}.")
if __name__ == "__main__":
main()
```
1. 다음 코드 스니펫을 사용해 프로비저닝된 처리량을 삭제합니다. 프로비저닝된 처리량에 대해서 더 이상 요금이 부과되지 않습니다.
```
bedrock.delete_provisioned_model_throughput(provisionedModelId=provisioned_model_name)
```
------
# Amazon Bedrock의 할당량
AWS 계정 에는 Amazon Bedrock에 대한 이전 제한이라고 하는 기본 할당량이 있습니다. Amazon Bedrock의 서비스 할당량을 보려면 다음 중 하나를 수행합니다.
+ [Viewing service quotas](https://docs.aws.amazon.com/servicequotas/latest/userguide/gs-request-quota.html)의 단계에 따라 서비스로 **Amazon Bedrock**을 선택합니다.
+ AWS 일반 참조의 [Amazon Bedrock 서비스 할당량](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#limits_bedrock)을 참조하세요.
Amazon Bedrock의 모델 추론은 토큰 사용에 대한 할당량으로 제어됩니다. 일부 모델은 더 높은 속도로 토큰을 사용합니다. 이러한 요금과 토큰 사용을 최적화하는 방법에 대한 자세한 내용은 [Amazon Bedrock에서 토큰을 계산하는 방법](quotas-token-burndown.md) 섹션을 참조하세요.
서비스 성능을 유지하고 Amazon Bedrock을 적절하게 사용할 수 있도록, 계정에 할당된 기본 할당량은 지역적 요인, 결제 기록, 사기성 사용 및/또는 [할당량 증가 요청](quotas-increase.md) 승인에 따라 업데이트될 수 있습니다.
**Topics**
+ [Amazon Bedrock에서 토큰을 계산하는 방법](quotas-token-burndown.md)
+ [추론을 실행하기 전에 토큰을 계산하여 토큰 사용량 모니터링](count-tokens.md)
+ [Amazon Bedrock 할당량 증가 요청](quotas-increase.md)
# Amazon Bedrock에서 토큰을 계산하는 방법
모델 추론을 실행할 때 사용하는 Amazon Bedrock 모델에 따라 처리할 수 있는 토큰 수에 대한 할당량이 있습니다. 토큰 할당량과 관련된 다음 용어를 검토합니다.
****
| 용어 | 정의 |
| --- | --- |
| InputTokenCount | 모델에 대한 입력으로 제공된 요청의 토큰 수를 나타내는 CloudWatch Amazon Bedrock 런타임 지표입니다. |
| OutputTokenCount | 요청에 대한 응답으로 모델에서 생성된 토큰 수를 나타내는 CloudWatch Amazon Bedrock 런타임 지표입니다. |
| CacheReadInputTokens | 모델에 의해 재처리되는 대신 캐시에서 성공적으로 검색된 입력 토큰 수를 나타내는 CloudWatch Amazon Bedrock 런타임 지표입니다. [프롬프트 캐싱](prompt-caching.md)을 사용하지 않는 경우 이 값은 0입니다. |
| CacheWriteInputTokens | 캐시에 성공적으로 기록된 입력 토큰 수를 나타내는 CloudWatch Amazon Bedrock 런타임 지표입니다. [프롬프트 캐싱](prompt-caching.md)을 사용하지 않는 경우 이 값은 0입니다. |
| 분당 토큰 수(TPM) | 1분 동안 사용할 수 있는 토큰 수(입력 및 출력 모두 포함)에 대해 AWS 모델 수준에서가 설정한 할당량입니다. |
| 일일 토큰 수(TPD) | 하루에 사용할 수 있는 토큰 수(입력 및 출력 모두 포함)에 대해 AWS 모델 수준에서가 설정한 할당량입니다. 기본적으로 이 값은 TPM x 24 x 60입니다. 그러나 새로운 AWS 계정 는 할당량을 줄였습니다. |
| 분당 요청 수(RPM) | 1분 동안 보낼 수 있는 요청 수에 대해 AWS 모델 수준에서가 설정한 할당량입니다. |
| max\$1tokens | 모델이 생성할 수 있는 최대 출력 토큰 양을 설정하기 위해 요청에 제공하는 파라미터입니다. |
| 소진율 | 입력 및 출력 토큰이 스로틀링 시스템의 토큰 할당량 사용량으로 변환되는 속도입니다. |
Anthropic Claude 모델 버전 3.7 이상의 연소율은 **출력 토큰의 경우 5배**입니다(출력 토큰 1개는 할당량에서 토큰 5개를 사용합니다).
다른 모든 모델의 경우 연소율은 **1:1**입니다(출력 토큰 1개는 할당량에서 토큰 1개를 사용함).
**Topics**
+ [토큰 할당량 관리 이해](#quotas-token-burndown-management)
+ [max\$1tokens 파라미터의 영향 이해](#quotas-token-burndown-max-tokens)
+ [max\$1tokens 파라미터 최적화](#quotas-token-burndown-max-tokens-optimize)
## 토큰 할당량 관리 이해
요청을 하면 토큰이 TPM 및 TPD 할당량에서 공제됩니다. 계산은 다음 단계에서 이루어집니다.
+ **요청 시작 시** - RPM 할당량을 초과하지 않았다고 가정하면 다음 합계가 할당량에서 공제됩니다. 할당량을 초과하면 요청이 제한됩니다.
```
Total input tokens + max_tokens
```
+ **처리 중** - 요청에 사용된 할당량은 생성된 실제 출력 토큰 수를 고려하여 주기적으로 조정됩니다.
+ **요청 종료 시** - 요청에 사용된 총 토큰 수는 다음과 같이 계산되며 사용하지 않은 토큰은 할당량에 보충됩니다.
```
InputTokenCount + CacheWriteInputTokens + (OutputTokenCount x burndown rate)
```
[프롬프트 캐싱](prompt-caching.md)을 사용하지 않으면 `CacheWriteInputTokens`는 0이 됩니다. `CacheReadInputTokens`는 이 계산에 기여하지 않습니다.
**참고**
실제 토큰 사용량에 대해서만 요금이 청구됩니다.
예를 들어 Anthropic Claude Sonnet 4를 사용하고 1,000개의 입력 토큰이 포함된 요청을 전송하고 100개의 토큰에 해당하는 응답을 생성하는 경우:
TPM 및 TPD 할당량에서 **1,500개의 토큰**(1,000 \$1 100 x 5)이 고갈됩니다.
**토큰 1,100개**에 대해서만 요금이 청구됩니다.
## max\$1tokens 파라미터의 영향 이해
`max_tokens` 값은 각 요청 시작 시 할당량에서 공제됩니다. 예상보다 일찍 TPM 할당량에 도달하는 경우 완료 크기에 더 근접하도록 `max_tokens`를 줄이세요.
다음 시나리오에서는 출력 토큰의 소진율이 5배인 모델을 사용하여 완료된 요청에서 할당량 공제가 어떻게 작동했는지에 대한 예를 제공합니다.
### 시나리오 1: 높은 max\$1tokens 값
다음 파라미터를 가정합니다.
+ **InputTokenCount:** 3,000
+ **CacheReadInputTokens:** 4,000
+ **CacheWriteInputTokens:** 1,000
+ **OutputTokenCount:** 1,000
+ **max\$1tokens:** 32,000
다음과 같은 할당량 공제가 이루어집니다.
+ **요청 시 초기 공제:** 40,000(= 3,000 \$1 4,000 \$1 1,000 \$1 32,000)
+ **응답 생성 후 최종 조정 공제:** 9,000(= 3,000 \$1 1,000 \$1 1,000 x 5)
이 시나리오에서는 `max_tokens` 파라미터가 너무 높게 설정되었기 때문에 동시 요청을 줄일 수 있습니다. 이렇게 하면 TPM 할당량 용량에 빠르게 도달할 수 있으므로 요청 동시성, 처리량 및 할당량 사용률이 줄어듭니다.
### 시나리오 2: 최적화된 max\$1tokens 값
다음 파라미터를 가정합니다.
+ **InputTokenCount:** 3,000
+ **CacheReadInputTokens:** 4,000
+ **CacheWriteInputTokens:** 1,000
+ **OutputTokenCount:** 1,000
+ **max\$1tokens:** 1,250
다음과 같은 할당량 공제가 이루어집니다.
+ **요청 시 초기 공제:** 9,250(= 3,000 \$1 4,000 \$1 1,000 \$1 1,250)
+ **응답 생성 후 최종 조정 공제:** 9,000(= 3,000 \$1 1,000 \$1 1,000 x 5)
이 시나리오에서는 초기 공제가 최종 조정 공제보다 약간 높기 때문에 `max_tokens` 파라미터가 최적화되었습니다. 이렇게 하면 요청 동시성, 처리량 및 할당량 사용률을 높이는 데 도움이 되었습니다.
## max\$1tokens 파라미터 최적화
`max_tokens` 파라미터를 최적화하면 할당된 할당량을 효율적으로 활용할 수 있습니다. 이 파라미터에 대한 결정을 알리는 데 도움이 되도록 Amazon Bedrock의 토큰 사용 데이터를 포함하여 서비스에서 지표를 자동으로 수집하는 Amazon CloudWatch를 사용할 수 있습니다. AWS
토큰은 `InputTokenCount` 및 `OutputTokenCount` 런타임 지표에 기록됩니다(자세한 지표는 [Amazon Bedrock 런타임 지표](monitoring.md#runtime-cloudwatch-metrics) 섹션을 참조하세요.
CloudWatch 모니터링을 사용하여 `max_tokens` 파라미터 결정을 알리려면 AWS Management Console에서 다음을 수행합니다.
1. [https://console.aws.amazon.com/cloudwatch](https://console.aws.amazon.com/cloudwatch) Amazon CloudWatch 콘솔에 로그인합니다.
1. 왼쪽 탐색 창에서 **대시보드**를 선택합니다.
1. **자동 대시보드** 탭을 선택합니다.
1. **Bedrock**을 선택합니다.
1. **모델별 토큰 수** 대시보드에서 확장 아이콘을 선택합니다.
1. 지표의 기간 및 범위 파라미터를 선택하여 최대 사용량을 고려합니다.
1. **Sum**이라는 드롭다운 메뉴에서 다른 지표를 선택하여 토큰 사용량을 관찰할 수 있습니다. 이러한 지표를 검토하여 `max_tokens` 값 설정에 대한 결정을 안내합니다.
# 추론을 실행하기 전에 토큰을 계산하여 토큰 사용량 모니터링
모델 추론을 실행하면 입력에서 전송하는 토큰 수가 요청 비용과 분당 및 하루에 사용할 수 있는 토큰 할당량에 영향을 미칩니다. [CountTokens](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_CountTokens.html) API를 사용하면 추론 요청에서 동일한 입력이 모델에 전송된 경우 사용할 토큰 수를 반환하여 파운데이션 모델에 요청을 보내기 전에 토큰 사용량을 추정할 수 있습니다.
**참고**
[CountTokens](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_CountTokens.html) API를 사용해도 요금이 발생하지 않습니다.
토큰 계산은 모델별로 다릅니다. 모델마다 토큰화 전략이 다르기 때문입니다. 이 작업에서 반환되는 토큰 수는 추론을 실행하기 위해 동일한 입력이 모델에 전송된 경우 청구되는 토큰 수와 일치합니다.
`CountTokens` API를 사용하여 다음을 수행할 수 있습니다.
+ 추론 요청을 보내기 전에 비용을 추정합니다.
+ 토큰 제한에 맞게 프롬프트를 최적화합니다.
+ 애플리케이션에서 토큰 사용을 계획합니다.
**Topics**
+ [토큰 계산에 지원되는 모델 및 리전](#count-tokens-supported)
+ [요청의 토큰 수 계산](#count-tokens-use)
+ [예제 시도](#count-tokens-example)
## 토큰 계산에 지원되는 모델 및 리전
다음 표에는 토큰 계산에 대한 파운데이션 모델 지원이 나와 있습니다.
| 제공업체 | 모델 | 모델 ID | 단일 리전 모델 지원 |
| --- | --- | --- | --- |
| Anthropic | Claude 3.5 Haiku | anthropic.claude-3-5-haiku-20241022-v1:0 | us-west-2 |
| Anthropic | claude-3.5-sonnet | anthropic.claude-3-5-sonnet-20240620-v1:0 | ap-northeast-1 ap-southeast-1 eu-central-1 eu-central-2 us-east-1 us-west-2 |
| Anthropic | Claude 3.5 Sonnet v2 | anthropic.claude-3-5-sonnet-20241022-v2:0 | ap-southeast-2 us-west-2 |
| Anthropic | Claude 3.7 Sonnet | anthropic.claude-3-7-sonnet-20250219-v1:0 | eu-west-2 |
| Anthropic | Claude Opus 4 | anthropic.claude-opus-4-20250514-v1:0 | |
| Anthropic | Claude Sonnet 4 | anthropic.claude-sonnet-4-20250514-v1:0 | |
## 요청의 토큰 수 계산
추론 요청의 입력 토큰 수를 계산하려면 [Amazon Bedrock 런타임 엔드포인트](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-rt)를 사용하여 [CountTokens](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_CountTokens.html) 요청을 보냅니다. 헤더에 모델을 지정하고 `body` 필드에 대한 토큰을 계산할 입력을 지정합니다. `body` 필드 값은 [InvokeModel](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html) 또는 [Converse](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html) 요청에 대한 입력 토큰을 계산하는지 여부에 따라 달라집니다.
+ `InvokeModel` 요청의 경우 `body`의 형식은 지정한 모델에 따라 형식이 달라지는 JSON 객체를 나타내는 문자열입니다.
+ `Converse` 요청의 경우 `body`의 형식은 대화에 포함된 `messages` 및 `system` 프롬프트를 지정하는 JSON 객체입니다.
## 예제 시도
이 섹션의 예제는 Anthropic Claude 3 Haiku를 사용하여 `InvokeModel` 및 `Converse` 요청에 대한 토큰을 계산할 수 있도록 합니다.
**사전 조건**
+ 를 다운로드했으며 자격 증명AWS SDK for Python (Boto3)과 기본 AWS리전이 자동으로 인식되도록 구성이 설정되어 있습니다.
+ IAM 자격 증명에는 다음 작업에 대한 권한이 있습니다(자세한 내용은 [Amazon Bedrock에 사용되는 작업, 리소스 및 조건 키](https://docs.aws.amazon.com/service-authorization/latest/reference/list_amazonbedrock.html) 참조).
+ bedrock:CountTokens – `CountTokens` 사용을 허용합니다.
+ bedrock:InvokeModel – `InvokeModel` 및 `Converse` 사용을 허용합니다. 최소한 *arn:\$1\$1Partition\$1:bedrock:\$1\$1Region\$1::foundation-model/anthropic.claude-3-haiku-20240307-v1:0*으로 범위를 지정해야 합니다.
[InvokeModel](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html) 요청에 대한 토큰 수 계산을 시도하려면 다음 Python 코드를 실행합니다.
```
import boto3
import json
bedrock_runtime = boto3.client("bedrock-runtime")
input_to_count = json.dumps({
"anthropic_version": "bedrock-2023-05-31",
"max_tokens": 500,
"messages": [
{
"role": "user",
"content": "What is the capital of France?"
}
]
})
response = bedrock_runtime.count_tokens(
modelId="anthropic.claude-3-5-haiku-20241022-v1:0",
input={
"invokeModel": {
"body": input_to_count
}
}
)
print(response["inputTokens"])
```
[Converse](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html) 요청에 대한 토큰 수 계산을 시도하려면 다음 Python 코드를 실행합니다.
```
import boto3
import json
bedrock_runtime = boto3.client("bedrock-runtime")
input_to_count = {
"messages": [
{
"role": "user",
"content": [
{
"text": "What is the capital of France?"
}
]
},
{
"role": "assistant",
"content": [
{
"text": "The capital of France is Paris."
}
]
},
{
"role": "user",
"content": [
{
"text": "What is its population?"
}
]
}
],
"system": [
{
"text": "You're an expert in geography."
}
]
}
response = bedrock_runtime.count_tokens(
modelId="anthropic.claude-3-5-haiku-20241022-v1:0",
input={
"converse": input_to_count
}
)
print(response["inputTokens"])
```
# Amazon Bedrock 할당량 증가 요청
계정에 대한 할당량 증가를 요청하는 단계는 [Amazon Bedrock 서비스 할당량](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#limits_bedrock)에 있는 할당량 테이블의 **조정 가능** 열에 있는 값에 따라 달라집니다.
+ 할당량이 **예**로 표시된 경우 Service Quotas 사용 설명서의 [할당량 증가 요청](https://docs.aws.amazon.com/servicequotas/latest/userguide/request-quota-increase.html) 단계에 따라 할당량을 조정할 수 있습니다.
+ 모든 모델에 대해 다음 할당량에 대한 증가를 함께 요청할 수 없습니다.
+ *\$1\$1model\$1*에 대한 분당 교차 리전 InvokeModel 토큰
+ *\$1\$1model\$1*에 대한 분당 교차 리전 InvokeModel 요청
+ *\$1\$1model\$1*에 대한 분당 온디맨드 InvokeModel 토큰
+ *\$1\$1model\$1*에 대한 분당 온디맨드 InvokeModel 요청
+ *\$1\$1model\$1*에 대한 일일 모델 간접 호출 최대 토큰
이러한 할당량의 조합에 대한 증가를 요청하려면 Service Quotas 사용 설명서의 [할당량 증가 요청](https://docs.aws.amazon.com/servicequotas/latest/userguide/request-quota-increase.html)의 단계에 따라 ***\$1\$1model\$1* 할당량에 대한 분당 교차 리전 InvokeModel 토큰** 증가를 요청하세요. 이렇게 하면 지원 팀이 연락하여 다른 4가지 할당량을 늘릴 수 있는 옵션도 제공합니다.
**참고**
수요가 압도적인 관계로, 기존에 할당된 할당량을 소비하는 트래픽을 생성하는 고객에게 우선 순위가 부여됩니다. 이 조건을 충족하지 않으면 요청이 거부될 수 있습니다.
# 더 빠른 모델 추론을 위한 프롬프트 캐싱
프롬프트 캐싱은 Amazon Bedrock에서 지원되는 모델과 함께 사용하여 추론 응답 지연 시간과 입력 토큰 비용을 줄일 수 있는 선택적 기능입니다. 캐시에 컨텍스트의 일부를 추가하면 모델은 캐시를 활용하여 입력의 재계산을 건너뛰므로, 이 덕분에 Bedrock은 컴퓨팅 절감 효과를 공유하고 응답 지연 시간을 줄일 수 있습니다.
프롬프트 캐싱은 여러 쿼리에 자주 재사용되는 길고 반복적인 컨텍스트가 있는 워크로드가 있는 경우에 도움이 될 수 있습니다. 예를 들어 사용자가 문서를 업로드하고 이에 대해 질문할 수 있는 챗봇이 있는 경우, 사용자가 입력을 제공할 때마다 모델이 문서를 처리하는 데 시간이 많이 걸릴 수 있습니다. 프롬프트 캐싱을 사용하면 문서가 포함된 향후 쿼리에서 문서를 재처리할 필요가 없도록 문서를 캐싱할 수 있습니다.
프롬프트 캐싱을 사용하는 경우 캐시에서 읽은 토큰에는 절감된 요금이 부과됩니다. 모델에 따라 캐시에 기록된 토큰에 캐싱되지 않은 입력 토큰보다 높은 요금이 부과될 수 있습니다. 캐시에서 읽거나 캐시에 쓰지 않은 모든 토큰에는 해당 모델의 표준 입력 토큰 요금이 부과됩니다. 자세한 정보는 [Amazon Bedrock 요금 페이지](https://aws.amazon.com/bedrock/pricing/)를 참조하세요.
## 작동 방식
프롬프트 캐싱을 사용하도록 선택하면 Amazon Bedrock은 *캐시 체크포인트*로 구성된 캐시를 생성합니다. 이는 캐싱하려는 프롬프트의 연속 하위 섹션(대개 프롬프트 접두사라고 함)을 정의하는 마커입니다. 이러한 프롬프트 접두사는 요청 간에 정적이어야 하며, 후속 요청에서 프롬프트 접두사를 변경하면 캐시 누락이 발생합니다.
캐시 체크포인트에는 사용 중인 특정 모델에 따라 최소 및 최대 토큰 수가 있습니다. 총 프롬프트 접두사가 최소 토큰 수를 충족하는 경우에만 캐시 체크포인트를 생성할 수 있습니다. 예를 들어 Anthropic Claude 3.7 Sonnet 모델에는 캐시 체크포인트당 최소 1,024개의 토큰이 필요합니다. 즉, 첫 번째 캐시 체크포인트는 1,024개의 토큰 후에 정의될 수 있고 두 번째 캐시 체크포인트는 2,048개의 토큰 후에 정의될 수 있습니다. 최소 토큰 수를 충족하기 전에 캐시 체크포인트를 추가하려고 하면, 추론은 계속 성공하지만 접두사는 캐싱되지 않습니다. 캐시에는 성공한 캐시 적중마다 재설정되는 TTL(Time To Live)이 있습니다. 이 기간 동안 캐시의 컨텍스트는 보존됩니다. TTL 기간 내에 캐시 적중이 발생하지 않으면 캐시가 만료됩니다. 대부분의 모델은 5분 TTL을 지원하는 반면, Claude Opus 4.5, Claude Haiku 4.5및는 확장된 1시간 TTL 옵션Claude Sonnet 4.5도 지원합니다.
지원되는 모델에 대해 Amazon Bedrock에서 모델 추론을 가져올 때마다 프롬프트 캐싱을 사용할 수 있습니다. 프롬프트 캐싱은 다음 Amazon Bedrock 기능을 통해 지원됩니다.
**Converse 및 ConverseStream API**
프롬프트에서 캐시 체크포인트를 지정하는 모델과 대화를 진행할 수 있습니다.
**InvokeModel 및 InvokeModelWithResponseStream API**
프롬프트 캐싱을 활성화하고 캐시 체크포인트를 지정하는 단일 프롬프트 요청을 제출할 수 있습니다.
**교차 리전 추론을 사용한 프롬프트 캐싱**
프롬프트 캐싱은 교차 리전 추론과 함께 사용할 수 있습니다. 리전 간 추론은 추론 요청을 처리할 AWS 최적의 리전을 지리 내에서 자동으로 선택하여 사용 가능한 리소스와 모델 가용성을 극대화합니다. 수요가 많은 경우 이러한 최적화로 인해 캐시 쓰기가 증가할 수 있습니다.
**Amazon Bedrock Prompt Management**
프롬프트를 [생성](prompt-management-create.md)하거나 [수정](prompt-management-modify.md)할 때 프롬프트 캐싱을 활성화하도록 선택할 수 있습니다. 모델에 따라 시스템 프롬프트, 시스템 지침 및 메시지(사용자 및 어시스턴트)를 캐싱할 수 있습니다. 프롬프트 캐싱을 비활성화하도록 선택할 수도 있습니다.
API는 프롬프트 캐시에 대한 가장 유연하고 세분화된 제어를 제공합니다. 프롬프트 내에서 개별 캐시 체크포인트를 설정할 수 있습니다. 특정 모델에 허용되는 최대 캐시 체크포인트 수까지 더 많은 캐시 체크포인트를 생성하여 캐시에 추가할 수 있습니다. 자세한 내용은 [지원되는 모델, 리전 및 제한](#prompt-caching-models) 단원을 참조하십시오.
## 지원되는 모델, 리전 및 제한
다음 표에는 지원되는 모델과 토큰 최솟값, 최대 캐시 체크포인트 수 및 캐시 체크포인트를 허용하는 필드가 나열되어 있습니다.
| 모델 이름 | 모델 ID | 릴리스 유형 | 캐시 체크포인트당 최소 토큰 수 | 요청당 최대 캐시 체크포인트 수 | 지원되는 TTL | 프롬프트 캐시 체크포인트를 허용하는 필드 |
| --- | --- | --- | --- | --- | --- | --- |
| Claude Opus 4.5 | anthropic.claude-opus-4-5-20251101-v1:0 | 정식 버전 | 4,096 | 4 | 5분, 1시간 | `system`, `messages` 및 `tools` |
| Claude Opus 4.1 | anthropic.claude-opus-4-1-20250805-v1:0 | 정식 버전 | 1,024 | 4 | 5분 | `system`, `messages` 및 `tools` |
| Claude Opus 4 | anthropic.claude-opus-4-20250514-v1:0 | 정식 버전 | 1,024 | 4 | 5분 | `system`, `messages` 및 `tools` |
| Claude Sonnet 4.5 | anthropic.claude-sonnet-4-5-20250929-v1:0 | 정식 버전 | 1,024 | 4 | 5분, 1시간 | `system`, `messages` 및 `tools` |
| Claude Haiku 4.5 | anthropic.claude-haiku-4-5-20251001-v1:0 | 정식 버전 | 4,096 | 4 | 5분, 1시간 | `system`, `messages` 및 `tools` |
| Claude Sonnet 4 | anthropic.claude-sonnet-4-20250514-v1:0 | 정식 버전 | 1,024 | 4 | 5분 | `system`, `messages` 및 `tools` |
| Claude 3.7 Sonnet | anthropic.claude-3-7-sonnet-20250219-v1:0 | 정식 버전 | 1,024 | 4 | 5분 | `system`, `messages` 및 `tools` |
| Claude 3.5 Haiku | anthropic.claude-3-5-haiku-20241022-v1:0 | 정식 버전 | 2,048 | 4 | 5분 | `system`, `messages` 및 `tools` |
| Claude 3.5 Sonnet v2 | anthropic.claude-3-5-sonnet-20241022-v2:0 | 미리 보기 | 1,024 | 4 | 5분 | `system`, `messages` 및 `tools` |
| Amazon Nova Micro | amazon.nova-micro-v1:0 | 정식 버전 | 1,0001 | 4 | 5분 | `system` 및 `messages` |
| Amazon Nova Lite | amazon.nova-lite-v1:0 | 정식 버전 | 1,0001 | 4 | 5분 | `system` 및 `messages`2 |
| Amazon Nova Pro | amazon.nova-pro-v1:0 | 정식 버전 | 1,0001 | 4 | 5분 | `system` 및 `messages`2 |
| Amazon Nova Premier | amazon.nova-premier-v1:0 | 정식 버전 | 1,0001 | 4 | 5분 | `system` 및 `messages`2 |
| Amazon Nova 2 Lite | amazon.nova-2-lite-v1:0 | 정식 버전 | 1,0001 | 4 | 5분 | `system` 및 `messages`2 |
1: Amazon Nova 모델은 프롬프트 캐싱을 위해 최대 20,000개의 토큰을 지원합니다.
2: 프롬프트 캐싱은 주로 텍스트 프롬프트용입니다.
지원되는 모델(Claude Opus 4.5, Claude Haiku 4.5및 Claude Sonnet 4.5)과 함께 1시간 TTL 옵션을 사용하려면 캐시 체크포인트에서 `ttl` 필드를 지정합니다. Converse API에서 `cachePoint` 객체에 `"ttl": "1h"`를 추가합니다. Claude용 InvokeModel API 모델에서 `cache_control` 객체에 `"ttl": "1h"`를 추가합니다. `ttl` 값이 제공되지 않으면 기본 5분 캐싱 동작이 적용됩니다. 1시간 TTL은 장기간 캐시를 유지하려는 장기 실행 세션 또는 배치 처리 시나리오에 유용합니다.
Amazon Nova는 `User` 및 `System` 메시지를 포함한 모든 텍스트 프롬프트에 자동 프롬프트 캐싱을 제공합니다. 이 메커니즘은 명시적 구성 없이도 프롬프트가 반복 부분으로 시작될 때 지연 시간 이점을 제공할 수 있습니다. 그러나 비용 절감을 실현하고 보다 일관된 성능 이점을 보장하려면 **명시적 프롬프트 캐싱**에 옵트인하는 것이 좋습니다.
## Claude 모델을 위한 간소화된 캐시 관리
Claude 모델의 경우 Amazon Bedrock은 캐시 관리 접근 방식을 간소화하여 캐시 체크포인트를 수동으로 배치하는 복잡성을 줄입니다. 정확한 캐시 체크포인트 위치를 지정하도록 요구하는 대신 정적 콘텐츠 끝에 단일 중단점이 있는 자동 캐시 관리를 사용할 수 있습니다.
간소화된 캐시 관리를 활성화하면 시스템은 지정된 중단점에서 최대 약 20개의 콘텐츠 블록을 백업하여 이전 콘텐츠 블록 경계에서 캐시 적중을 자동으로 확인합니다. 이렇게 하면 모델이 최적의 체크포인트 위치를 예측할 필요 없이 캐시에서 가장 긴 일치 접두사를 찾을 수 있습니다. 이를 사용하려면 정적 콘텐츠의 끝에 동적 또는 가변 콘텐츠 앞에 단일 캐시 체크포인트를 배치합니다. 시스템은 최상의 캐시 일치 항목을 자동으로 찾습니다.
보다 세분화된 제어를 위해 여러 캐시 체크포인트(Claude 모델의 경우 최대 4개)를 사용하여 정확한 캐시 경계를 지정할 수 있습니다. 서로 다른 빈도로 변경되는 섹션을 캐싱하거나 캐싱되는 항목을 정확하게 더 잘 제어하려면 다중 캐시 체크포인트를 사용해야 합니다.
**중요**
자동 접두사 검사는 캐시 체크포인트에서 약 20개의 콘텐츠 블록만 검토합니다. 정적 콘텐츠가 이 범위를 벗어나는 경우 여러 캐시 체크포인트를 사용하거나 프롬프트를 재구성하여 가장 자주 재사용되는 콘텐츠를 이 범위 내에 배치하는 것이 좋습니다.
## 프롬프트 캐싱을 효과적으로 사용하는 방법
정기적으로 사용되는 프롬프트(예: 5분마다보다 더 자주 사용되는 시스템 프롬프트)가 있는 경우 추가 비용 없이 계속 새로 고쳐지므로 5분 캐시를 계속 사용합니다.
1시간 캐시는 다음 시나리오에서 가장 잘 사용됩니다.
+ 5분 미만, 1시간보다 자주 사용되는 프롬프트가 있는 경우. 예를 들어 에이전트 측 에이전트가 5분 이상 걸리거나 사용자와의 긴 채팅 대화를 저장할 때 일반적으로 사용자가 향후 5분 내에 응답하지 않을 것으로 예상되는 경우를 예로 들 수 있습니다.
+ 지연 시간이 중요하고 후속 프롬프트가 5분 넘게 전송될 수 있는 경우.
+ 캐시 적중은 속도 제한에서 차감되지 않으므로 속도 제한 사용률을 높이려는 경우.
동일한 요청에서 1시간 및 5분 캐시 제어를 모두 사용할 수 있지만 중요한 제약 조건이 있습니다. TTL이 더 긴 캐시 항목은 더 짧은 TTLs보다 먼저 나타나야 합니다(즉, 5분 캐시 항목보다 먼저 1시간 캐시 항목이 나타나야 함).
## 시작하기
다음 섹션에서는 Amazon Bedrock을 통해 모델과 상호 작용하는 각 방법에 프롬프트 캐싱 기능을 사용하는 방법에 대한 간략한 개요를 보여줍니다.
### Converse API
[Converse](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html) API는 멀티턴 대화에서 프롬프트 캐싱을 구현하기 위한 유연한 고급 옵션을 제공합니다. 각 모델의 프롬프트 요구 사항에 대한 자세한 내용은 이전 섹션([지원되는 모델, 리전 및 제한](#prompt-caching-models))을 참조하세요.
**요청 예제**
다음 예제에서는 Converse API에 대한 요청의 `messages`, `system` 또는 `tools` 필드에 설정된 캐시 체크포인트를 보여줍니다. 지정된 요청에 대해 이러한 위치 중 하나에 체크포인트를 배치할 수 있습니다. 예를 들어 Claude 3.5 Sonnet v2 모델에 요청을 보내는 경우 `messages`에 캐시 체크포인트 2개, `system`에 캐시 체크포인트 1개, `tools`에 캐시 체크포인트 1개를 배치할 수 있습니다. Converse API 요청 구조화 및 전송에 대한 자세한 내용과 예제는 [Converse API 작업과 대화 수행](conversation-inference.md) 섹션을 참조하세요.
다음과 같이 원하는 ttl 값을 지정합니다. ttl 값을 지정하지 않으면 5분 캐싱의 기본 동작이 적용됩니다.
```
"cachePoint" : {
"type": "default",
"ttl" : "5m | 1h"
}
```
------
#### [ messages checkpoints ]
이 예제에서 첫 번째 `image` 필드는 모델에 이미지를 제공하고 두 번째 `text` 필드는 모델에 이미지 분석을 요청합니다. `content` 객체의 `cachePoint` 이전 토큰 수가 모델의 최소 토큰 수를 충족하는 한 캐시 체크포인트가 생성됩니다.
```
...
"messages": [
{
"role": "user",
"content": [
{
"image": {
"bytes": "asfb14tscve..."
}
},
{
"text": "What's in this image?"
},
{
"cachePoint": {
"type": "default"
}
}
]
}
]
...
```
------
#### [ system checkpoints ]
이 예제에서는 `text` 필드에 시스템 프롬프트를 제공합니다. 또한 `cachePoint` 필드를 추가하여 시스템 프롬프트를 캐싱할 수 있습니다.
```
...
"system": [
{
"text": "You are an app that creates play lists for a radio station that plays rock and pop music. Only return song names and the artist. "
},
{
"cachePoint": {
"type": "default"
}
}
],
...
```
------
#### [ tools checkpoints ]
이 예제에서는 `toolSpec` 필드에 도구 정의를 제공합니다. (또는 이전에 정의한 도구를 직접 호출할 수 있습니다. 자세한 내용은 [도구를 사용하여 Amazon Bedrock 모델 응답 완성](tool-use.md) 섹션을 참조하세요.) 그런 다음 `cachePoint` 필드를 추가하여 도구를 캐싱할 수 있습니다.
```
...
toolConfig={
"tools": [
{
"toolSpec": {
"name": "top_song",
"description": "Get the most popular song played on a radio station.",
"inputSchema": {
"json": {
"type": "object",
"properties": {
"sign": {
"type": "string",
"description": "The call sign for the radio station for which you want the most popular song. Example calls signs are WZPZ and WKRP."
}
},
"required": [
"sign"
]
}
}
}
},
{
"cachePoint": {
"type": "default"
}
}
]
}
...
```
------
Converse API의 모델 응답에는 프롬프트 캐싱과 관련된 세 개의 새 필드가 포함되어 있습니다. `CacheReadInputTokens` 및 `CacheWriteInputTokens` 값은 캐시에서 읽은 토큰 수와 이전 요청으로 인해 캐시에 쓴 토큰 수를 알려줍니다. `CacheDetails` 값은 캐시에 기록된 토큰 수에 사용되는 ttl을 알려줍니다. 이는 전체 모델 추론 비용보다 낮은 요금으로 Amazon Bedrock에서 청구하는 값입니다.
### InvokeModel API
[InvokeModel](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html) API를 직접 호출하면 프롬프트 캐싱이 기본적으로 활성화됩니다. Converse API에 대한 이전 예제와 마찬가지로 요청 본문의 언제든지 캐시 체크포인트를 설정할 수 있습니다.
------
#### [ Anthropic Claude ]
다음 예제에서는 Anthropic Claude 3.5 Sonnet v2 모델에 대한 InvokeModel 요청의 본문을 구성하는 방법을 보여줍니다. InvokeModel 요청에 대한 본문의 정확한 형식과 필드는 선택한 모델에 따라 다를 수 있습니다. 다양한 모델에 대한 요청 및 응답 본문의 형식과 내용을 보려면 [파운데이션 모델의 추론 요청 파라미터 및 응답 필드](model-parameters.md) 섹션을 참조하세요.
다음과 같이 원하는 ttl 값을 지정합니다. ttl 값을 지정하지 않으면 5분 캐싱의 기본 동작이 적용됩니다.
```
"cache_control" : {
"type": "ephemeral",
"ttl" : "5m | 1h"
}
```
```
body={
"anthropic_version": "bedrock-2023-05-31",
"system":"Reply concisely",
"messages": [
{
"role": "user",
"content": [
{
"type": "text",
"text": "Describe the best way to learn programming."
},
{
"type": "text",
"text": "Add additional context here for the prompt that meets the minimum token requirement for your chosen model.",
"cache_control": {
"type": "ephemeral"
}
}
]
}
],
"max_tokens": 2048,
"temperature": 0.5,
"top_p": 0.8,
"stop_sequences": [
"stop"
],
"top_k": 250
}
```
------
#### [ Amazon Nova ]
다음 예제에서는 Amazon Nova 모델에 대한 InvokeModel 요청의 본문을 구성하는 방법을 보여줍니다. InvokeModel 요청에 대한 본문의 정확한 형식과 필드는 선택한 모델에 따라 다를 수 있습니다. 다양한 모델에 대한 요청 및 응답 본문의 형식과 내용을 보려면 [파운데이션 모델의 추론 요청 파라미터 및 응답 필드](model-parameters.md) 섹션을 참조하세요.
```
{
"system": [{
"text": "Reply Concisely"
}],
"messages": [{
"role": "user",
"content": [{
"text": "Describe the best way to learn programming"
},
{
"text": "Add additional context here for the prompt that meets the minimum token requirement for your chosen model.",
"cachePoint": {
"type": "default"
}
}]
}],
"inferenceConfig": {
"maxTokens": 300,
"topP": 0.1,
"topK": 20,
"temperature": 0.3
}
}
```
------
InvokeModel 요청 전송에 대한 자세한 내용은 [InvokeModel을 사용하여 단일 프롬프트 제출](inference-invoke.md) 섹션을 참조하세요.
### 플레이그라운드
Amazon Bedrock 콘솔의 채팅 플레이그라운드에서 프롬프트 캐싱 옵션을 켤 수 있으며 Amazon Bedrock은 자동으로 캐시 체크포인트를 생성합니다.
[플레이그라운드를 사용하여 콘솔에서 응답 생성](playgrounds.md)의 지침에 따라 Amazon Bedrock 플레이그라운드에서 프롬프트를 시작합니다. 지원되는 모델의 경우 플레이그라운드에서 프롬프트 캐싱이 자동으로 켜집니다. 하지만 그렇지 않은 경우 다음을 수행하여 프롬프트 캐싱을 켭니다.
1. 왼쪽 패널에서 **구성** 메뉴를 엽니다.
1. **프롬프트 캐싱** 토글을 켭니다.
1. 프롬프트를 실행합니다.
결합된 입력 및 모델 응답이 체크포인트에 필요한 최소 토큰 수(모델에 따라 다름)에 도달하면 Amazon Bedrock이 자동으로 첫 번째 캐시 체크포인트를 생성합니다. 채팅을 계속하면 최소 토큰 수에 도달할 때마다 모델에 허용되는 최대 체크포인트 수까지 새 체크포인트가 생성됩니다. 다음 스크린샷과 같이 **프롬프트 캐싱** 토글 옆에 있는 **캐시 체크포인트 보기**를 선택하여 언제든지 캐시 체크포인트를 볼 수 있습니다.
![\[Amazon Bedrock 텍스트 플레이그라운드에서 프롬프트 캐싱을 위한 UI 토글입니다.\]](http://docs.aws.amazon.com/ko_kr/bedrock/latest/userguide/images/prompt-caching/bedrock-prompt-caching-ui-toggle.png)
플레이그라운드 응답에서 **캐싱 지표** 팝업(![\[The metrics icon shown in model responses when prompt caching is enabled.\]](http://docs.aws.amazon.com/ko_kr/bedrock/latest/userguide/images/prompt-caching/bedrock-prompt-caching-metrics-icon.png))을 보면 모델과의 각 상호 작용으로 인해 캐시에서 읽고 쓰는 토큰 수를 볼 수 있습니다.
![\[캐시에서 읽고 쓴 토큰 수를 보여주는 캐싱 지표 상자입니다.\]](http://docs.aws.amazon.com/ko_kr/bedrock/latest/userguide/images/prompt-caching/bedrock-prompt-caching-metrics.png)
대화 중에 프롬프트 캐싱 토글을 끄면 모델과 계속 채팅할 수 있습니다.