Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
# Kapasitas, Batas, dan Optimalisasi Biaya
Amazon Bedrock menawarkan opsi kapasitas fleksibel agar sesuai dengan persyaratan dan anggaran beban kerja Anda. Memahami perbedaan antara tingkatan sesuai permintaan (Flex, Priority, Standard), tingkat cadangan, pemrosesan batch, dan inferensi lintas wilayah membantu Anda mengoptimalkan kinerja dan biaya.
# Tingkat layanan untuk mengoptimalkan kinerja dan biaya
Amazon Bedrock menawarkan empat tingkatan layanan untuk inferensi model: Reserved, Priority, Standard, dan Flex. Dengan tingkatan layanan, Anda dapat mengoptimalkan ketersediaan, biaya, dan kinerja.
## Tingkat Cadangan
Tingkat Cadangan menyediakan kemampuan untuk mencadangkan kapasitas komputasi yang diprioritaskan untuk aplikasi penting misi Anda yang tidak dapat mentolerir waktu henti apa pun. Anda memiliki fleksibilitas untuk mengalokasikan tokens-per-minute kapasitas input dan output yang berbeda agar sesuai dengan persyaratan yang tepat dari beban kerja dan biaya kontrol Anda. Ketika aplikasi Anda membutuhkan tokens-per-minute kapasitas lebih dari yang Anda pesan, layanan secara otomatis meluap ke tingkat Standar, memastikan operasi tidak terganggu. Tingkat Cadangan menargetkan waktu aktif 99,5% untuk respons model. Pelanggan dapat memesan kapasitas untuk durasi 1 bulan atau 3 bulan. Pelanggan membayar harga tetap per 1K tokens-per-minute dan ditagih setiap bulan.
Untuk mendapatkan akses ke tingkat Cadangan, silakan hubungi tim akun AWS Anda.
**catatan**
Penagihan berlanjut hingga Anda menghapus reservasi Tingkat Cadangan dengan bantuan Akun AWS manajer Anda.
## Tingkat Prioritas
Tingkat Prioritas memberikan waktu respons tercepat untuk harga premium dibandingkan harga sesuai permintaan standar. Ini paling cocok untuk aplikasi penting misi dengan alur kerja bisnis yang dihadapi pelanggan yang tidak menjamin reservasi kapasitas 24X7. Tingkat prioritas tidak memerlukan reservasi sebelumnya. Anda cukup mengatur parameter opsional “service\$1tier” ke “priority” untuk memanfaatkan prioritas tingkat permintaan. Permintaan tingkat prioritas diprioritaskan di atas permintaan tingkat Standar dan Flex.
## Tingkat Standar
Tingkat Standar memberikan kinerja yang konsisten untuk tugas AI sehari-hari seperti pembuatan konten, analisis teks, dan pemrosesan dokumen rutin. Secara default semua permintaan inferensi dirutekan ke tingkat Standar ketika parameter “service\$1tier” hilang. Anda juga dapat menyetel parameter opsional “service\$1tier” ke “default” agar permintaan inferensi Anda disajikan dengan tingkat Standar.
## Tingkat Flex
Untuk beban kerja yang dapat menangani waktu pemrosesan lebih lama, tingkat Flex menawarkan pemrosesan hemat biaya untuk diskon harga. Ini membantu Anda mengoptimalkan biaya untuk beban kerja seperti evaluasi model, ringkasan konten, dan alur kerja agen. Anda dapat menyetel parameter opsional “service\$1tier” ke “flex” agar permintaan inferensi Anda dilayani dengan tingkat Flex dan memanfaatkan diskon harga.
## Menggunakan kemampuan tingkat layanan
Untuk mengakses kemampuan tingkat layanan, Anda dapat menyetel parameter opsional “service\$1tier” ke “reserved”, “priority”, “default”, atau “flex” saat memanggil API runtime Amazon Bedrock.
```
"service_tier" : "reserved | priority | default | flex"
```
Kuota sesuai permintaan untuk model dibagikan di seluruh tingkatan layanan “prioritas”, “default”, dan “fleksibel”. Reservasi kapasitas tingkat “reservasi” Anda terpisah dari kuota sesuai permintaan Anda. Konfigurasi tingkat layanan untuk permintaan yang ditayangkan dapat dilihat dalam respons API dan CloudTrail Acara AWS. Anda juga dapat melihat metrik tingkat layanan di Metrik Amazon CloudWatch di bawah ModelId,, dan ServiceTier ResolvedServiceTier, di mana ResolvedServiceTier menampilkan tingkat aktual yang melayani permintaan Anda.
Untuk informasi lebih lanjut tentang harga, kunjungi [halaman harga](https://aws.amazon.com/bedrock/pricing/).
Model dan wilayah yang didukung oleh tingkat layanan Cadangan:
| | | | |
| --- |--- |--- |--- |
| Penyedia | Model | Model IDs | Daerah |
| Antropik | Claude Soneta 4.6 | global.anthropic.claude-sonnet-4-6kami.anthropic.claude-sonnet-4-6id.anthropic.claude-sonnet-4-6 | ap-northeast-1 |
| ap-northeast-2 |
| ap-northeast-3 |
| ap-southeast-1 |
| ap-southeast-2 |
| ap-south-1 |
| ap-southeast-3 |
| ap-south-2 |
| ap-southeast-4 |
| ca-central-1 |
| eu-west-1 |
| eu-central-1 |
| eu-central-2 |
| eu-north-1 |
| eu-south-1 |
| eu-south-2 |
| eu-west-2 |
| eu-west-3 |
| sa-east-1 |
| us-east-1 |
| us-east-2 |
| us-west-1 |
| us-west-2 |
| me-south-1 |
| ap-tenggara 7 |
| af-south-1 |
| me-central-1 |
| ap-southeast-5 |
| mx-pusat-1 |
| il-central-1 |
| ap-timur-2 |
| ca-west-1 |
| Antropik | Claude Opus 4.6 | global.anthropic.claude-opus-4-6-v1kami.anthropic.claude-opus-4-6-v1eu.anthropic.claude-opus-4-6-v1 | af-south-1 |
| ap-timur-2 |
| ap-northeast-1 |
| ap-northeast-2 |
| ap-northeast-3 |
| ap-south-1 |
| ap-south-2 |
| ap-southeast-1 |
| ap-southeast-2 |
| ap-southeast-3 |
| ap-southeast-4 |
| ap-southeast-5 |
| ap-tenggara 7 |
| ca-central-1 |
| ca-west-1 |
| eu-central-1 |
| eu-central-2 |
| eu-north-1 |
| eu-south-1 |
| eu-south-2 |
| eu-west-1 |
| eu-west-2 |
| eu-west-3 |
| il-central-1 |
| me-central-1 |
| me-south-1 |
| mx-pusat-1 |
| sa-east-1 |
| us-east-1 |
| us-east-2 |
| us-west-1 |
| us-west-2 |
| Antropik | Claude Soneta 4.5 | global.anthropic.claude-sonnet-4-5-20250929-v 1:0kami.anthropic.claude-sonnet-4-5-20250929-v 1:0eu.anthropic.claude-sonnet-4-5-20250929-v 1:0us-gov.anthropic.claude-sonnet-4-5-20250929-v 1:0 | ap-northeast-1 |
| ap-northeast-2 |
| ap-northeast-3 |
| ap-southeast-1 |
| ap-southeast-2 |
| ap-south-1 |
| ap-southeast-3 |
| ap-south-2 |
| ap-southeast-4 |
| ca-central-1 |
| eu-west-1 |
| eu-central-1 |
| eu-central-2 |
| eu-north-1 |
| eu-south-1 |
| eu-south-2 |
| eu-west-2 |
| eu-west-3 |
| sa-east-1 |
| us-east-1 |
| us-east-2 |
| us-west-1 |
| us-west-2 |
| us-gov-west-1 |
| Antropik | Claude Opus 4.5 | global.anthropic.claude-opus-4-5-20251101-v 1:0kami.anthropic.claude-opus-4-5-20251101-v 1:0eu.anthropic.claude-opus-4-5-20251101-v 1:0 | ap-northeast-1 |
| ap-northeast-2 |
| ap-northeast-3 |
| ap-southeast-1 |
| ap-southeast-2 |
| ap-south-1 |
| ap-southeast-3 |
| ap-south-2 |
| ap-southeast-4 |
| ca-central-1 |
| eu-west-1 |
| eu-central-1 |
| eu-central-2 |
| eu-north-1 |
| eu-south-1 |
| eu-south-2 |
| eu-west-2 |
| eu-west-3 |
| sa-east-1 |
| us-east-1 |
| us-east-2 |
| us-west-1 |
| us-west-2 |
| Antropik | Claude Haiku 4.5 | global.anthropic.claude-haiku-4-5-20251001-v 1:0kami.anthropic.claude-haiku-4-5-20251001-v 1:0eu.anthropic.claude-haiku-4-5-20251001-v 1:0 | ap-northeast-1 |
| ap-northeast-2 |
| ap-northeast-3 |
| ap-southeast-1 |
| ap-southeast-2 |
| ap-south-1 |
| ap-southeast-3 |
| ap-south-2 |
| ap-southeast-4 |
| ca-central-1 |
| eu-west-1 |
| eu-central-1 |
| eu-central-2 |
| eu-north-1 |
| eu-south-1 |
| eu-south-2 |
| eu-west-2 |
| eu-west-3 |
| sa-east-1 |
| us-east-1 |
| us-east-2 |
| us-west-1 |
| us-west-2 |
**catatan**
Panjang konteks 1M untuk Soneta 4.5 tidak didukung oleh tingkat Cadangan.
Model dan wilayah yang didukung oleh tingkat layanan Priority dan Flex:
| | | | |
| --- |--- |--- |--- |
| Penyedia | Model | ID Model | Daerah |
| OpenAI | gpt-oss-120b | openai.gpt-oss-120b- 1:0 | us-east-1 |
| us-east-2 |
| us-west-2 |
| ap-northeast-1 |
| ap-south-1 |
| ap-southeast-3 |
| eu-central-1 |
| eu-north-1 |
| eu-south-1 |
| eu-west-1 |
| eu-west-2 |
| sa-east-1 |
| OpenAI | gpt-oss-20b | openai.gpt-oss-20b- 1:0 | us-east-1 |
| us-east-2 |
| us-west-2 |
| ap-northeast-1 |
| ap-south-1 |
| ap-southeast-3 |
| eu-central-1 |
| eu-north-1 |
| eu-south-1 |
| eu-west-1 |
| eu-west-2 |
| sa-east-1 |
| OpenAI | GPT OSS Safeguard 20B | terbuka. gpt-oss-safeguard-20b | ap-northeast-1 |
| ap-south-1 |
| ap-southeast-2 |
| ap-southeast-3 |
| ca-central-1 |
| eu-central-1 |
| eu-central-2 |
| eu-north-1 |
| eu-south-1 |
| eu-south-2 |
| eu-west-1 |
| eu-west-2 |
| eu-west-3 |
| sa-east-1 |
| us-east-1 |
| us-east-2 |
| us-west-2 |
| OpenAI | GPT OSS Safeguard 120B | terbuka. gpt-oss-safeguard-120b | ap-northeast-1 |
| ap-south-1 |
| ap-southeast-2 |
| ap-southeast-3 |
| ca-central-1 |
| eu-central-1 |
| eu-central-2 |
| eu-north-1 |
| eu-south-1 |
| eu-south-2 |
| eu-west-1 |
| eu-west-2 |
| eu-west-3 |
| sa-east-1 |
| us-east-1 |
| us-east-2 |
| us-west-2 |
| Qwen | Qwen3 235B A22B 2507 | qwen.qwen3-235b-a22b-2507-v 1:0 | us-east-2 |
| us-west-2 |
| ap-northeast-1 |
| ap-south-1 |
| ap-southeast-3 |
| eu-central-1 |
| eu-north-1 |
| eu-south-1 |
| eu-west-2 |
| Qwen | Qwen3 Coder 480B A35B Instruksi | qwen.qwen3-coder-480b-a35b-v 1:0 | us-east-2 |
| us-west-2 |
| ap-northeast-1 |
| ap-south-1 |
| ap-southeast-3 |
| eu-north-1 |
| eu-west-2 |
| Qwen | Qwen3-Coder-30B-A3B-Instruksi | qwen.qwen3-coder-30b-a3b-v 1:0 | us-east-1 |
| us-east-2 |
| us-west-2 |
| ap-northeast-1 |
| ap-south-1 |
| ap-southeast-3 |
| eu-central-1 |
| eu-north-1 |
| eu-south-1 |
| eu-west-1 |
| eu-west-2 |
| sa-east-1 |
| Qwen | Qwen3 32B (padat) | qwen.qwen3-32b-v 1:0 | us-east-1 |
| us-east-2 |
| us-west-2 |
| ap-northeast-1 |
| ap-south-1 |
| ap-southeast-3 |
| eu-central-1 |
| eu-north-1 |
| eu-south-1 |
| eu-west-1 |
| eu-west-2 |
| sa-east-1 |
| Qwen | Qwen3 Berikutnya 80B A3B | qwen.qwen3-next-80b-a3b | ap-northeast-1 |
| ap-south-1 |
| ap-southeast-2 |
| ap-southeast-3 |
| ca-central-1 |
| eu-central-1 |
| eu-central-2 |
| eu-north-1 |
| eu-south-1 |
| eu-south-2 |
| eu-west-1 |
| eu-west-2 |
| eu-west-3 |
| sa-east-1 |
| us-east-1 |
| us-east-2 |
| us-west-2 |
| Qwen | Qwen3 VL 235B A22B | qwen.qwen3-vl-235b-a22b | ap-northeast-1 |
| ap-south-1 |
| ap-southeast-2 |
| ap-southeast-3 |
| ca-central-1 |
| eu-central-1 |
| eu-central-2 |
| eu-north-1 |
| eu-south-1 |
| eu-south-2 |
| eu-west-1 |
| eu-west-2 |
| eu-west-3 |
| sa-east-1 |
| us-east-1 |
| us-east-2 |
| us-west-2 |
| DeepSeek | DeepSeek-V3.1 | deepseek.v3-v 1:0 | us-east-2 |
| us-west-2 |
| ap-northeast-1 |
| ap-south-1 |
| ap-southeast-3 |
| eu-north-1 |
| eu-west-2 |
| Amazon | Nova Premier | Amazon. nova-premier-v1:0 | kami-timur-1\$1 |
| kami-timur-2\$1 |
| kami-barat-2\$1 |
| Amazon | Nova Pro | Amazon. nova-pro-v1:0 | us-east-1 |
| kami-timur-2\$1 |
| kami-barat-1\$1 |
| kami-barat-2\$1 |
| ap-timur-2\$1 |
| ap-timur laut-1\$1 |
| ap-timur laut-2\$1 |
| ap-selatan-1\$1 |
| ap-tenggara 1\$1 |
| ap-southeast-2 |
| ap-southeast-3 |
| ap-tenggara 4\$1 |
| ap-tenggara 5\$1 |
| ap-tenggara 7\$1 |
| eu-sentral-1\$1 |
| eu-utara-1\$1 |
| eu-selatan-1\$1 |
| eu-selatan-2\$1 |
| eu-barat-1\$1 |
| eu-west-2 |
| eu-barat-3\$1 |
| Il-sentral-1\$1 |
| me-central-1 |
| Amazon | Nova 2 Lite | amazon.nova-2-lite-v 1:0 | ap-timur-2 |
| ap-northeast-1 |
| ap-northeast-2 |
| ap-south-1 |
| ap-southeast-1 |
| ap-southeast-2 |
| ap-southeast-3 |
| ap-southeast-4 |
| ap-southeast-5 |
| ap-tenggara 7 |
| ca-central-1 |
| ca-west-1 |
| eu-central-1 |
| eu-north-1 |
| eu-south-1 |
| eu-south-2 |
| eu-west-1 |
| eu-west-2 |
| eu-west-3 |
| il-central-1 |
| me-central-1 |
| us-east-1 |
| us-east-2 |
| us-west-1 |
| us-west-2 |
| Amazon | Pratinjau Nova 2 Pro | amazon.nova-2-pro-preview-20251202-v 1:0 | ap-timur-2 |
| ap-northeast-1 |
| ap-northeast-2 |
| ap-south-1 |
| ap-southeast-1 |
| ap-southeast-2 |
| ap-southeast-3 |
| ap-southeast-4 |
| ap-southeast-5 |
| ap-tenggara 7 |
| ca-central-1 |
| ca-west-1 |
| eu-central-1 |
| eu-north-1 |
| eu-south-1 |
| eu-south-2 |
| eu-west-1 |
| eu-west-2 |
| eu-west-3 |
| il-central-1 |
| me-central-1 |
| us-east-1 |
| us-east-2 |
| us-west-1 |
| us-west-2 |
| Amazon | Nova Lite 2 Omni | amazon.nova-2- 1 lite-omni-v | ap-timur-2 |
| ap-northeast-1 |
| ap-northeast-2 |
| ap-south-1 |
| ap-southeast-1 |
| ap-southeast-2 |
| ap-southeast-3 |
| ap-southeast-4 |
| ap-southeast-5 |
| ap-tenggara 7 |
| ca-central-1 |
| ca-west-1 |
| eu-central-1 |
| eu-north-1 |
| eu-south-1 |
| eu-south-2 |
| eu-west-1 |
| eu-west-2 |
| eu-west-3 |
| il-central-1 |
| me-central-1 |
| us-east-1 |
| us-east-2 |
| us-west-1 |
| us-west-2 |
| Google | Gemma 3 4B | google.gemma-3-4b-it | ap-northeast-1 |
| ap-south-1 |
| ap-southeast-2 |
| ap-southeast-3 |
| ca-central-1 |
| eu-central-1 |
| eu-central-2 |
| eu-north-1 |
| eu-south-1 |
| eu-south-2 |
| eu-west-1 |
| eu-west-2 |
| eu-west-3 |
| sa-east-1 |
| us-east-1 |
| us-east-2 |
| us-west-2 |
| Google | Gemma 3 12B | google.gemma-3-12b-it | ap-northeast-1 |
| ap-south-1 |
| ap-southeast-2 |
| ap-southeast-3 |
| ca-central-1 |
| eu-central-1 |
| eu-central-2 |
| eu-north-1 |
| eu-south-1 |
| eu-south-2 |
| eu-west-1 |
| eu-west-2 |
| eu-west-3 |
| sa-east-1 |
| us-east-1 |
| us-east-2 |
| us-west-2 |
| Google | Gemma 3 27B | google.gemma-3-27b-it | ap-northeast-1 |
| ap-south-1 |
| ap-southeast-2 |
| ap-southeast-3 |
| ca-central-1 |
| eu-central-1 |
| eu-central-2 |
| eu-north-1 |
| eu-south-1 |
| eu-south-2 |
| eu-west-1 |
| eu-west-2 |
| eu-west-3 |
| sa-east-1 |
| us-east-1 |
| us-east-2 |
| us-west-2 |
| Minimax AI | Minimax M2 | minimax.minimax-m2 | ap-northeast-1 |
| ap-south-1 |
| ap-southeast-2 |
| ap-southeast-3 |
| ca-central-1 |
| eu-central-1 |
| eu-central-2 |
| eu-north-1 |
| eu-south-1 |
| eu-south-2 |
| eu-west-1 |
| eu-west-2 |
| eu-west-3 |
| sa-east-1 |
| us-east-1 |
| us-east-2 |
| us-west-2 |
| Mistral | Magistral Kecil 1.2 | mistral.magistral-kecil-2509 | ap-northeast-1 |
| ap-south-1 |
| ap-southeast-2 |
| ap-southeast-3 |
| ca-central-1 |
| eu-central-1 |
| eu-central-2 |
| eu-north-1 |
| eu-south-1 |
| eu-south-2 |
| eu-west-1 |
| eu-west-2 |
| eu-west-3 |
| sa-east-1 |
| us-east-1 |
| us-east-2 |
| us-west-2 |
| Mistral | Voxtral Mini 1.0 | mistral.voxtral-mini-3b-2507 | ap-northeast-1 |
| ap-south-1 |
| ap-southeast-2 |
| ap-southeast-3 |
| ca-central-1 |
| eu-central-1 |
| eu-central-2 |
| eu-north-1 |
| eu-south-1 |
| eu-south-2 |
| eu-west-1 |
| eu-west-2 |
| eu-west-3 |
| sa-east-1 |
| us-east-1 |
| us-east-2 |
| us-west-2 |
| Mistral | Voxtral Kecil 1.0 | mistral.voxtral-kecil-24b-2507 | ap-northeast-1 |
| ap-south-1 |
| ap-southeast-2 |
| ap-southeast-3 |
| ca-central-1 |
| eu-central-1 |
| eu-central-2 |
| eu-north-1 |
| eu-south-1 |
| eu-south-2 |
| eu-west-1 |
| eu-west-2 |
| eu-west-3 |
| sa-east-1 |
| us-east-1 |
| us-east-2 |
| us-west-2 |
| Mistral | Ministro 3B 3.0 | mistral.ministral-3-3b-instruktur | ap-northeast-1 |
| ap-south-1 |
| ap-southeast-2 |
| ap-southeast-3 |
| ca-central-1 |
| eu-central-1 |
| eu-central-2 |
| eu-north-1 |
| eu-south-1 |
| eu-south-2 |
| eu-west-1 |
| eu-west-2 |
| eu-west-3 |
| sa-east-1 |
| us-east-1 |
| us-east-2 |
| us-west-2 |
| Mistral | Ministro 8B 3.0 | mistral.ministral-3-8b-instruktur | ap-northeast-1 |
| ap-south-1 |
| ap-southeast-2 |
| ap-southeast-3 |
| ca-central-1 |
| eu-central-1 |
| eu-central-2 |
| eu-north-1 |
| eu-south-1 |
| eu-south-2 |
| eu-west-1 |
| eu-west-2 |
| eu-west-3 |
| sa-east-1 |
| us-east-1 |
| us-east-2 |
| us-west-2 |
| Mistral | Ministro 14B 3.0 | mistral.ministral-3-14b-instruktur | ap-northeast-1 |
| ap-south-1 |
| ap-southeast-2 |
| ap-southeast-3 |
| ca-central-1 |
| eu-central-1 |
| eu-central-2 |
| eu-north-1 |
| eu-south-1 |
| eu-south-2 |
| eu-west-1 |
| eu-west-2 |
| eu-west-3 |
| sa-east-1 |
| us-east-1 |
| us-east-2 |
| us-west-2 |
| Mistral | Mistral Besar 3 | mistral.mistral-besar-3-675b-instruktur | ap-northeast-1 |
| ap-south-1 |
| ap-southeast-2 |
| ap-southeast-3 |
| ca-central-1 |
| eu-central-1 |
| eu-central-2 |
| eu-north-1 |
| eu-south-1 |
| eu-south-2 |
| eu-west-1 |
| eu-west-2 |
| eu-west-3 |
| sa-east-1 |
| us-east-1 |
| us-east-2 |
| us-west-2 |
| Kimi AI | Kimi K2 Berpikir | moonshot.kimi-k2-berpikir | ap-northeast-1 |
| ap-south-1 |
| ap-southeast-2 |
| ap-southeast-3 |
| ca-central-1 |
| eu-central-1 |
| eu-central-2 |
| eu-north-1 |
| eu-south-1 |
| eu-south-2 |
| eu-west-1 |
| eu-west-2 |
| eu-west-3 |
| sa-east-1 |
| us-east-1 |
| us-east-2 |
| us-west-2 |
| Nvidia | NVIDIA Nemotron Nano 2 | nvidia.nemotron-nano-9b-v2 | ap-northeast-1 |
| ap-south-1 |
| ap-southeast-2 |
| ap-southeast-3 |
| ca-central-1 |
| eu-central-1 |
| eu-central-2 |
| eu-north-1 |
| eu-south-1 |
| eu-south-2 |
| eu-west-1 |
| eu-west-2 |
| eu-west-3 |
| sa-east-1 |
| us-east-1 |
| us-east-2 |
| us-west-2 |
| Nvidia | NVIDIA Nemotron Nano 2 VL | nvidia.nemotron-nano-12b-v2 | ap-northeast-1 |
| ap-south-1 |
| ap-southeast-2 |
| ap-southeast-3 |
| ca-central-1 |
| eu-central-1 |
| eu-central-2 |
| eu-north-1 |
| eu-south-1 |
| eu-south-2 |
| eu-west-1 |
| eu-west-2 |
| eu-west-3 |
| sa-east-1 |
| us-east-1 |
| us-east-2 |
| us-west-2 |
\$1Inferensi model dapat disajikan menggunakan beberapa wilayah.
Untuk mengontrol akses ke tingkatan layanan, lihat [Kontrol akses ke tingkatan layanan](security_iam_id-based-policy-examples-agent.md#security_iam_id-based-policy-examples-service-tiers)
## Opsi Kapasitas
| Jenis Kapasitas | Kasus Penggunaan | Karakteristik Utama |
| --- | --- | --- |
| Sesuai Permintaan: Flex | Beban kerja sporadis dan volume rendah | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/bedrock/latest/userguide/capacity-limits-cost-optimization.html) |
| Sesuai Permintaan: Standar | Beban kerja produksi reguler | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/bedrock/latest/userguide/capacity-limits-cost-optimization.html) |
| Sesuai Permintaan: Prioritas | Prioritas tinggi, aplikasi sensitif latensi | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/bedrock/latest/userguide/capacity-limits-cost-optimization.html) |
| Tingkat Cadangan | Beban kerja volume tinggi yang konsisten | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/bedrock/latest/userguide/capacity-limits-cost-optimization.html) |
| Batch | Skala besar, non-time-sensitive pemrosesan | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/bedrock/latest/userguide/capacity-limits-cost-optimization.html) |
| Inferensi Lintas Wilayah | Ketersediaan tinggi, lalu lintas meledak | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/bedrock/latest/userguide/capacity-limits-cost-optimization.html) |
## Batas & Kuota
### Batas Atas Permintaan (berdasarkan tingkat)
| Tingkat | Rentang RPM | Rentang TPM | Risiko Pelambatan |
| --- | --- | --- | --- |
| Melenturkan | 10-100 | 5K-50K | Tinggi |
| Standar | 100-500 | 50K-150K | Sedang |
| Prioritas | 500-1000\$1 | 150K-300K\$1 | Rendah |
+ Kapasitas burst: Tersedia di semua tingkatan untuk paku pendek
+ Batas lunak: Dapat ditingkatkan melalui permintaan kuota layanan
+ Spesifik model: Batas aktual bervariasi menurut model pondasi
### Batas Tingkat Cadangan
+ Komitmen minimum: 1 unit model
+ Unit maksimum: Akun dan spesifik wilayah
+ Batas token input/output: Berdasarkan unit yang dibeli
+ Tidak ada pelambatan RPM dalam kapasitas yang dibeli
### Batas Pemrosesan Batch
+ Ukuran pekerjaan: Hingga 10.000 catatan per batch
+ Ukuran file: Maksimal 200 MB file masukan
+ Waktu pemrosesan: jendela penyelesaian 24 jam
+ Pekerjaan bersamaan: Kuota khusus wilayah
### Inferensi Lintas Wilayah
+ Mewarisi batas tingkat sesuai permintaan per wilayah
+ Tidak ada tambahan kuota overhead
+ Perutean otomatis (tidak ada manajemen batas manual)
## Pengoptimalan Biaya
### Kerangka Keputusan
| Skenario | Opsi yang Direkomendasikan | Mengapa |
| --- | --- | --- |
| Pengembangan/pengujian | Melenturkan | Biaya terendah, dapat diterima untuk non-produksi |
| Produksi standar | Standar | Keseimbangan biaya-kinerja terbaik |
| Aplikasi kritis yang dihadapi pengguna | Prioritas | Keandalan dan kinerja melebihi biaya |
| Beban volume tinggi yang stabil | Tingkat Cadangan | Penghematan 30-50% dengan komitmen |
| Pemrosesan data massal | Batch | 50% discount, beban kerja tidak mendesak |
| Waktu aktif yang kritis misi | Inferensi Lintas Wilayah | Ketersediaan> biaya |
### Strategi Optimasi
**Pilih Tingkat Sesuai Permintaan yang Tepat**
+ Mulai dengan Standar untuk sebagian besar beban kerja
+ Turunkan versi ke Flex untuk lingkungan dev/test
+ Tingkatkan ke Prioritas hanya jika pembatasan berdampak pada pengguna
+ Pantau metrik CloudWatch throttle untuk menginformasikan keputusan
**Transisi ke Tingkat Cadangan**
+ Ketika beban konsisten melebihi 40% dari biaya sesuai permintaan
+ Hitung impas: (Biaya sesuai permintaan bulanan) vs (Komitmen cadangan)
+ Gunakan komitmen 1 bulan pada awalnya
+ Tingkat cadangan dapat bekerja bersama tingkat permintaan apa pun
**Leverage Batch untuk**
+ Melatih pembuatan data
+ Backlog moderasi konten
+ Pembuatan laporan
+ Pipa pengayaan data
**Menggabungkan Pendekatan**
+ Tingkat cadangan untuk lalu lintas dasar
+ Standar sesuai permintaan untuk ledakan moderat
+ Prioritas sesuai permintaan untuk periode puncak kritis
+ Batch untuk pemrosesan offline
+ Lintas wilayah hanya untuk failover
**Pemantauan Biaya**
+ Bandingkan biaya tingkat: Flex < Standar < Prioritas
+ Lacak token per permintaan (optimalkan permintaan)
+ Gunakan CloudWatch metrik untuk pemanfaatan dan pelambatan
+ Atur alarm penagihan untuk lonjakan tak terduga
+ Tinjau pemanfaatan tingkat cadangan setiap bulan
+ Evaluasi peningkatan tingkat hanya saat pelambatan terjadi
# Memproses beberapa prompt dengan inferensi batch
Dengan inferensi batch, Anda dapat mengirimkan beberapa prompt dan menghasilkan respons secara asinkron. Anda dapat memformat data input Anda dengan menggunakan format `InvokeModel` atau `Converse` API. Inferensi Batch membantu Anda memproses sejumlah besar permintaan secara efisien dengan mengirimkan satu permintaan dan menghasilkan respons dalam bucket Amazon S3. Setelah menentukan input model dalam file yang Anda buat, Anda mengunggah file ke bucket S3. Anda kemudian mengirimkan permintaan inferensi batch dan menentukan bucket S3. Setelah pekerjaan selesai, Anda dapat mengambil file output dari S3. Anda dapat menggunakan inferensi batch untuk meningkatkan kinerja inferensi model pada kumpulan data besar.
**catatan**
Inferensi Batch tidak didukung untuk model yang disediakan.
Lihat sumber daya berikut untuk informasi umum tentang inferensi batch:
+ Untuk melihat harga untuk inferensi batch, lihat harga [Amazon Bedrock](https://aws.amazon.com/bedrock/pricing/).
+ Untuk melihat kuota untuk inferensi batch, lihat [titik akhir Amazon Bedrock dan](https://docs.aws.amazon.com/general/latest/gr/bedrock.html) kuota di. Referensi Umum AWS
+ Untuk menerima pemberitahuan saat pekerjaan inferensi batch selesai atau mengubah status alih-alih polling, lihat. [Pantau perubahan status pekerjaan Amazon Bedrock menggunakan Amazon EventBridgePantau perubahan acara](monitoring-eventbridge.md)
**Topics**
+ [Wilayah dan model yang Didukung untuk inferensi batch](batch-inference-supported.md)
+ [Prasyarat untuk inferensi batch](batch-inference-prereq.md)
+ [Buat pekerjaan inferensi batch](batch-inference-create.md)
+ [Pantau pekerjaan inferensi batch](batch-inference-monitor.md)
+ [Hentikan pekerjaan inferensi batch](batch-inference-stop.md)
+ [Lihat hasil pekerjaan inferensi batch](batch-inference-results.md)
+ [Contoh kode untuk inferensi batch](batch-inference-example.md)
+ [Mengirimkan sekumpulan prompt dengan OpenAI Batch API](inference-openai-batch.md)
# Wilayah dan model yang Didukung untuk inferensi batch
Daftar berikut menyediakan tautan ke informasi umum tentang dukungan Regional dan model di Amazon Bedrock:
+ Untuk daftar kode Wilayah dan titik akhir yang didukung di Amazon Bedrock, lihat titik [akhir dan kuota Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#bedrock_region).
+ Untuk daftar model IDs Amazon Bedrock yang akan digunakan saat memanggil operasi Amazon Bedrock API, lihat. [Model pondasi yang didukung di Amazon Bedrock](models-supported.md)
+ Untuk daftar profil IDs inferensi Amazon Bedrock yang akan digunakan saat memanggil operasi Amazon Bedrock API, lihat. [Profil inferensi lintas wilayah yang didukung](inference-profiles-support.md#inference-profiles-support-system)
Inferensi Batch dapat digunakan dengan berbagai jenis model. Daftar berikut menjelaskan dukungan untuk berbagai jenis model Amazon Bedrock:
+ **Dukungan model wilayah tunggal** — Daftar wilayah yang mendukung pengiriman permintaan inferensi ke model dasar dalam satu AWS Wilayah. Untuk tabel lengkap model yang tersedia di seluruh Amazon Bedrock, lihat[Model pondasi yang didukung di Amazon Bedrock](models-supported.md).
+ **Dukungan profil inferensi lintas wilayah** — Daftar wilayah yang mendukung penggunaan profil inferensi lintas wilayah, yang mendukung pengiriman permintaan inferensi ke model fondasi di beberapa AWS wilayah dalam wilayah geografis. Profil inferensi memiliki awalan yang mendahului ID model yang menunjukkan wilayah geografisnya (misalnya,,). `us.` `apac` Untuk informasi selengkapnya tentang profil inferensi yang tersedia di seluruh Amazon Bedrock, lihat. [Wilayah dan model yang Didukung untuk profil inferensi](inference-profiles-support.md)
+ **Dukungan model kustom** - Daftar wilayah yang mendukung pengiriman permintaan inferensi ke model yang disesuaikan. Untuk informasi selengkapnya tentang kustomisasi model, lihat[Sesuaikan model Anda untuk meningkatkan kinerjanya untuk kasus penggunaan Anda](custom-models.md).
Tabel berikut merangkum dukungan untuk inferensi batch:
| Penyedia | Model | ID Model | Dukungan model wilayah tunggal | Dukungan profil inferensi lintas wilayah | Dukungan model kustom |
| --- | --- | --- | --- | --- | --- |
| Amazon | Embeddings Multimodal Amazon Nova | amazon.nova-2- 1:0 multimodal-embeddings-v | us-east-1 | | N/A |
| Amazon | Nova 2 Lite | amazon.nova-2-lite-v 1:0 | N/A | ap-timur-2 ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-5 ap-tenggara 7 ca-central-1 ca-west-1 eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-2 eu-west-3 il-central-1 me-central-1 us-east-1 us-east-2 us-west-1 us-west-2 | N/A |
| Amazon | Nova Lite | Amazon. nova-lite-v1:0 | me-central-1 us-east-1 us-gov-west-1 | ap-timur-2 ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-5 ap-tenggara 7 ca-central-1 ca-west-1 eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 il-central-1 me-central-1 us-east-1 us-east-2 us-west-1 us-west-2 | N/A |
| Amazon | Nova Mikro | Amazon. nova-micro-v1:0 | us-east-1 us-gov-west-1 | ap-timur-2 ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-5 ap-tenggara 7 eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 il-central-1 me-central-1 us-east-1 us-east-2 us-west-2 | N/A |
| Amazon | Nova Premier | Amazon. nova-premier-v1:0 | N/A | us-east-1 us-east-2 us-west-2 | N/A |
| Amazon | Nova Pro | Amazon. nova-pro-v1:0 | ap-southeast-3 me-central-1 us-east-1 us-gov-west-1 | ap-timur-2 ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-5 ap-tenggara 7 eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 il-central-1 me-central-1 us-east-1 us-east-2 us-west-1 us-west-2 | N/A |
| Amazon | Embeddings Multimodal Titan G1 | Amazon. titan-embed-image-v1 | ap-south-1 ap-southeast-2 ca-sentral-1 eu-central-1 eu-west-1 eu-west-2 eu-west-3 sa-east-1 us-east-1 us-west-2 | | us-east-1 us-west-2 |
| Amazon | Penyematan Teks Titan V2 | Amazon. titan-embed-text-v2:0 | ap-northeast-1 ap-northeast-2 ca-central-1 eu-central-1 eu-central-2 eu-north-1 eu-south-1 eu-south-2 eu-west-2 sa-east-1 us-east-1 us-west-2 | | N/A |
| Antropik | Claude 3 Haiku | anthropic.claude-3-haiku-20240307-v 1:0 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 ca-sentral-1 eu-central-1 eu-central-2 eu-west-1 eu-west-2 eu-west-3 sa-east-1 us-east-1 us-west-2 | N/A | N/A |
| Antropik | Claude 3 Karya | anthropic.claude-3-opus-20240229-v 1:0 | us-west-2 | us-east-1 | N/A |
| Antropik | Claude 3 Soneta | anthropic.claude-3-sonnet-20240229-v 1:0 | ap-northeast-2 ap-south-1 ap-southeast-2 ca-sentral-1 eu-central-1 eu-west-1 eu-west-2 eu-west-3 sa-east-1 us-east-1 us-west-2 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 eu-central-1 eu-west-1 eu-west-3 us-east-1 us-west-2 | N/A |
| Antropik | Claude 3.5 Haiku | anthropic.claude-3-5-haiku-20241022-v 1:0 | us-west-2 | us-east-1 | N/A |
| Antropik | Claude 3.5 Soneta | anthropic.claude-3-5-sonnet-20240620-v 1:0 | ap-northeast-1 ap-northeast-2 ap-southeast-1 eu-central-1 us-east-1 us-east-2 us-west-2 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 eu-central-1 eu-west-1 eu-west-3 us-east-1 us-west-2 | N/A |
| Antropik | Claude 3.5 Soneta v2 | anthropic.claude-3-5-sonnet-20241022-v 2:0 | us-west-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 us-east-1 us-east-2 us-west-2 | N/A |
| Antropik | Claude 3.7 Soneta | anthropic.claude-3-7-sonnet-20250219-v 1:0 | N/A | ap-northeast-1 ap-northeast-2 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 eu-central-1 eu-north-1 eu-west-1 eu-west-3 us-east-1 us-east-2 us-west-2 | N/A |
| Antropik | Claude Haiku 4.5 | anthropic.claude-haiku-4-5-20251001-v 1:0 | N/A | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ca-central-1 eu-central-1 eu-central-2 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-2 eu-west-3 sa-east-1 us-east-1 us-east-2 us-west-1 us-west-2 | N/A |
| Antropik | Claude Opus 4.5 | anthropic.claude-opus-4-5-20251101-v 1:0 | N/A | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ca-central-1 eu-central-1 eu-central-2 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-2 eu-west-3 sa-east-1 us-east-1 us-east-2 us-west-1 us-west-2 | N/A |
| Antropik | Claude Opus 4.6 | anthropic.claude-opus-4-6-v1 | N/A | af-south-1 ap-timur-2 ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-5 ap-tenggara 7 ca-central-1 ca-west-1 eu-central-1 eu-central-2 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-2 eu-west-3 il-central-1 me-central-1 me-south-1 mx-pusat-1 sa-east-1 us-east-1 us-east-2 us-west-1 us-west-2 | N/A |
| Antropik | Claude Soneta 4 | anthropic.claude-sonnet-4-20250514-v 1:0 | N/A | ap-timur-2 ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-5 ap-tenggara 7 eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 il-central-1 me-central-1 us-east-1 us-east-2 us-west-1 us-west-2 | N/A |
| Antropik | Claude Soneta 4.5 | anthropic.claude-sonnet-4-5-20250929-v 1:0 | N/A | af-south-1 ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ca-central-1 ca-west-1 eu-central-1 eu-central-2 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-2 eu-west-3 me-south-1 mx-pusat-1 sa-east-1 us-east-1 us-east-2 us-gov-east-1 us-gov-west-1 us-west-1 us-west-2 | N/A |
| Antropik | Claude Soneta 4.6 | antropik.claude-sonnet-4-6 | eu-west-2 | af-south-1 ap-timur-2 ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-5 ap-tenggara 7 ca-central-1 ca-west-1 eu-central-1 eu-central-2 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-2 eu-west-3 il-central-1 me-central-1 me-south-1 mx-pusat-1 sa-east-1 us-east-1 us-east-2 us-west-1 us-west-2 | N/A |
| DeepSeek | DeepSeek V3.2 | deepseek.v3.2 | ap-northeast-1 ap-south-1 ap-southeast-2 ap-southeast-3 eu-north-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | N/A | N/A |
| DeepSeek | DeepSeek-V3.1 | deepseek.v3-v 1:0 | ap-northeast-1 ap-south-1 ap-southeast-2 ap-southeast-3 eu-north-1 eu-west-2 us-east-2 us-west-2 | | N/A |
| Google | Gemma 3 12B IT | google.gemma-3-12b | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | N/A | N/A |
| Google | Gemma 3 27B PT | google.gemma-3-27b-it | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | N/A | N/A |
| Google | Gemma 3 4B IT | google.gemma-3-4b-it | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | N/A | N/A |
| Meta | Instruksi Llama 3.1 405B | b-instruct-vmeta.llama3-1-405 1:0 | us-west-2 | | N/A |
| Meta | Instruksi Llama 3.1 70B | b-instruct-vmeta.llama3-1-70 1:0 | us-west-2 | us-east-1 us-west-2 | N/A |
| Meta | Instruksi Llama 3.1 8B | b-instruct-vmeta.llama3-1-8 1:0 | us-west-2 | us-east-1 us-west-2 | N/A |
| Meta | Instruksi Llama 3.2 11B | b-instruct-vmeta.llama3-2-11 1:0 | | us-east-1 us-west-2 | N/A |
| Meta | Instruksi Llama 3.2 1B | b-instruct-vmeta.llama3-2-1 1:0 | | eu-central-1 eu-west-1 eu-west-3 us-east-1 us-west-2 | N/A |
| Meta | Instruksi Llama 3.2 3B | b-instruct-vmeta.llama3-2-3 1:0 | | eu-central-1 eu-west-1 eu-west-3 us-east-1 us-west-2 | N/A |
| Meta | Instruksi Llama 3.2 90B | b-instruct-vmeta.llama3-2-90 1:0 | | us-east-1 us-west-2 | N/A |
| Meta | Instruksi Llama 3.3 70B | b-instruct-vmeta.llama3-3-70 1:0 | us-east-2 | us-east-1 us-east-2 us-west-2 | N/A |
| Meta | Llama 4 Maverick 17B Instruksi | b-instruct-vmeta.llama4-maverick-17 1:0 | | us-east-1 us-east-2 us-west-1 us-west-2 | N/A |
| Meta | Instruksi Llama 4 Scout 17B | b-instruct-vmeta.llama4-pramuka-17 1:0 | | us-east-1 us-east-2 us-west-1 us-west-2 | N/A |
| MiniMax | MiniMax M2 | minimax.minimax-m2 | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | N/A | N/A |
| MiniMax | MiniMax M2.1 | minimax.minimax-m2.1 | ap-northeast-1 ap-south-1 ap-southeast-2 ap-southeast-3 eu-central-1 eu-north-1 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | N/A | N/A |
| Mistral AI | Devstral 2 123B | mistral.devstral-2-123b | ap-northeast-1 ap-south-1 ap-southeast-2 ap-southeast-3 eu-central-1 eu-north-1 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | N/A | N/A |
| Mistral AI | Magistral Kecil 2509 | mistral.magistral-kecil-2509 | ap-northeast-1 ap-south-1 ap-southeast-2 sa-east-1 us-east-1 us-east-2 us-west-2 | N/A | N/A |
| Mistral AI | Ministro 14B 3.0 | mistral.ministral-3-14b-instruktur | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | N/A | N/A |
| Mistral AI | Kementerian 3 8B | mistral.ministral-3-8b-instruktur | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | N/A | N/A |
| Mistral AI | Ministro 3B | mistral.ministral-3-3b-instruktur | ap-northeast-1 ap-south-1 ap-southeast-2 sa-east-1 us-east-1 us-east-2 us-west-2 | N/A | N/A |
| Mistral AI | Mistral Besar (24.07) | mistral.mistral-besar-2407-v 1:0 | us-west-2 | N/A | N/A |
| Mistral AI | Mistral Besar 3 | mistral.mistral-besar-3-675b-instruktur | ap-northeast-1 ap-south-1 ap-southeast-2 sa-east-1 us-east-1 us-east-2 us-west-2 | N/A | N/A |
| Mistral AI | Mistral Kecil (24.02) | mistral.mistral-kecil-2402-v 1:0 | us-east-1 | N/A | N/A |
| Mistral AI | Voxtral Mini 3B 2507 | mistral.voxtral-mini-3b-2507 | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | N/A | N/A |
| Mistral AI | Voxtral Kecil 24B 2507 | mistral.voxtral-kecil-24b-2507 | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | N/A | N/A |
| Moonshot AI | Kimi K2 Berpikir | moonshot.kimi-k2-berpikir | ap-northeast-1 ap-south-1 ap-southeast-2 sa-east-1 us-east-1 us-east-2 us-west-2 | N/A | N/A |
| Moonshot AI | Kimi K2.5 | moonshotai.kimi-k2.5 | ap-northeast-1 ap-south-1 ap-southeast-2 ap-southeast-3 eu-north-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | N/A | N/A |
| NVIDIA | NVIDIA Nemotron Nano 12B v2 VL BF16 | nvidia.nemotron-nano-12b-v2 | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | N/A | N/A |
| NVIDIA | NVIDIA Nemotron Nano 9B v2 | nvidia.nemotron-nano-9b-v2 | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | N/A | N/A |
| NVIDIA | Nemotron Nano 3 30B | nvidia.nemotron-nano-3-30b | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | N/A | N/A |
| OpenAI | GPT OSS Safeguard 120B | terbuka. gpt-oss-safeguard-120b | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | N/A | N/A |
| OpenAI | GPT OSS Safeguard 20B | terbuka. gpt-oss-safeguard-20b | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | N/A | N/A |
| OpenAI | gpt-oss-120b | openai.gpt-oss-120b- 1:0 | ap-northeast-1 ap-south-1 ap-southeast-2 ap-southeast-3 eu-central-1 eu-north-1 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-gov-west-1 us-west-2 | N/A | N/A |
| OpenAI | gpt-oss-20b | openai.gpt-oss-20b- 1:0 | ap-northeast-1 ap-south-1 ap-southeast-2 ap-southeast-3 eu-central-1 eu-north-1 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-gov-west-1 us-west-2 | N/A | N/A |
| Qwen | Qwen3 235B A22B 2507 | qwen.qwen3-235b-a22b-2507-v 1:0 | ap-northeast-1 ap-south-1 ap-southeast-2 ap-southeast-3 eu-central-1 eu-north-1 eu-south-1 eu-west-2 us-east-2 us-west-2 | N/A | N/A |
| Qwen | Qwen3 32B (padat) | qwen.qwen3-32b-v 1:0 | ap-northeast-1 ap-south-1 ap-southeast-2 ap-southeast-3 eu-central-1 eu-north-1 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | N/A | N/A |
| Qwen | Qwen3 Coder 480B A35B Instruksi | qwen.qwen3-coder-480b-a35b-v 1:0 | ap-northeast-1 ap-south-1 ap-southeast-2 ap-southeast-3 eu-north-1 eu-west-2 us-east-2 us-west-2 | N/A | N/A |
| Qwen | Qwen3 Coder Berikutnya | qwen.qwen3-coder-next | ap-southeast-2 eu-west-2 us-east-1 | N/A | N/A |
| Qwen | Qwen3 Berikutnya 80B A3B | qwen.qwen3-next-80b-a3b | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | N/A | N/A |
| Qwen | Qwen3 VL 235B A22B | qwen.qwen3-vl-235b-a22b | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | N/A | N/A |
| Qwen | Qwen3-Coder-30B-A3B-Instruksi | qwen.qwen3-coder-30b-a3b-v 1:0 | ap-northeast-1 ap-south-1 ap-southeast-2 ap-southeast-3 eu-central-1 eu-north-1 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | N/A | N/A |
| Z.AI | GLM 4,7 | zai.glm-4.7 | ap-northeast-1 ap-south-1 ap-southeast-2 ap-southeast-3 eu-north-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | N/A | N/A |
| Z.AI | GLM 4.7 Flash | zai.glm-4.7-flash | ap-northeast-1 ap-south-1 ap-southeast-2 ap-southeast-3 eu-central-1 eu-north-1 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | N/A | N/A |
# Prasyarat untuk inferensi batch
Untuk melakukan inferensi batch, Anda harus memenuhi prasyarat berikut:
1. Siapkan kumpulan data Anda dan unggah ke bucket Amazon S3.
1. Buat bucket S3 untuk data keluaran Anda.
1. Siapkan izin terkait inferensi batch untuk identitas IAM yang relevan.
1. (Opsional) Siapkan VPC untuk melindungi data di S3 Anda saat melakukan inferensi batch. Anda dapat melewati langkah ini jika Anda tidak perlu menggunakan VPC.
Untuk mempelajari cara memenuhi prasyarat ini, navigasikan topik-topik berikut:
**Topics**
+ [Format dan unggah data inferensi batch Anda](batch-inference-data.md)
+ [Izin yang diperlukan untuk inferensi batch](batch-inference-permissions.md)
+ [Lindungi pekerjaan inferensi batch menggunakan VPC](batch-vpc.md)
# Format dan unggah data inferensi batch Anda
Anda harus menambahkan data inferensi batch ke lokasi S3 yang akan Anda pilih atau tentukan saat mengirimkan pekerjaan pemanggilan model. Lokasi S3 harus berisi item berikut:
+ Setidaknya satu file JSONL yang mendefinisikan input model. Sebuah JSONL berisi baris objek JSON. File JSONL Anda harus diakhiri dengan ekstensi.jsonl dan dalam format berikut:
```
{ "recordId" : "alphanumeric string", "modelInput" : {JSON body} }
...
```
Setiap baris berisi objek JSON dengan `recordId` bidang dan `modelInput` bidang. Format objek `modelInput` JSON bergantung pada jenis pemanggilan model yang Anda pilih saat Anda [membuat pekerjaan inferensi batch](batch-inference-create.md). Jika Anda menggunakan `InvokeModel` tipe (default), format harus cocok dengan `body` bidang untuk model yang Anda gunakan dalam `InvokeModel` permintaan (lihat[Parameter permintaan inferensi dan bidang respons untuk model dasar](model-parameters.md)). Jika Anda menggunakan `Converse` tipe tersebut, formatnya harus sesuai dengan isi permintaan [Converse](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html) API.
**catatan**
Jika Anda menghilangkan `recordId` bidang, Amazon Bedrock menambahkannya di output.
Urutan catatan dalam file JSONL keluaran tidak dijamin cocok dengan urutan catatan dalam file JSONL input.
Anda menentukan model yang ingin Anda gunakan saat membuat [pekerjaan inferensi batch](batch-inference-create.md).
+ (Jika konten input Anda berisi lokasi Amazon S3) Beberapa model memungkinkan Anda untuk menentukan konten input sebagai lokasi S3. Lihat [Contoh masukan video untuk Amazon Nova](#batch-inference-data-ex-s3).
**Awas**
Saat menggunakan S3 URIs di prompt Anda, semua sumber daya harus berada di bucket dan folder S3 yang sama. `InputDataConfig`Parameter harus menentukan jalur folder yang berisi semua sumber daya yang ditautkan (seperti video atau gambar), bukan hanya `.jsonl` file individual. Perhatikan bahwa jalur S3 peka huruf besar/kecil, jadi pastikan Anda URIs cocok dengan struktur folder yang tepat.
Pastikan input Anda sesuai dengan kuota inferensi batch. Anda dapat mencari kuota berikut di kuota [layanan Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#limits_bedrock):
+ **Jumlah minimum catatan per pekerjaan inferensi batch** - Jumlah minimum catatan (objek JSON) di seluruh file JSONL dalam pekerjaan.
+ **Rekaman per file input per pekerjaan inferensi batch** - Jumlah maksimum catatan (objek JSON) dalam satu file JSONL dalam pekerjaan.
+ **Rekaman per pekerjaan inferensi batch** — Jumlah maksimum catatan (objek JSON) di seluruh file JSONL dalam pekerjaan.
+ **Ukuran file input inferensi Batch** — Ukuran maksimum satu file dalam pekerjaan.
+ **Ukuran pekerjaan inferensi Batch — Ukuran** kumulatif maksimum dari semua file input.
Untuk lebih memahami cara mengatur input inferensi batch Anda, lihat contoh berikut:
## Contoh masukan teks untuk Anthropic Claude 3 Haiku
Jika Anda berencana untuk menjalankan inferensi batch menggunakan format [Messages API](model-parameters-anthropic-claude-messages.md) untuk Anthropic Claude 3 Haiku model, Anda dapat menyediakan file JSONL yang berisi objek JSON berikut sebagai salah satu baris:
```
{
"recordId": "CALL0000001",
"modelInput": {
"anthropic_version": "bedrock-2023-05-31",
"max_tokens": 1024,
"messages": [
{
"role": "user",
"content": [
{
"type": "text",
"text": "Summarize the following call transcript: ..."
}
]
}
]
}
}
```
## Contoh masukan video untuk Amazon Nova
Jika Anda berencana untuk menjalankan inferensi batch pada input video menggunakan Amazon Nova Pro model Amazon Nova Lite atau, Anda memiliki opsi untuk mendefinisikan video dalam byte atau sebagai lokasi S3 di file JSONL. Misalnya, Anda mungkin memiliki bucket S3 yang jalurnya `s3://batch-inference-input-bucket` dan berisi file-file berikut:
```
s3://batch-inference-input-bucket/
├── videos/
│ ├── video1.mp4
│ ├── video2.mp4
│ ├── ...
│ └── video50.mp4
└── input.jsonl
```
Contoh catatan dari `input.jsonl` file tersebut adalah sebagai berikut:
```
{
"recordId": "RECORD01",
"modelInput": {
"messages": [
{
"role": "user",
"content": [
{
"text": "You are an expert in recipe videos. Describe this video in less than 200 words following these guidelines: ..."
},
{
"video": {
"format": "mp4",
"source": {
"s3Location": {
"uri": "s3://batch-inference-input-bucket/videos/video1.mp4",
"bucketOwner": "111122223333"
}
}
}
}
]
}
]
}
}
```
Saat Anda membuat pekerjaan inferensi batch, Anda harus menentukan jalur folder `s3://batch-inference-input-bucket` di `InputDataConfig` parameter Anda. Inferensi Batch akan memproses `input.jsonl` file di lokasi ini, bersama dengan sumber daya yang direferensikan (seperti file video di `videos` subfolder).
Sumber daya berikut memberikan informasi lebih lanjut tentang mengirimkan input video untuk inferensi batch:
+ Untuk mempelajari cara memvalidasi Amazon URIs S3 dalam permintaan input, lihat blog Parsing URL [Amazon S3](https://aws.amazon.com/blogs/devops/s3-uri-parsing-is-now-available-in-aws-sdk-for-java-2-x/).
+ Untuk informasi lebih lanjut tentang cara mengatur catatan doa untuk pemahaman video dengan Nova, lihat pedoman yang [mendorong Amazon Nova visi](https://docs.aws.amazon.com/nova/latest/userguide/prompting-vision-prompting.html).
## Contoh masukan Converse
Jika Anda menyetel tipe pemanggilan model `Converse` saat membuat pekerjaan inferensi batch, `modelInput` bidang tersebut harus menggunakan format permintaan Converse API. Contoh berikut menunjukkan catatan JSONL untuk pekerjaan inferensi batch Converse:
```
{
"recordId": "CALL0000001",
"modelInput": {
"messages": [
{
"role": "user",
"content": [
{
"text": "Summarize the following call transcript: ..."
}
]
}
],
"inferenceConfig": {
"maxTokens": 1024
}
}
}
```
Untuk daftar lengkap bidang yang didukung di badan permintaan Converse, lihat [Converse](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html) di referensi API.
Topik berikut menjelaskan cara mengatur akses S3 dan izin inferensi batch untuk identitas agar dapat melakukan inferensi batch.
# Izin yang diperlukan untuk inferensi batch
Untuk melakukan inferensi batch, Anda harus menyiapkan izin untuk identitas IAM berikut:
+ Identitas IAM yang akan membuat dan mengelola pekerjaan inferensi batch.
+ [Peran layanan](security-iam-sr.md) inferensi batch yang diasumsikan Amazon Bedrock untuk melakukan tindakan atas nama Anda.
Untuk mempelajari cara mengatur izin untuk setiap identitas, navigasikan topik berikut:
**Topics**
+ [Izin yang diperlukan untuk identitas IAM untuk mengirimkan dan mengelola pekerjaan inferensi batch](#batch-inference-permissions-user)
+ [Izin yang diperlukan untuk peran layanan untuk melakukan inferensi batch](#batch-inference-permissions-service)
## Izin yang diperlukan untuk identitas IAM untuk mengirimkan dan mengelola pekerjaan inferensi batch
Agar identitas IAM menggunakan fitur ini, Anda harus mengonfigurasinya dengan izin yang diperlukan. Untuk melakukannya, lakukan salah satu hal berikut:
+ Untuk mengizinkan identitas melakukan semua tindakan Amazon Bedrock, lampirkan [AmazonBedrockFullAccess](security-iam-awsmanpol.md#security-iam-awsmanpol-AmazonBedrockFullAccess)kebijakan ke identitas. Jika Anda melakukan ini, Anda dapat melewati topik ini. Opsi ini kurang aman.
+ Sebagai praktik terbaik keamanan, Anda harus memberikan hanya tindakan yang diperlukan untuk identitas. Topik ini menjelaskan izin yang Anda perlukan untuk fitur ini.
Untuk membatasi izin hanya tindakan yang digunakan untuk inferensi batch, lampirkan kebijakan berbasis identitas berikut ke identitas IAM:
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "BatchInference",
"Effect": "Allow",
"Action": [
"bedrock:ListFoundationModels",
"bedrock:GetFoundationModel",
"bedrock:ListInferenceProfiles",
"bedrock:GetInferenceProfile",
"bedrock:ListCustomModels",
"bedrock:GetCustomModel",
"bedrock:TagResource",
"bedrock:UntagResource",
"bedrock:ListTagsForResource",
"bedrock:CreateModelInvocationJob",
"bedrock:GetModelInvocationJob",
"bedrock:ListModelInvocationJobs",
"bedrock:StopModelInvocationJob"
],
"Resource": "*"
}
]
}
```
------
Untuk membatasi izin lebih lanjut, Anda dapat menghilangkan tindakan, atau Anda dapat menentukan sumber daya dan kunci kondisi untuk memfilter izin. Untuk informasi selengkapnya tentang tindakan, sumber daya, dan kunci kondisi, lihat topik berikut di *Referensi Otorisasi Layanan*:
+ [Tindakan yang ditentukan oleh Amazon Bedrock](https://docs.aws.amazon.com/service-authorization/latest/reference/list_amazonbedrock.html#amazonbedrock-actions-as-permissions) — Pelajari tentang tindakan, jenis sumber daya yang dapat Anda cakupannya di `Resource` bidang, dan kunci kondisi tempat Anda dapat memfilter izin di `Condition` bidang.
+ [Jenis sumber daya yang ditentukan oleh Amazon Bedrock](https://docs.aws.amazon.com/service-authorization/latest/reference/list_amazonbedrock.html#amazonbedrock-resources-for-iam-policies) — Pelajari tentang jenis sumber daya di Amazon Bedrock.
+ [Kunci kondisi untuk Amazon Bedrock](https://docs.aws.amazon.com/service-authorization/latest/reference/list_amazonbedrock.html#amazonbedrock-policy-keys) - Pelajari tentang kunci kondisi di Amazon Bedrock.
Kebijakan berikut adalah contoh yang mencakup izin untuk inferensi batch agar hanya mengizinkan pengguna dengan ID `123456789012` akun membuat pekerjaan inferensi batch di `us-west-2` Wilayah, menggunakan model: Anthropic Claude 3 Haiku
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "CreateBatchInferenceJob",
"Effect": "Allow",
"Action": [
"bedrock:CreateModelInvocationJob"
],
"Resource": [
"arn:aws:bedrock:us-west-2::foundation-model/anthropic.claude-3-haiku-20240307-v1:0",
"arn:aws:bedrock:us-west-2:123456789012:model-invocation-job/*"
]
}
]
}
```
------
## Izin yang diperlukan untuk peran layanan untuk melakukan inferensi batch
Inferensi Batch dilakukan oleh [peran layanan](security-iam-sr.md) yang mengasumsikan identitas Anda untuk melakukan tindakan atas nama Anda. Anda dapat membuat peran layanan dengan cara berikut:
+ Biarkan Amazon Bedrock secara otomatis membuat peran layanan dengan izin yang diperlukan untuk Anda dengan menggunakan. Konsol Manajemen AWS Anda dapat memilih opsi ini saat membuat pekerjaan inferensi batch.
+ Buat peran layanan khusus untuk Amazon Bedrock dengan menggunakan AWS Identity and Access Management dan melampirkan izin yang diperlukan. Saat Anda mengirimkan pekerjaan inferensi batch, Anda kemudian menentukan peran ini. Untuk informasi selengkapnya tentang membuat peran layanan kustom untuk inferensi batch, lihat[Buat peran layanan khusus untuk inferensi batch](batch-iam-sr.md). Untuk informasi umum selengkapnya tentang membuat peran layanan, lihat [Membuat peran untuk mendelegasikan izin ke Layanan AWS dalam Panduan](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_roles_create_for-service.html) Pengguna IAM.
**penting**
Jika bucket S3 tempat Anda [mengunggah data untuk inferensi batch](batch-inference-data.md) berbedaAkun AWS, Anda harus mengonfigurasi kebijakan bucket S3 agar peran layanan mengakses data. Anda harus mengonfigurasi kebijakan ini secara manual meskipun Anda menggunakan konsol untuk membuat peran layanan secara otomatis. Untuk mempelajari cara mengonfigurasi kebijakan bucket S3 untuk sumber daya Amazon Bedrock, lihat. [Lampirkan kebijakan bucket ke bucket Amazon S3 untuk mengizinkan akun lain mengaksesnya](s3-bucket-access.md#s3-bucket-access-cross-account)
Model Foundation di Amazon Bedrock adalah sumber daya yang AWS dikelola yang tidak dapat digunakan dengan kondisi kebijakan IAM yang memerlukan kepemilikan pelanggan. Model-model ini dimiliki dan dioperasikan olehAWS, dan tidak dapat dimiliki oleh pelanggan individu. Setiap kondisi kebijakan IAM yang memeriksa sumber daya milik pelanggan (seperti kondisi yang menggunakan tag sumber daya, ID organisasi, atau atribut kepemilikan lainnya) akan gagal ketika diterapkan pada model yayasan, berpotensi memblokir akses yang sah ke layanan ini.
Misalnya, jika polis Anda menyertakan `aws:ResourceOrgID` kondisi seperti ini:
```
{
"Condition": {
"StringEqualsIgnoreCase": {
"aws:ResourceOrgID": ["o-xxxxxxxx"]
}
}
}
```
Pekerjaan inferensi batch Anda akan gagal. `AccessDeniedException` Hapus `aws:ResourceOrgID` kondisi atau buat pernyataan kebijakan terpisah untuk model pondasi.
# Lindungi pekerjaan inferensi batch menggunakan VPC
Saat Anda menjalankan pekerjaan inferensi batch, job tersebut akan mengakses bucket Amazon S3 Anda untuk mengunduh data input dan menulis data keluaran. Untuk mengontrol akses ke data Anda, kami sarankan Anda menggunakan virtual private cloud (VPC) dengan Amazon [VPC](https://docs.aws.amazon.com/vpc/latest/userguide/what-is-amazon-vpc.html). Anda dapat lebih melindungi data Anda dengan mengonfigurasi VPC Anda sehingga data Anda tidak tersedia melalui internet dan sebagai gantinya membuat titik akhir [AWS PrivateLink](https://docs.aws.amazon.com/vpc/latest/privatelink/what-is-privatelink.html)antarmuka VPC untuk membuat koneksi pribadi ke data Anda. Untuk informasi selengkapnya tentang cara Amazon VPC dan AWS PrivateLink berintegrasi dengan Amazon Bedrock, lihat. [Lindungi data Anda menggunakan Amazon VPC dan AWS PrivateLink](usingVPC.md)
Lakukan langkah-langkah berikut untuk mengonfigurasi dan menggunakan VPC untuk petunjuk input dan respons model keluaran untuk pekerjaan inferensi batch Anda.
**Topics**
+ [Siapkan VPC untuk melindungi data Anda selama inferensi batch](#batch-vpc-setup)
+ [Lampirkan izin VPC ke peran inferensi batch](#batch-vpc-role)
+ [Tambahkan konfigurasi VPC saat mengirimkan pekerjaan inferensi batch](#batch-vpc-config)
## Siapkan VPC untuk melindungi data Anda selama inferensi batch
Untuk menyiapkan VPC, ikuti langkah-langkah di. [Menyiapkan VPC](usingVPC.md#create-vpc) Anda dapat lebih mengamankan VPC Anda dengan menyiapkan titik akhir VPC S3 dan menggunakan kebijakan IAM berbasis sumber daya untuk membatasi akses ke bucket S3 yang berisi data inferensi batch Anda dengan mengikuti langkah-langkah di. [(Contoh) Batasi akses data ke data Amazon S3 Anda menggunakan VPC](vpc-s3.md)
## Lampirkan izin VPC ke peran inferensi batch
Setelah Anda selesai menyiapkan VPC Anda, lampirkan izin berikut ke [peran layanan inferensi batch](batch-iam-sr.md) Anda untuk memungkinkannya mengakses VPC. Ubah kebijakan ini untuk mengizinkan akses hanya ke sumber daya VPC yang dibutuhkan pekerjaan Anda. Ganti *subnet-ids* dan *security-group-id* dengan nilai dari VPC Anda.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "1",
"Effect": "Allow",
"Action": [
"ec2:DescribeNetworkInterfaces",
"ec2:DescribeVpcs",
"ec2:DescribeDhcpOptions",
"ec2:DescribeSubnets",
"ec2:DescribeSecurityGroups"
],
"Resource": [
"*"
]
},
{
"Sid": "2",
"Effect": "Allow",
"Action": [
"ec2:CreateNetworkInterface"
],
"Resource": [
"arn:aws:ec2:us-east-1:123456789012:network-interface/*",
"arn:aws:ec2:us-east-1:123456789012:subnet/${{subnet-id}}",
"arn:aws:ec2:us-east-1:123456789012:security-group/${{security-group-id}}"
],
"Condition": {
"StringEquals": {
"aws:RequestTag/BedrockManaged": [
"true"
]
},
"ArnEquals": {
"aws:RequestTag/BedrockModelInvocationJobArn": [
"arn:aws:bedrock:us-east-1:123456789012:model-invocation-job/*"
]
}
}
},
{
"Sid": "3",
"Effect": "Allow",
"Action": [
"ec2:CreateNetworkInterfacePermission",
"ec2:DeleteNetworkInterface",
"ec2:DeleteNetworkInterfacePermission"
],
"Resource": [
"*"
],
"Condition": {
"StringEquals": {
"ec2:Subnet": [
"arn:aws:ec2:us-east-1:123456789012:subnet/${{subnet-id}}"
]
},
"ArnEquals": {
"ec2:ResourceTag/BedrockModelInvocationJobArn": [
"arn:aws:bedrock:us-east-1:123456789012:model-invocation-job/*"
]
}
}
},
{
"Sid": "4",
"Effect": "Allow",
"Action": [
"ec2:CreateTags"
],
"Resource": "arn:aws:ec2:us-east-1:123456789012:network-interface/*",
"Condition": {
"StringEquals": {
"ec2:CreateAction": [
"CreateNetworkInterface"
]
},
"ForAllValues:StringEquals": {
"aws:TagKeys": [
"BedrockManaged",
"BedrockModelInvocationJobArn"
]
}
}
}
]
}
```
------
## Tambahkan konfigurasi VPC saat mengirimkan pekerjaan inferensi batch
Setelah mengonfigurasi VPC serta peran serta izin yang diperlukan seperti yang dijelaskan di bagian sebelumnya, Anda dapat membuat pekerjaan inferensi batch yang menggunakan VPC ini.
**catatan**
Saat ini, saat membuat pekerjaan inferensi batch, Anda hanya dapat menggunakan VPC melalui API.
Saat Anda menentukan subnet VPC dan grup keamanan untuk suatu pekerjaan, Amazon Bedrock membuat *antarmuka jaringan elastis* (ENIs) yang terkait dengan grup keamanan Anda di salah satu subnet. ENIs izinkan pekerjaan Amazon Bedrock terhubung ke sumber daya di VPC Anda. Untuk selengkapnya ENIs, lihat [Antarmuka Jaringan Elastis](https://docs.aws.amazon.com/vpc/latest/userguide/VPC_ElasticNetworkInterfaces.html) di Panduan *Pengguna Amazon VPC*. Amazon Bedrock tag ENIs yang dibuat dengan `BedrockManaged` dan `BedrockModelInvocationJobArn` tag.
Kami menyarankan Anda menyediakan setidaknya satu subnet di setiap Availability Zone.
Anda dapat menggunakan grup keamanan untuk menetapkan aturan untuk mengontrol akses Amazon Bedrock ke sumber daya VPC Anda.
Ketika Anda mengirimkan [CreateModelInvocationJob](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateModelInvocationJob.html)permintaan, Anda dapat menyertakan `VpcConfig` sebagai parameter permintaan untuk menentukan subnet VPC dan grup keamanan yang akan digunakan, seperti pada contoh berikut.
```
"vpcConfig": {
"securityGroupIds": [
"sg-0123456789abcdef0"
],
"subnets": [
"subnet-0123456789abcdef0",
"subnet-0123456789abcdef1",
"subnet-0123456789abcdef2"
]
}
```
# Buat pekerjaan inferensi batch
Setelah menyiapkan bucket Amazon S3 dengan file untuk menjalankan inferensi model, Anda dapat membuat pekerjaan inferensi batch. Sebelum Anda mulai, periksa apakah Anda mengatur file sesuai dengan instruksi yang dijelaskan dalam[Format dan unggah data inferensi batch Anda](batch-inference-data.md).
**catatan**
Untuk mengirimkan pekerjaan inferensi batch menggunakan VPC, Anda harus menggunakan API. Pilih tab API untuk mempelajari cara menyertakan konfigurasi VPC.
Untuk mempelajari cara membuat pekerjaan inferensi batch, pilih tab untuk metode pilihan Anda, lalu ikuti langkah-langkahnya:
------
#### [ Console ]
**Untuk membuat pekerjaan inferensi batch**
1. Masuk ke Konsol Manajemen AWS dengan identitas IAM yang memiliki izin untuk menggunakan konsol Amazon Bedrock. Kemudian, buka konsol Amazon Bedrock di [https://console.aws.amazon.com/bedrock](https://console.aws.amazon.com/bedrock).
1. Dari panel navigasi kiri, pilih **Inferensi Batch**.
1. Di bagian **pekerjaan inferensi Batch**, pilih **Buat pekerjaan**.
1. Di bagian **Job details**, berikan **nama** Job pada pekerjaan inferensi batch dan pilih model yang akan digunakan untuk pekerjaan inferensi batch dengan memilih **Select** model.
1. Di bagian **Jenis pemanggilan Model**, pilih format API untuk data input Anda. Pilih **InvokeModel**apakah data input Anda menggunakan format permintaan khusus model, atau pilih **Converse** jika data input Anda menggunakan format Converse API. Nilai default-nya **InvokeModel**.
1. Di bagian **Input data**, pilih **Browse S3** dan pilih lokasi S3 untuk pekerjaan inferensi batch Anda. Inferensi Batch memproses semua JSONL dan file konten yang menyertainya di lokasi S3 itu, apakah lokasinya adalah folder S3 atau satu file JSONL.
**catatan**
Jika data masukan ada di bucket S3 milik akun yang berbeda dari akun tempat Anda mengirimkan pekerjaan, Anda harus menggunakan API untuk mengirimkan pekerjaan inferensi batch. Untuk mempelajari cara melakukannya, pilih tab API di atas.
1. Di bagian **Output data**, pilih **Browse S3** dan pilih lokasi S3 untuk menyimpan file output dari pekerjaan inferensi batch Anda. Secara default, data output akan dienkripsi oleh file. Kunci yang dikelola AWS Untuk memilih kunci KMS kustom, pilih **Sesuaikan pengaturan enkripsi (lanjutan)** dan pilih kunci. Untuk informasi selengkapnya tentang enkripsi sumber daya Amazon Bedrock dan menyiapkan kunci KMS kustom, lihat. [Enkripsi data](data-encryption.md)
**catatan**
Jika Anda berencana untuk menulis data keluaran ke bucket S3 yang termasuk dalam akun berbeda dari akun tempat Anda mengirimkan pekerjaan, Anda harus menggunakan API untuk mengirimkan pekerjaan inferensi batch. Untuk mempelajari cara melakukannya, pilih tab API di atas.
1. Di bagian **Akses layanan**, pilih salah satu opsi berikut:
+ **Gunakan peran layanan yang ada** — Pilih peran layanan dari daftar drop-down. Untuk informasi selengkapnya tentang menyiapkan peran kustom dengan izin yang sesuai, lihat[Izin yang diperlukan untuk inferensi batch](batch-inference-permissions.md).
+ **Membuat dan menggunakan peran layanan baru** — Masukkan nama untuk peran layanan.
1. (Opsional) Untuk mengaitkan tag dengan pekerjaan inferensi batch, perluas bagian **Tag** dan tambahkan kunci dan nilai opsional untuk setiap tag. Untuk informasi selengkapnya, lihat [Menandai sumber daya Amazon Bedrock](tagging.md).
1. Pilih **Buat pekerjaan inferensi batch**.
------
#### [ API ]
Untuk membuat pekerjaan inferensi batch, kirim [CreateModelInvocationJob](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateModelInvocationJob.html)permintaan dengan titik akhir [bidang kontrol Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp).
Bidang berikut diperlukan:
****
| Bidang | Kasus penggunaan |
| --- | --- |
| jobName | Untuk menentukan nama untuk pekerjaan itu. |
| roleArn | Untuk menentukan Nama Sumber Daya Amazon (ARN) peran layanan dengan izin untuk membuat dan mengelola pekerjaan. Untuk informasi selengkapnya, lihat [Buat peran layanan khusus untuk inferensi batch](batch-iam-sr.md). |
| modelId | Untuk menentukan ID atau ARN model yang akan digunakan dalam inferensi. |
| inputDataConfig | Untuk menentukan lokasi S3 yang berisi data input. Inferensi Batch memproses semua JSONL dan file konten yang menyertainya di lokasi S3 itu, apakah lokasinya adalah folder S3 atau satu file JSONL. Untuk informasi selengkapnya, lihat [Format dan unggah data inferensi batch Anda](batch-inference-data.md). |
| outputDataConfig | Untuk menentukan lokasi S3 untuk menulis tanggapan model ke. |
Bidang berikut adalah opsional:
****
| Bidang | Kasus penggunaan |
| --- | --- |
| modelInvocationType | Untuk menentukan format API dari data input. Setel Converse untuk menggunakan format Converse API, atau InvokeModel (default) untuk menggunakan format permintaan khusus model. Untuk informasi selengkapnya tentang format permintaan Converse, lihat [Converse](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html). |
| timeoutDurationInJam | Untuk menentukan durasi dalam jam setelah itu pekerjaan akan habis. |
| tag | Untuk menentukan tag apa pun untuk dikaitkan dengan pekerjaan. Untuk informasi selengkapnya, lihat [Menandai sumber daya Amazon Bedrock](tagging.md). |
| vpcConfig | Untuk menentukan konfigurasi VPC yang akan digunakan untuk melindungi data Anda selama pekerjaan. Untuk informasi selengkapnya, lihat [Lindungi pekerjaan inferensi batch menggunakan VPC](batch-vpc.md). |
| clientRequestToken | Untuk memastikan permintaan API selesai hanya sekali. Untuk informasi selengkapnya, lihat [Memastikan idempotensi](https://docs.aws.amazon.com/ec2/latest/devguide/ec2-api-idempotency.html). |
Respons menampilkan sebuah `jobArn` yang dapat Anda gunakan untuk merujuk ke pekerjaan saat melakukan panggilan API terkait inferensi batch lainnya.
------
# Pantau pekerjaan inferensi batch
Terlepas dari konfigurasi yang Anda tetapkan untuk pekerjaan inferensi batch, Anda juga dapat memantau kemajuannya dengan melihat statusnya. Untuk informasi selengkapnya tentang kemungkinan status pekerjaan, lihat `status` bidang di [ModelInvocationJobSummary](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ModelInvocationJobSummary.html).
Anda juga dapat melacak status pekerjaan dengan membandingkan jumlah total catatan dan jumlah catatan yang telah diproses. Angka-angka ini dapat ditemukan dalam `manifest.json.out` file di bucket Amazon S3 yang berisi file output. Untuk informasi selengkapnya, lihat [Lihat hasil pekerjaan inferensi batch](batch-inference-results.md). Untuk mempelajari cara mengunduh objek S3, lihat [Mengunduh objek](https://docs.aws.amazon.com/AmazonS3/latest/userguide/download-objects.html).
**Tip**
Alih-alih melakukan polling untuk status pekerjaan, Anda dapat menggunakan Amazon EventBridge untuk menerima pemberitahuan otomatis saat pekerjaan inferensi batch selesai atau mengubah status. Untuk informasi selengkapnya, lihat [Pantau perubahan status pekerjaan Amazon Bedrock menggunakan Amazon EventBridgePantau perubahan acara](monitoring-eventbridge.md).
Untuk mempelajari cara melihat detail tentang pekerjaan inferensi batch, pilih tab untuk metode pilihan Anda, lalu ikuti langkah-langkahnya:
------
#### [ Console ]
**Untuk melihat informasi tentang pekerjaan inferensi batch**
1. Masuk ke Konsol Manajemen AWS dengan identitas IAM yang memiliki izin untuk menggunakan konsol Amazon Bedrock. Kemudian, buka konsol Amazon Bedrock di [https://console.aws.amazon.com/bedrock](https://console.aws.amazon.com/bedrock).
1. Dari panel navigasi kiri, pilih **Inferensi Batch**.
1. Di bagian **pekerjaan inferensi Batch**, pilih pekerjaan.
1. Pada halaman detail pekerjaan, Anda dapat melihat informasi tentang konfigurasi pekerjaan dan memantau kemajuannya dengan melihat **Statusnya**.
------
#### [ API ]
Untuk mendapatkan informasi tentang pekerjaan inferensi batch, kirim [GetModelInvocationJob](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_GetModelInvocationJob.html)permintaan dengan [titik akhir bidang kontrol Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp) dan berikan ID atau ARN pekerjaan di lapangan. `jobIdentifier`
Untuk mencantumkan informasi tentang beberapa pekerjaan inferensi batch, kirim [ListModelInvocationJobs](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ListModelInvocationJobs.html)permintaan dengan titik akhir [bidang kontrol Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp). Anda dapat menentukan parameter opsional berikut:
Respons untuk `GetModelInvocationJob` dan `ListModelInvocationJobs` menyertakan `modelInvocationType` bidang yang menunjukkan apakah pekerjaan menggunakan format `InvokeModel` atau `Converse` API.
****
| Bidang | Deskripsi singkat |
| --- | --- |
| maxResults | Jumlah maksimum hasil yang akan dikembalikan sebagai respons. |
| nextToken | Jika ada lebih banyak hasil daripada angka yang Anda tentukan di maxResults bidang, respons mengembalikan nextToken nilai. Untuk melihat kumpulan hasil berikutnya, kirim nextToken nilai dalam permintaan lain. |
Untuk mencantumkan semua tag untuk suatu pekerjaan, kirim [ListTagsForResource](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ListTagsForResource.html)permintaan dengan [titik akhir bidang kontrol Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp) dan sertakan Nama Sumber Daya Amazon (ARN) pekerjaan tersebut.
------
# Hentikan pekerjaan inferensi batch
Untuk mempelajari cara menghentikan pekerjaan inferensi batch yang sedang berlangsung, pilih tab untuk metode pilihan Anda, lalu ikuti langkah-langkahnya:
------
#### [ Console ]
**Untuk menghentikan pekerjaan inferensi batch**
1. Masuk ke Konsol Manajemen AWS dengan identitas IAM yang memiliki izin untuk menggunakan konsol Amazon Bedrock. Kemudian, buka konsol Amazon Bedrock di [https://console.aws.amazon.com/bedrock](https://console.aws.amazon.com/bedrock).
1. Dari panel navigasi kiri, pilih **Inferensi Batch**.
1. Pilih pekerjaan untuk pergi ke halaman detail pekerjaan atau pilih tombol opsi di sebelah pekerjaan.
1. Pilih **Stop Job**.
1. Tinjau pesan dan pilih **Hentikan pekerjaan** untuk mengonfirmasi.
**catatan**
Anda dikenakan biaya untuk token yang telah diproses.
------
#### [ API ]
Untuk menghentikan pekerjaan inferensi batch, kirim [StopModelInvocationJob](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_StopModelInvocationJob.html)permintaan dengan [titik akhir bidang kontrol Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp) dan berikan ID atau ARN pekerjaan di lapangan. `jobIdentifier`
Jika pekerjaan berhasil dihentikan, Anda menerima respons HTTP 200.
------
# Lihat hasil pekerjaan inferensi batch
Setelah tugas inferensi batch selesai`Completed`, Anda dapat mengekstrak hasil pekerjaan inferensi batch dari file di bucket Amazon S3 yang Anda tentukan selama pembuatan pekerjaan. Untuk mempelajari cara mengunduh objek S3, lihat [Mengunduh objek](https://docs.aws.amazon.com/AmazonS3/latest/userguide/download-objects.html). Bucket S3 berisi file-file berikut:
1. Amazon Bedrock menghasilkan file JSONL keluaran untuk setiap file JSONL masukan. File output berisi output dari model untuk setiap input dalam format berikut. Sebuah `error` objek menggantikan `modelOutput` bidang di setiap baris di mana ada kesalahan dalam inferensi. Format objek `modelOutput` JSON tergantung pada jenis pemanggilan model. Untuk `InvokeModel` pekerjaan, formatnya cocok dengan `body` bidang dalam `InvokeModel` respons (lihat[Parameter permintaan inferensi dan bidang respons untuk model dasar](model-parameters.md)). Untuk `Converse` pekerjaan, formatnya cocok dengan badan respons [Converse](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html) API.
```
{ "recordId" : "string", "modelInput": {JSON body}, "modelOutput": {JSON body} }
```
Contoh berikut menunjukkan file output yang mungkin.
```
{ "recordId" : "3223593EFGH", "modelInput" : {"inputText": "Roses are red, violets are"}, "modelOutput" : {"inputTextTokenCount": 8, "results": [{"tokenCount": 3, "outputText": "blue\n", "completionReason": "FINISH"}]}}
{ "recordId" : "1223213ABCD", "modelInput" : {"inputText": "Hello world"}, "error" : {"errorCode" : 400, "errorMessage" : "bad request" }}
```
1. `manifest.json.out`File yang berisi ringkasan pekerjaan inferensi batch.
```
{
"totalRecordCount" : number,
"processedRecordCount" : number,
"successRecordCount": number,
"errorRecordCount": number,
"inputTokenCount": number,
"outputTokenCount" : number
}
```
Bidang dijelaskan di bawah ini:
+ totalRecordCount — Jumlah total catatan yang diserahkan ke pekerjaan inferensi batch.
+ processedRecordCount — Jumlah catatan yang diproses dalam pekerjaan inferensi batch.
+ successRecordCount — Jumlah catatan yang berhasil diproses oleh pekerjaan inferensi batch.
+ errorRecordCount — Jumlah catatan dalam pekerjaan inferensi batch yang menyebabkan kesalahan.
+ inputTokenCount — Jumlah total token input yang dikirimkan ke pekerjaan inferensi batch.
+ outputTokenCount — Jumlah total token keluaran yang dihasilkan oleh pekerjaan inferensi batch.
# Contoh kode untuk inferensi batch
Contoh kode dalam Bab ini menunjukkan cara membuat pekerjaan inferensi batch, melihat informasi tentangnya, dan menghentikannya. Contoh ini menggunakan format `InvokeModel` API. Untuk informasi tentang menggunakan format `Converse` API, lihat[Format dan unggah data inferensi batch Anda](batch-inference-data.md).
Pilih bahasa untuk melihat contoh kode untuk itu:
------
#### [ Python ]
Buat file JSONL bernama *abc.jsonl* dan sertakan objek JSON untuk setiap catatan yang berisi setidaknya jumlah minimum catatan (lihat **Jumlah minimum catatan per pekerjaan inferensi batch** untuk). *\$1Model\$1* [Kuota untuk Amazon Bedrock](quotas.md) Dalam contoh ini, Anda akan menggunakan Anthropic Claude 3 Haiku model. Contoh berikut menunjukkan JSON masukan pertama dalam file:
```
{
"recordId": "CALL0000001",
"modelInput": {
"anthropic_version": "bedrock-2023-05-31",
"max_tokens": 1024,
"messages": [
{
"role": "user",
"content": [
{
"type": "text",
"text": "Summarize the following call transcript: ..."
}
]
}
]
}
}
...
# Add records until you hit the minimum
```
Buat bucket S3 yang dipanggil *amzn-s3-demo-bucket-input* dan unggah file ke sana. Kemudian buat bucket S3 yang dipanggil *amzn-s3-demo-bucket-output* untuk menulis file output Anda. Jalankan cuplikan kode berikut untuk mengirimkan pekerjaan dan dapatkan *jobArn* dari respons:
```
import boto3
bedrock = boto3.client(service_name="bedrock")
inputDataConfig=({
"s3InputDataConfig": {
"s3Uri": "s3://amzn-s3-demo-bucket-input/abc.jsonl"
}
})
outputDataConfig=({
"s3OutputDataConfig": {
"s3Uri": "s3://amzn-s3-demo-bucket-output/"
}
})
response=bedrock.create_model_invocation_job(
roleArn="arn:aws:iam::123456789012:role/MyBatchInferenceRole",
modelId="anthropic.claude-3-haiku-20240307-v1:0",
jobName="my-batch-job",
inputDataConfig=inputDataConfig,
outputDataConfig=outputDataConfig
)
jobArn = response.get('jobArn')
```
Kembalikan pekerjaan. `status`
```
bedrock.get_model_invocation_job(jobIdentifier=jobArn)['status']
```
Buat daftar pekerjaan inferensi batch itu*Failed*.
```
bedrock.list_model_invocation_jobs(
maxResults=10,
statusEquals="Failed",
sortOrder="Descending"
)
```
Hentikan pekerjaan yang Anda mulai.
```
bedrock.stop_model_invocation_job(jobIdentifier=jobArn)
```
------
# Mengirimkan sekumpulan prompt dengan OpenAI Batch API
Anda dapat menjalankan tugas inferensi batch menggunakan [OpenAICreate batch API dengan model](https://platform.openai.com/docs/api-reference/batch) Amazon BedrockOpenAI.
Anda dapat memanggil OpenAI Create batch API dengan cara berikut:
+ Buat permintaan HTTP dengan endpoint Amazon Bedrock Runtime.
+ Gunakan permintaan OpenAI SDK dengan titik akhir Amazon Bedrock Runtime.
Pilih topik untuk mempelajari lebih lanjut:
**Topics**
+ [Model dan Wilayah yang didukung untuk API OpenAI batch](#inference-openai-batch-supported)
+ [Prasyarat untuk menggunakan API batch OpenAI](#inference-openai-batch-prereq)
+ [Buat pekerjaan OpenAI batch](#inference-openai-batch-create)
+ [Mengambil pekerjaan OpenAI batch](#inference-openai-batch-retrieve)
+ [Daftar pekerjaan OpenAI batch](#inference-openai-batch-list)
+ [Membatalkan pekerjaan OpenAI batch](#inference-openai-batch-cancel)
## Model dan Wilayah yang didukung untuk API OpenAI batch
Anda dapat menggunakan OpenAI Create batch API dengan semua OpenAI model yang didukung di Amazon Bedrock dan di AWS Wilayah yang mendukung model ini. Untuk informasi selengkapnya tentang model dan wilayah yang didukung, lihat[Model pondasi yang didukung di Amazon Bedrock](models-supported.md).
## Prasyarat untuk menggunakan API batch OpenAI
Untuk melihat prasyarat penggunaan operasi API OpenAI batch, pilih tab untuk metode pilihan Anda, lalu ikuti langkah-langkahnya:
------
#### [ OpenAI SDK ]
+ **Otentikasi** — OpenAI SDK hanya mendukung otentikasi dengan kunci Amazon Bedrock API. Buat kunci Amazon Bedrock API untuk mengautentikasi permintaan Anda. Untuk mempelajari kunci Amazon Bedrock API dan cara membuatnya, lihat bagian Kunci API di chapter Build.
+ **Endpoint** — Temukan titik akhir yang sesuai dengan AWS Wilayah yang akan digunakan di titik akhir dan kuota [Amazon Bedrock Runtime](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-rt). Jika Anda menggunakan AWS SDK, Anda mungkin hanya perlu menentukan kode wilayah dan bukan seluruh titik akhir saat menyiapkan klien.
+ **Akses model** — Minta akses ke model Amazon Bedrock yang mendukung fitur ini. Untuk informasi selengkapnya, lihat [Kelola akses model menggunakan SDK dan CLI](model-access.md#model-access-modify).
+ **Menginstal OpenAI SDK** — Untuk informasi selengkapnya, lihat [Pustaka](https://platform.openai.com/docs/libraries) dalam dokumentasi. OpenAI
+ **File Batch JSONL yang diunggah ke S3** - Ikuti langkah-langkah di [Siapkan file batch Anda](https://platform.openai.com/docs/guides/batch#1-prepare-your-batch-file) dalam OpenAI dokumentasi untuk menyiapkan file batch Anda dengan format yang benar. Kemudian unggah ke bucket Amazon S3.
+ **Izin IAM** - Pastikan Anda memiliki identitas IAM berikut dengan izin yang tepat:
+ Identitas IAM yang Anda autentikasi dapat menjalankan operasi API terkait inferensi batch. Untuk informasi selengkapnya, lihat [Izin yang diperlukan untuk identitas IAM untuk mengirimkan dan mengelola pekerjaan inferensi batch](batch-inference-permissions.md).
+ Peran layanan inferensi batch yang Anda gunakan dapat mengasumsikan identitas Anda, memanggil OpenAI model yang Anda gunakan, dan memiliki akses ke file JSONL batch Anda di S3. Untuk informasi selengkapnya, lihat [Peran layanan](security-iam-sr.md).
------
#### [ HTTP request ]
+ **Otentikasi** - Anda dapat mengautentikasi dengan AWS kredensi Anda atau dengan kunci Amazon Bedrock API.
Siapkan AWS kredensi Anda atau buat kunci Amazon Bedrock API untuk mengautentikasi permintaan Anda.
+ Untuk mempelajari cara menyiapkan AWS kredensil Anda, lihat [Akses terprogram dengan AWS](https://docs.aws.amazon.com/IAM/latest/UserGuide/security-creds-programmatic-access.html) kredensial keamanan.
+ Untuk mempelajari kunci Amazon Bedrock API dan cara membuatnya, lihat bagian Kunci API di chapter Build.
+ **Endpoint** — Temukan titik akhir yang sesuai dengan AWS Wilayah yang akan digunakan di titik akhir dan kuota [Amazon Bedrock Runtime](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-rt). Jika Anda menggunakan AWS SDK, Anda mungkin hanya perlu menentukan kode wilayah dan bukan seluruh titik akhir saat menyiapkan klien.
+ **Akses model** — Minta akses ke model Amazon Bedrock yang mendukung fitur ini. Untuk informasi selengkapnya, lihat [Kelola akses model menggunakan SDK dan CLI](model-access.md#model-access-modify).
+ **File Batch JSONL yang diunggah ke S3** - Ikuti langkah-langkah di [Siapkan file batch Anda](https://platform.openai.com/docs/guides/batch#1-prepare-your-batch-file) dalam OpenAI dokumentasi untuk menyiapkan file batch Anda dengan format yang benar. Kemudian unggah ke bucket Amazon S3.
+ **Izin IAM** - Pastikan Anda memiliki identitas IAM berikut dengan izin yang tepat:
+ Identitas IAM yang Anda autentikasi dapat menjalankan operasi API terkait inferensi batch. Untuk informasi selengkapnya, lihat [Izin yang diperlukan untuk identitas IAM untuk mengirimkan dan mengelola pekerjaan inferensi batch](batch-inference-permissions.md).
+ Peran layanan inferensi batch yang Anda gunakan dapat mengasumsikan identitas Anda, memanggil OpenAI model yang Anda gunakan, dan memiliki akses ke file JSONL batch Anda di S3. Untuk informasi selengkapnya, lihat [Peran layanan](security-iam-sr.md).
------
## Buat pekerjaan OpenAI batch
Untuk detail tentang OpenAI Create batch API, lihat sumber daya berikut dalam OpenAI dokumentasi:
+ [Buat batch](https://platform.openai.com/docs/api-reference/batch/create) - Detail permintaan dan respons.
+ [Objek keluaran permintaan](https://platform.openai.com/docs/api-reference/batch/request-output) - Merinci bidang output yang dihasilkan dari pekerjaan batch. Lihat dokumentasi ini saat menafsirkan hasil di bucket S3 Anda.
**Bentuk permintaan**
Saat membentuk permintaan inferensi batch, perhatikan bidang dan nilai khusus Amazon BedROCK berikut:
**Minta header**
+ X-Amzn-Bedrock-RoleArn (wajib) — Nama Sumber Daya Amazon (ARN) dari peran layanan inferensi batch. Untuk informasi selengkapnya, lihat [Buat peran layanan khusus untuk inferensi batch](batch-iam-sr.md)
+ X-Amzn-Bedrock-ModelId (wajib) — ID model pondasi untuk digunakan dalam inferensi. Untuk informasi selengkapnya, lihat [Model pondasi yang didukung di Amazon Bedrock](models-supported.md).
+ X-Amzn-Bedrock-OutputEncryptionKeyId (opsional) - ID kunci KMS yang ingin Anda gunakan untuk mengenkripsi file output S3. Untuk informasi selengkapnya, lihat [Menentukan enkripsi sisi server dengan AWS KMS (SSE-KMS](https://docs.aws.amazon.com/AmazonS3/latest/userguide/specifying-kms-encryption.html)).
+ X-Amzn-Bedrock-Tags (opsional) — Kamus kunci dan nilai yang menunjukkan tag untuk dilampirkan ke output. Untuk informasi selengkapnya, lihat [Menandai sumber daya Amazon Bedrock](tagging.md).
**Permintaan parameter tubuh:**
+ Endpoint — Harus. `v1/chat/completions`
+ input\$1file\$1id - Tentukan URI S3 dari file JSONL batch Anda.
**Temukan hasil yang dihasilkan**
Respons pembuatan menyertakan ID batch. Hasil dan pencatatan kesalahan pekerjaan inferensi batch ditulis ke folder S3 yang berisi file input. Hasilnya akan berada di folder dengan nama yang sama dengan ID batch, seperti pada struktur folder berikut:
```
---- {batch_input_folder}
|---- {batch_input}.jsonl
|---- {batch_id}
|---- {batch_input}.jsonl.out
|---- {batch_input}.jsonl.err
```
Untuk melihat contoh penggunaan OpenAI Create batch API dengan metode yang berbeda, pilih tab untuk metode pilihan Anda, lalu ikuti langkah-langkahnya:
------
#### [ OpenAI SDK (Python) ]
Untuk membuat pekerjaan batch dengan OpenAI SDK, lakukan hal berikut:
1. Impor OpenAI SDK dan atur klien dengan bidang berikut:
+ `base_url`— Awali titik akhir Amazon Bedrock Runtime ke`/openai/v1`, seperti dalam format berikut:
```
https://${bedrock-runtime-endpoint}/openai/v1
```
+ `api_key`— Tentukan kunci API Amazon Bedrock.
+ `default_headers`— Jika Anda perlu menyertakan header apa pun, Anda dapat memasukkannya sebagai pasangan kunci-nilai dalam objek ini. Anda juga dapat menentukan header di `extra_headers` saat melakukan panggilan API tertentu.
1. Gunakan metode [batches.create ()](https://platform.openai.com/docs/api-reference/batch/create) dengan klien.
Sebelum menjalankan contoh berikut, ganti placeholder di bidang berikut:
+ api\$1key - Ganti *\$1AWS\$1BEARER\$1TOKEN\$1BEDROCK* dengan kunci API Anda yang sebenarnya.
+ X-Amzn-BedrockRoleArn — Ganti *arn:aws:iam::123456789012:role/BatchServiceRole* dengan peran layanan inferensi batch aktual yang Anda siapkan.
+ input\$1file\$1id - Ganti *s3://amzn-s3-demo-bucket/openai-input.jsonl* dengan URI S3 aktual tempat Anda mengunggah file JSONL batch Anda.
Contoh ini memanggil OpenAI Create batch job API `us-west-2` dan menyertakan satu bagian dari metadata.
```
from openai import OpenAI
client = OpenAI(
base_url="https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1",
api_key="$AWS_BEARER_TOKEN_BEDROCK", # Replace with actual API key
default_headers={
"X-Amzn-Bedrock-RoleArn": "arn:aws:iam::123456789012:role/BatchServiceRole" # Replace with actual service role ARN
}
)
job = client.batches.create(
input_file_id="s3://amzn-s3-demo-bucket/openai-input.jsonl", # Replace with actual S3 URI
endpoint="/v1/chat/completions",
completion_window="24h",
metadata={
"description": "test input"
},
extra_headers={
"X-Amzn-Bedrock-ModelId": "openai.gpt-oss-20b-1:0",
}
)
print(job)
```
------
#### [ HTTP request ]
Untuk membuat penyelesaian obrolan dengan permintaan HTTP langsung, lakukan hal berikut:
1. Gunakan metode POST dan tentukan URL dengan mengawali titik akhir Amazon Bedrock Runtime ke`/openai/v1/batches`, seperti dalam format berikut:
```
https://${bedrock-runtime-endpoint}/openai/v1/batches
```
1. Tentukan AWS kredensional Anda atau kunci Amazon Bedrock API di header. `Authorization`
Sebelum menjalankan contoh berikut, pertama-tama ganti placeholder di bidang berikut:
+ Otorisasi - Ganti *\$1AWS\$1BEARER\$1TOKEN\$1BEDROCK* dengan kunci API Anda yang sebenarnya.
+ X-Amzn-BedrockRoleArn — Ganti *arn:aws:iam::123456789012:role/BatchServiceRole* dengan peran layanan inferensi batch aktual yang Anda siapkan.
+ input\$1file\$1id - Ganti *s3://amzn-s3-demo-bucket/openai-input.jsonl* dengan URI S3 aktual tempat Anda mengunggah file JSONL batch Anda.
Contoh berikut memanggil Create chat completion API `us-west-2` dan menyertakan satu bagian dari metadata:
```
curl -X POST 'https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1/batches' \
-H 'Authorization: Bearer $AWS_BEARER_TOKEN_BEDROCK' \
-H 'Content-Type: application/json' \
-H 'X-Amzn-Bedrock-ModelId: openai.gpt-oss-20b-1:0' \
-H 'X-Amzn-Bedrock-RoleArn: arn:aws:iam::123456789012:role/BatchServiceRole' \
-d '{
"input_file_id": "s3://amzn-s3-demo-bucket/openai-input.jsonl",
"endpoint": "/v1/chat/completions",
"completion_window": "24h",
"metadata": {"description": "test input"}
}'
```
------
## Mengambil pekerjaan OpenAI batch
Untuk detail tentang permintaan dan respons OpenAI Retrieve batch API, lihat [Ambil](https://platform.openai.com/docs/api-reference/batch/retrieve) batch.
Saat Anda membuat permintaan, Anda menentukan ID pekerjaan batch untuk mendapatkan informasi. Respons mengembalikan informasi tentang pekerjaan batch, termasuk nama file keluaran dan kesalahan yang dapat Anda cari di bucket S3 Anda.
Untuk melihat contoh penggunaan OpenAI Retrieve batch API dengan metode yang berbeda, pilih tab untuk metode pilihan Anda, lalu ikuti langkah-langkahnya:
------
#### [ OpenAI SDK (Python) ]
Untuk mengambil pekerjaan batch dengan OpenAI SDK, lakukan hal berikut:
1. Impor OpenAI SDK dan atur klien dengan bidang berikut:
+ `base_url`— Awali titik akhir Amazon Bedrock Runtime ke`/openai/v1`, seperti dalam format berikut:
```
https://${bedrock-runtime-endpoint}/openai/v1
```
+ `api_key`— Tentukan kunci API Amazon Bedrock.
+ `default_headers`— Jika Anda perlu menyertakan header apa pun, Anda dapat memasukkannya sebagai pasangan kunci-nilai dalam objek ini. Anda juga dapat menentukan header di `extra_headers` saat melakukan panggilan API tertentu.
1. Gunakan metode [batches.retrieve ()](https://platform.openai.com/docs/api-reference/batch/create) dengan klien dan tentukan ID batch untuk mengambil informasi.
Sebelum menjalankan contoh berikut, ganti placeholder di bidang berikut:
+ api\$1key - Ganti *\$1AWS\$1BEARER\$1TOKEN\$1BEDROCK* dengan kunci API Anda yang sebenarnya.
+ batch\$1id — Ganti *\$1AWS\$1BEARER\$1TOKEN\$1BEDROCK* dengan kunci API Anda yang sebenarnya.
Contoh ini memanggil OpenAI Retrieve batch job API `us-west-2` pada pekerjaan batch yang ID-nya*batch\$1abc123*.
```
from openai import OpenAI
client = OpenAI(
base_url="https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1",
api_key="$AWS_BEARER_TOKEN_BEDROCK" # Replace with actual API key
)
job = client.batches.retrieve(batch_id="batch_abc123") # Replace with actual ID
print(job)
```
------
#### [ HTTP request ]
Untuk mengambil pekerjaan batch dengan permintaan HTTP langsung, lakukan hal berikut:
1. Gunakan metode GET dan tentukan URL dengan mengawali titik akhir Amazon Bedrock Runtime ke`/openai/v1/batches/${batch_id}`, seperti dalam format berikut:
```
https://${bedrock-runtime-endpoint}/openai/v1/batches/batch_abc123
```
1. Tentukan AWS kredensional Anda atau kunci Amazon Bedrock API di header. `Authorization`
Sebelum menjalankan contoh berikut, pertama-tama ganti placeholder di bidang berikut:
+ Otorisasi - Ganti *\$1AWS\$1BEARER\$1TOKEN\$1BEDROCK* dengan kunci API Anda yang sebenarnya.
+ batch\$1abc123 — Di jalur, ganti nilai ini dengan ID sebenarnya dari pekerjaan batch Anda.
Contoh berikut memanggil OpenAI Retrieve batch API `us-west-2` pada pekerjaan batch yang ID-nya*batch\$1abc123*.
```
curl -X GET 'https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1/batches/batch_abc123' \
-H 'Authorization: Bearer $AWS_BEARER_TOKEN_BEDROCK'
```
------
## Daftar pekerjaan OpenAI batch
Untuk detail tentang permintaan dan respons API kumpulan OpenAI Daftar, lihat [daftar kumpulan](https://platform.openai.com/docs/api-reference/batch/list). Respons mengembalikan array informasi tentang pekerjaan batch Anda.
Saat Anda membuat permintaan, Anda dapat menyertakan parameter kueri untuk memfilter hasil. Respons mengembalikan informasi tentang pekerjaan batch, termasuk nama file keluaran dan kesalahan yang dapat Anda cari di bucket S3 Anda.
Untuk melihat contoh penggunaan API OpenAI daftar batch dengan metode yang berbeda, pilih tab untuk metode pilihan Anda, lalu ikuti langkah-langkahnya:
------
#### [ OpenAI SDK (Python) ]
Untuk membuat daftar pekerjaan batch dengan OpenAI SDK, lakukan hal berikut:
1. Impor OpenAI SDK dan atur klien dengan bidang berikut:
+ `base_url`— Awali titik akhir Amazon Bedrock Runtime ke`/openai/v1`, seperti dalam format berikut:
```
https://${bedrock-runtime-endpoint}/openai/v1
```
+ `api_key`— Tentukan kunci API Amazon Bedrock.
+ `default_headers`— Jika Anda perlu menyertakan header apa pun, Anda dapat memasukkannya sebagai pasangan kunci-nilai dalam objek ini. Anda juga dapat menentukan header di `extra_headers` saat melakukan panggilan API tertentu.
1. Gunakan metode [batches.list ()](https://platform.openai.com/docs/api-reference/batch/list) dengan klien. Anda dapat menyertakan salah satu parameter opsional.
Sebelum menjalankan contoh berikut, ganti placeholder di bidang berikut:
+ api\$1key - Ganti *\$1AWS\$1BEARER\$1TOKEN\$1BEDROCK* dengan kunci API Anda yang sebenarnya.
Contoh ini memanggil API OpenAI List batch jobs `us-west-2` dan menentukan batas 2 hasil yang akan dikembalikan.
```
from openai import OpenAI
client = OpenAI(
base_url="https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1",
api_key="$AWS_BEARER_TOKEN_BEDROCK" # Replace with actual API key
)
job = client.batches.list(limit=2)
print(job)
```
------
#### [ HTTP request ]
Untuk membuat daftar pekerjaan batch dengan permintaan HTTP langsung, lakukan hal berikut:
1. Gunakan metode GET dan tentukan URL dengan mengawali titik akhir Amazon Bedrock Runtime ke`/openai/v1/batches`, seperti dalam format berikut:
```
https://${bedrock-runtime-endpoint}/openai/v1/batches
```
Anda dapat menyertakan salah satu parameter kueri opsional.
1. Tentukan AWS kredensional Anda atau kunci Amazon Bedrock API di header. `Authorization`
Sebelum menjalankan contoh berikut, pertama-tama ganti placeholder di bidang berikut:
+ Otorisasi - Ganti *\$1AWS\$1BEARER\$1TOKEN\$1BEDROCK* dengan kunci API Anda yang sebenarnya.
Contoh berikut memanggil OpenAI List batch API `us-west-2` dan menentukan batas 2 hasil untuk kembali.
```
curl -X GET 'https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1/batches?limit=2' \
-H 'Authorization: Bearer $AWS_BEARER_TOKEN_BEDROCK' \
```
------
## Membatalkan pekerjaan OpenAI batch
Untuk detail tentang permintaan dan respons OpenAI Batalkan batch API, lihat [Batalkan batch](https://platform.openai.com/docs/api-reference/batch/cancel). Respons mengembalikan informasi tentang pekerjaan batch yang dibatalkan.
Saat Anda membuat permintaan, Anda menentukan ID pekerjaan batch yang ingin Anda batalkan.
Untuk melihat contoh penggunaan OpenAI Batalkan batch API dengan metode yang berbeda, pilih tab untuk metode pilihan Anda, lalu ikuti langkah-langkahnya:
------
#### [ OpenAI SDK (Python) ]
Untuk membatalkan pekerjaan batch dengan OpenAI SDK, lakukan hal berikut:
1. Impor OpenAI SDK dan atur klien dengan bidang berikut:
+ `base_url`— Awali titik akhir Amazon Bedrock Runtime ke`/openai/v1`, seperti dalam format berikut:
```
https://${bedrock-runtime-endpoint}/openai/v1
```
+ `api_key`— Tentukan kunci API Amazon Bedrock.
+ `default_headers`— Jika Anda perlu menyertakan header apa pun, Anda dapat memasukkannya sebagai pasangan kunci-nilai dalam objek ini. Anda juga dapat menentukan header di `extra_headers` saat melakukan panggilan API tertentu.
1. Gunakan metode [batches.cancel ()](https://platform.openai.com/docs/api-reference/batch/cancel) dengan klien dan tentukan ID batch untuk mengambil informasi.
Sebelum menjalankan contoh berikut, ganti placeholder di bidang berikut:
+ api\$1key - Ganti *\$1AWS\$1BEARER\$1TOKEN\$1BEDROCK* dengan kunci API Anda yang sebenarnya.
+ batch\$1id — Ganti *\$1AWS\$1BEARER\$1TOKEN\$1BEDROCK* dengan kunci API Anda yang sebenarnya.
Contoh ini memanggil OpenAI Cancel batch job API `us-west-2` pada pekerjaan batch yang ID-nya*batch\$1abc123*.
```
from openai import OpenAI
client = OpenAI(
base_url="https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1",
api_key="$AWS_BEARER_TOKEN_BEDROCK" # Replace with actual API key
)
job = client.batches.cancel(batch_id="batch_abc123") # Replace with actual ID
print(job)
```
------
#### [ HTTP request ]
Untuk membatalkan pekerjaan batch dengan permintaan HTTP langsung, lakukan hal berikut:
1. Gunakan metode POST dan tentukan URL dengan mengawali titik akhir Amazon Bedrock Runtime ke`/openai/v1/batches/${batch_id}/cancel`, seperti dalam format berikut:
```
https://${bedrock-runtime-endpoint}/openai/v1/batches/batch_abc123/cancel
```
1. Tentukan AWS kredensional Anda atau kunci Amazon Bedrock API di header. `Authorization`
Sebelum menjalankan contoh berikut, pertama-tama ganti placeholder di bidang berikut:
+ Otorisasi - Ganti *\$1AWS\$1BEARER\$1TOKEN\$1BEDROCK* dengan kunci API Anda yang sebenarnya.
+ batch\$1abc123 — Di jalur, ganti nilai ini dengan ID sebenarnya dari pekerjaan batch Anda.
Contoh berikut memanggil OpenAI Cancel batch API `us-west-2` pada pekerjaan batch yang ID-nya*batch\$1abc123*.
```
curl -X GET 'https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1/batches/batch_abc123/cancel' \
-H 'Authorization: Bearer $AWS_BEARER_TOKEN_BEDROCK'
```
------
# Tingkatkan throughput dengan inferensi lintas wilayah
Dengan inferensi lintas wilayah, Anda dapat memilih profil inferensi lintas wilayah yang terkait dengan geografi tertentu (seperti AS atau UE), atau Anda dapat memilih profil inferensi global. Saat Anda memilih profil inferensi yang terkait dengan geografi tertentu, Amazon Bedrock secara otomatis memilih iklan optimal Wilayah AWS dalam geografi tersebut untuk memproses permintaan inferensi Anda. Dengan profil inferensi global, Amazon Bedrock secara otomatis memilih iklan optimal Wilayah AWS untuk memproses permintaan, yang mengoptimalkan sumber daya yang tersedia dan meningkatkan throughput model.
Kedua jenis inferensi lintas wilayah bekerja melalui [profil inferensi](inference-profiles.md), yang mendefinisikan model fondasi (FM) dan Wilayah AWS ke mana permintaan dapat diarahkan. Saat menjalankan inferensi model dalam mode sesuai permintaan, permintaan Anda mungkin dibatasi oleh kuota layanan atau selama waktu penggunaan puncak. Inferensi Lintas Wilayah memungkinkan Anda mengelola semburan lalu lintas yang tidak direncanakan dengan mulus dengan memanfaatkan komputasi di berbagai tempat. Wilayah AWS
Anda juga dapat meningkatkan throughput untuk model dengan membeli [Provisioned](prov-throughput.md) Throughput. Profil inferensi saat ini tidak mendukung Provisioned Throughput.
Untuk melihat Wilayah dan model yang dapat digunakan untuk menggunakan profil inferensi untuk menjalankan inferensi lintas wilayah, lihat. [Wilayah dan model yang Didukung untuk profil inferensi](inference-profiles-support.md)
**Topics**
+ [Memilih antara inferensi Lintas Wilayah Geografis dan Global](#cross-region-inference-comparison)
+ [Pertimbangan umum](#cross-region-inference-general-considerations)
+ [Inferensi lintas wilayah geografis](geographic-cross-region-inference.md)
+ [Inferensi lintas wilayah global](global-cross-region-inference.md)
## Memilih antara inferensi Lintas Wilayah Geografis dan Global
Amazon Bedrock menyediakan dua jenis profil inferensi lintas wilayah, masing-masing dirancang untuk kasus penggunaan dan persyaratan kepatuhan yang berbeda:
| Fitur | Inferensi Lintas Wilayah Geografis | Inferensi Lintas Wilayah Global | Rekomendasi |
| --- | --- | --- | --- |
| Data residensi | Dalam batas-batas geografis (AS, UE, APAC, dll.) | Wilayah AWS komersial yang didukung di seluruh dunia | Pilih Geografis untuk persyaratan kepatuhan |
| Throughput | Lebih tinggi dari wilayah tunggal | Tertinggi tersedia | Pilih Global untuk performa maksimal |
| Biaya | Harga standar | Penghematan sekitar 10% | Pilih Global untuk optimasi biaya |
| Persyaratan SCP | Izinkan semua Wilayah tujuan di profil | Izinkan "aws:RequestedRegion": "unspecified" | Konfigurasikan berdasarkan kebijakan organisasi |
| Paling cocok untuk | Organizations dengan peraturan residensi data | Organizations memprioritaskan biaya dan kinerja | Menilai kepatuhan dan kebutuhan kinerja Anda |
Pilih inferensi Lintas wilayah Geografis ketika Anda memiliki persyaratan residensi data dan perlu memastikan pemrosesan data tetap dalam batas geografis tertentu. Pilih inferensi Lintas Wilayah Global saat Anda menginginkan throughput maksimum dan penghematan biaya tanpa batasan geografis.
## Pertimbangan umum
Perhatikan informasi berikut tentang inferensi lintas wilayah:
+ Tidak ada biaya perutean tambahan untuk menggunakan inferensi lintas wilayah. Harga dihitung berdasarkan Wilayah tempat Anda memanggil profil inferensi. Untuk informasi tentang harga, lihat [harga Amazon Bedrock](https://aws.amazon.com/bedrock/pricing/).
+ Inferensi Lintas Wilayah dapat merutekan permintaan ke permintaan Wilayah AWS yang tidak diaktifkan secara manual di Anda. Akun AWS Pengaktifan Wilayah Manual tidak diperlukan agar inferensi lintas wilayah berfungsi.
+ Semua data yang dikirimkan selama operasi lintas wilayah tetap berada di AWS jaringan dan tidak melintasi internet publik. Data dienkripsi dalam transit antara. Wilayah AWS
+ Semua permintaan inferensi lintas wilayah dicatat CloudTrail di Wilayah sumber Anda. Cari `additionalEventData.inferenceRegion` bidang untuk mengidentifikasi di mana permintaan diproses.
+ AWS Layanan yang didukung oleh Amazon Bedrock juga dapat menggunakan CRIS. Lihat dokumentasi khusus layanan untuk detail selengkapnya.
# Inferensi lintas wilayah geografis
Inferensi lintas wilayah geografis menjaga pemrosesan data dalam batas geografis tertentu (AS, UE, APAC, dll.) sambil memberikan throughput yang lebih tinggi daripada inferensi wilayah tunggal. Opsi ini sangat ideal untuk organisasi dengan persyaratan residensi data dan peraturan kepatuhan.
## Pertimbangan inferensi lintas wilayah geografis
Perhatikan informasi berikut tentang inferensi Lintas wilayah Geografis:
+ Permintaan inferensi Lintas Wilayah ke profil inferensi yang terkait dengan geografi (misalnya AS, UE, dan APAC) disimpan di dalam Wilayah AWS yang merupakan bagian dari geografi tempat data awalnya berada. Misalnya, permintaan yang dibuat di AS disimpan Wilayah AWS di AS. Meskipun data tetap disimpan hanya di Wilayah sumber, permintaan input dan hasil keluaran Anda mungkin bergerak di luar Wilayah sumber Anda selama inferensi Lintas wilayah. Semua data akan dikirimkan dienkripsi di seluruh jaringan aman Amazon.
+ [https://docs.aws.amazon.com/general/latest/gr/bedrock.html#limits_bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#limits_bedrock)
## Persyaratan kebijakan IAM untuk inferensi Lintas wilayah Geografis
Untuk mengizinkan pengguna atau peran IAM memanggil profil inferensi Lintas wilayah Geografis, Anda harus mengizinkan akses ke sumber daya berikut:
1. Profil inferensi lintas wilayah spesifik geografi (profil ini memiliki awalan geografis seperti,,) `us` `eu` `apac`
1. Model pondasi di Wilayah sumber
1. Model pondasi di semua daerah tujuan tercantum dalam profil geografis
Contoh kebijakan berikut memberikan izin yang diperlukan untuk menggunakan model dasar Claude Sonnet 4.5 dengan profil inferensi Lintas wilayah Geografis untuk AS, di mana Wilayah sumber dan Wilayah tujuan berada, `us-east-1` dan: `us-east-1` `us-east-2` `us-west-2`
```
{
"Version": "2012-10-17" ,
"Statement": [
{
"Sid": "GrantGeoCrisInferenceProfileAccess",
"Effect": "Allow",
"Action": "bedrock:InvokeModel",
"Resource": [
"arn:aws:bedrock:us-east-1::inference-profile/us.anthropic.claude-sonnet-4-5-20250929-v1:0"
]
},
{
"Sid": "GrantGeoCrisModelAccess",
"Effect": "Allow",
"Action": "bedrock:InvokeModel",
"Resource": [
"arn:aws:bedrock:us-east-1::foundation-model/anthropic.claude-sonnet-4-5-20250929-v1:0",
"arn:aws:bedrock:us-east-2::foundation-model/anthropic.claude-sonnet-4-5-20250929-v1:0",
"arn:aws:bedrock:us-west-2::foundation-model/anthropic.claude-sonnet-4-5-20250929-v1:0"
],
"Condition": {
"StringEquals": {
"bedrock:InferenceProfileArn": "arn:aws:bedrock:us-east-1::inference-profile/us.anthropic.claude-sonnet-4-5-20250929-v1:0"
}
}
}
]
}
```
Pernyataan pertama memberikan akses `bedrock:InvokeModel` API ke profil inferensi Geographic Cross-region untuk permintaan yang berasal dari Region yang meminta. Pernyataan kedua memberikan akses `bedrock:InvokeModel` API ke model dasar di Wilayah yang meminta dan semua Wilayah tujuan yang tercantum dalam profil inferensi.
## Persyaratan Kebijakan Kontrol Layanan untuk inferensi Lintas wilayah Geografis
Banyak organisasi menerapkan kontrol akses Regional melalui Service Control Policies in AWS Organizations untuk keamanan dan kepatuhan. Jika kebijakan keamanan organisasi Anda digunakan SCPs untuk memblokir Wilayah yang tidak digunakan, Anda harus memastikan bahwa kondisi SCP khusus Wilayah memungkinkan akses ke semua Wilayah tujuan yang tercantum dalam profil inferensi Lintas Wilayah Geografis untuk Wilayah sumber Anda.
Untuk inferensi Lintas wilayah Geografis, Anda perlu memahami hubungan antara Wilayah sumber (tempat Anda melakukan panggilan API) dan Wilayah tujuan (tempat permintaan dapat dirutekan). Periksa dokumentasi profil inferensi untuk mengidentifikasi semua Wilayah tujuan untuk Wilayah sumber Anda, lalu pastikan Anda SCPs mengizinkan akses ke semua Wilayah tujuan tersebut.
Misalnya, jika Anda menelepon dari us-east-1 (Wilayah sumber) menggunakan profil Geografis Anthropic Claude Sonnet 4.5 AS, permintaan dapat dialihkan ke us-east-1, us-east-2, dan us-west-2 (Wilayah tujuan). Jika SCP membatasi akses hanya ke us-east-1, inferensi lintas wilayah akan gagal saat mencoba merutekan ke us-east-2 atau us-west-2. Oleh karena itu, Anda harus mengizinkan ketiga wilayah tujuan di SCP Anda, terlepas dari Wilayah mana Anda menelepon.
Saat mengonfigurasi SCPs pengecualian Wilayah, ingatlah bahwa memblokir Wilayah tujuan apa pun di profil inferensi akan mencegah inferensi lintas wilayah berfungsi dengan baik, bahkan jika Wilayah sumber Anda tetap dapat diakses. Untuk persyaratan SCP untuk inferensi Lintas wilayah Global, lihat. [Persyaratan Kebijakan Kontrol Layanan untuk inferensi Lintas wilayah Global](global-cross-region-inference.md#global-cris-scp-setup)
Untuk meningkatkan keamanan, pertimbangkan untuk menggunakan `bedrock:InferenceProfileArn` kondisi untuk membatasi akses ke profil inferensi tertentu. Ini memungkinkan Anda untuk memberikan akses ke Wilayah yang diperlukan sambil membatasi profil inferensi mana yang dapat digunakan.
## Gunakan inferensi Lintas wilayah Geografis
Untuk menggunakan inferensi Lintas wilayah Geografis, Anda menyertakan [profil inferensi saat menjalankan inferensi](inference-profiles.md) model dengan cara berikut:
+ **Inferensi model sesuai permintaan** — Tentukan ID profil inferensi sebagai `modelId` saat mengirim,, [Converse [InvokeModel[InvokeModelWithResponseStream](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModelWithResponseStream.html)](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html)](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html), atau permintaan. [ConverseStream](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_ConverseStream.html) Profil inferensi mendefinisikan satu atau beberapa Wilayah tempat ia dapat merutekan permintaan inferensi yang berasal dari Wilayah sumber Anda. Penggunaan inferensi lintas wilayah meningkatkan throughput dan kinerja dengan merutekan permintaan pemanggilan model secara dinamis di seluruh Wilayah yang ditentukan dalam profil inferensi. Faktor routing dalam lalu lintas pengguna, permintaan dan pemanfaatan sumber daya. Untuk informasi selengkapnya, lihat [Kirim petunjuk dan hasilkan tanggapan dengan inferensi model](inference.md)
+ **Inferensi Batch** — Kirim permintaan secara asinkron dengan inferensi batch dengan menentukan ID profil inferensi sebagai saat mengirim permintaan. `modelId` [CreateModelInvocationJob](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateModelInvocationJob.html) Menggunakan profil inferensi memungkinkan Anda memanfaatkan komputasi di beberapa Wilayah AWS dan mencapai waktu pemrosesan yang lebih cepat untuk pekerjaan batch Anda. Setelah pekerjaan selesai, Anda dapat mengambil file output dari bucket Amazon S3 di Wilayah sumber.
+ **Agen** — Tentukan ID profil inferensi di `foundationModel` bidang dalam [https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent_CreateAgent.html](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent_CreateAgent.html)permintaan. Untuk informasi selengkapnya, lihat [Buat dan konfigurasikan agen secara manual](agents-create.md).
+ **Pembuatan respons basis pengetahuan** — Anda dapat menggunakan inferensi lintas wilayah saat menghasilkan respons setelah menanyakan basis pengetahuan. Untuk informasi selengkapnya, lihat [Uji basis pengetahuan Anda dengan pertanyaan dan tanggapan](knowledge-base-test.md).
+ **Evaluasi model** — Anda dapat mengirimkan profil inferensi sebagai model untuk mengevaluasi saat mengirimkan pekerjaan evaluasi model. Untuk informasi selengkapnya, lihat [Evaluasi kinerja sumber daya Amazon Bedrock](evaluation.md).
+ **Manajemen cepat** - Anda dapat menggunakan inferensi lintas wilayah saat menghasilkan respons untuk prompt yang Anda buat di Manajemen Prompt. Untuk informasi selengkapnya, lihat [Buat dan simpan petunjuk yang dapat digunakan kembali dengan manajemen Prompt di Amazon Bedrock](prompt-management.md)
+ **Alur prompt** - Anda dapat menggunakan inferensi lintas wilayah saat menghasilkan respons untuk prompt yang Anda tentukan sebaris dalam simpul prompt dalam alur prompt. Untuk informasi selengkapnya, lihat [Bangun alur kerja AI end-to-end generatif dengan Amazon Bedrock Flows](flows.md).
Untuk mempelajari cara menggunakan profil inferensi untuk mengirim permintaan pemanggilan model di seluruh Wilayah, lihat. [Gunakan profil inferensi dalam pemanggilan model](inference-profiles-use.md)
Untuk mempelajari lebih lanjut tentang inferensi lintas wilayah, lihat [Memulai inferensi lintas wilayah di Amazon Bedrock](https://aws.amazon.com/blogs/machine-learning/getting-started-with-cross-region-inference-in-amazon-bedrock/).
Untuk informasi rinci tentang inferensi lintas wilayah global, termasuk pengaturan IAM dan manajemen kuota layanan, lihat. [Inferensi lintas wilayah global](global-cross-region-inference.md)
# Inferensi lintas wilayah global
Inferensi lintas wilayah global memperluas inferensi lintas wilayah di luar batas geografis, memungkinkan perutean permintaan inferensi untuk mendukung komersial di Wilayah AWS seluruh dunia, mengoptimalkan sumber daya yang tersedia dan memungkinkan throughput model yang lebih tinggi.
## Manfaat inferensi lintas wilayah global
Inferensi lintas wilayah global untuk Claude Sonnet 4.5 Anthropic memberikan beberapa keunggulan dibandingkan profil inferensi lintas wilayah geografis tradisional:
+ **Peningkatan throughput selama permintaan puncak** — Inferensi lintas wilayah global memberikan peningkatan ketahanan selama periode permintaan puncak dengan secara otomatis merutekan permintaan dengan kapasitas yang tersedia. Wilayah AWS Perutean dinamis ini terjadi dengan mulus tanpa konfigurasi atau intervensi tambahan dari pengembang. Tidak seperti pendekatan tradisional yang mungkin memerlukan penyeimbangan beban sisi klien yang kompleks Wilayah AWS, inferensi lintas wilayah global menangani lonjakan lalu lintas secara otomatis. Hal ini sangat penting untuk aplikasi bisnis kritis di mana downtime atau kinerja yang menurun dapat memiliki dampak keuangan atau reputasi yang signifikan.
+ **Efisiensi biaya** — Inferensi Lintas wilayah Global untuk Claude Sonnet 4.5 Anthropic menawarkan penghematan sekitar 10% untuk harga token input dan output dibandingkan dengan inferensi lintas wilayah geografis. Harga dihitung berdasarkan Wilayah AWS dari mana permintaan dibuat (sumber Wilayah AWS). Ini berarti organisasi dapat memperoleh manfaat dari peningkatan ketahanan dengan biaya yang lebih rendah. Model penetapan harga ini menjadikan inferensi lintas wilayah global sebagai solusi hemat biaya bagi organisasi yang ingin mengoptimalkan penerapan AI generatif mereka. Dengan meningkatkan pemanfaatan sumber daya dan memungkinkan throughput yang lebih tinggi tanpa biaya tambahan, ini membantu organisasi memaksimalkan nilai investasi mereka di Amazon Bedrock.
+ **Pemantauan yang efisien** — Saat menggunakan inferensi lintas wilayah global, CloudWatch dan CloudTrail terus merekam entri log di sumber Anda Wilayah AWS, menyederhanakan pengamatan dan pengelolaan. Meskipun permintaan Anda diproses di berbagai Wilayah AWS dunia, Anda mempertahankan tampilan terpusat dari kinerja dan pola penggunaan aplikasi Anda melalui alat AWS pemantauan yang Anda kenal.
+ **Fleksibilitas kuota sesuai permintaan** — Dengan inferensi lintas wilayah global, beban kerja Anda tidak lagi dibatasi oleh kapasitas Regional individu. Alih-alih dibatasi pada kapasitas yang tersedia secara spesifik Wilayah AWS, permintaan Anda dapat diarahkan secara dinamis di seluruh infrastruktur AWS global. Ini menyediakan akses ke kumpulan sumber daya yang jauh lebih besar, membuatnya lebih mudah untuk menangani beban kerja volume tinggi dan lonjakan lalu lintas yang tiba-tiba.
## Pertimbangan inferensi lintas wilayah global
Perhatikan informasi berikut tentang inferensi Global Cross-region:
+ Profil inferensi Lintas Wilayah Global memberikan throughput yang lebih tinggi daripada profil inferensi yang terkait dengan geografi tertentu. Profil inferensi yang terkait dengan geografi tertentu menawarkan throughput yang lebih tinggi daripada inferensi wilayah tunggal.
+ *Untuk melihat kuota default untuk throughput Lintas wilayah saat menggunakan profil inferensi Global, lihat **permintaan inferensi model Lintas wilayah Global per menit untuk \$1 \$1Model\$1 dan token inferensi model** **Lintas wilayah Global per menit untuk nilai \$1 \$1Model\$1** dalam kuota layanan [Amazon](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#limits_bedrock) Bedrock di Referensi Umum.AWS *
**Anda dapat meminta, melihat, dan mengelola kuota untuk Profil Inferensi Lintas Wilayah Global dari konsol [Service Quotas atau](https://console.aws.amazon.com/servicequotas/home/services/bedrock/quotas) dengan menggunakan perintah AWS CLI di wilayah sumber Anda.**
## Persyaratan kebijakan IAM untuk inferensi lintas wilayah global
Untuk mengaktifkan inferensi lintas wilayah global bagi pengguna Anda, Anda harus menerapkan kebijakan IAM tiga bagian ke peran tersebut. Berikut ini adalah contoh kebijakan IAM untuk memberikan kontrol granular. Anda dapat mengganti `` dalam contoh kebijakan dengan tempat Wilayah AWS Anda beroperasi.
```
{
"Version": "2012-10-17" ,
"Statement": [
{
"Sid": "GrantGlobalCrisInferenceProfileRegionAccess",
"Effect": "Allow",
"Action": "bedrock:InvokeModel",
"Resource": [
"arn:aws:bedrock:::inference-profile/global."
],
"Condition": {
"StringEquals": {
"aws:RequestedRegion": ""
}
}
},
{
"Sid": "GrantGlobalCrisInferenceProfileInRegionModelAccess",
"Effect": "Allow",
"Action": "bedrock:InvokeModel",
"Resource": [
"arn:aws:bedrock:::foundation-model/"
],
"Condition": {
"StringEquals": {
"aws:RequestedRegion": "",
"bedrock:InferenceProfileArn": "arn:aws:bedrock:::inference-profile/global."
}
}
},
{
"Sid": "GrantGlobalCrisInferenceProfileGlobalModelAccess",
"Effect": "Allow",
"Action": "bedrock:InvokeModel",
"Resource": [
"arn:aws:bedrock:::foundation-model/"
],
"Condition": {
"StringEquals": {
"aws:RequestedRegion": "unspecified",
"bedrock:InferenceProfileArn": "arn:aws:bedrock:::inference-profile/global."
}
}
}
]
}
```
Bagian pertama dari kebijakan memberikan akses ke profil inferensi Regional dalam permintaan Anda. Wilayah AWS Bagian kedua menyediakan akses ke sumber daya FM Regional. Bagian ketiga memberikan akses ke sumber daya FM global, yang memungkinkan kemampuan perutean lintas wilayah.
Saat menerapkan kebijakan ini, pastikan ketiga sumber daya Amazon Resource Names (ARNs) disertakan dalam pernyataan IAM Anda:
+ Profil inferensi Regional ARN mengikuti pola. `arn:aws:bedrock:REGION:ACCOUNT:inference-profile/global.MODEL-NAME` Ini digunakan untuk memberikan akses ke profil inferensi global di sumbernya Wilayah AWS.
+ FM Regional menggunakan`arn:aws:bedrock:REGION::foundation-model/MODEL-NAME`. Ini digunakan untuk memberikan akses ke FM di sumbernya Wilayah AWS.
+ FM global membutuhkan`arn:aws:bedrock:::foundation-model/MODEL-NAME`. Ini digunakan untuk memberikan akses ke FM di berbagai global Wilayah AWS.
FM ARN global tidak memiliki Wilayah AWS atau akun yang ditentukan, yang disengaja dan diperlukan untuk fungsionalitas Lintas wilayah.
### Nonaktifkan inferensi lintas wilayah global
Anda dapat memilih dari dua pendekatan utama untuk menerapkan kebijakan penolakan ke CRIS global untuk peran IAM tertentu, masing-masing dengan kasus penggunaan dan implikasi yang berbeda:
+ **Menghapus kebijakan IAM** — Metode pertama melibatkan penghapusan satu atau lebih dari tiga kebijakan IAM yang diperlukan dari izin pengguna. Karena CRIS global mengharuskan ketiga kebijakan berfungsi, menghapus kebijakan akan mengakibatkan akses ditolak.
+ **Menerapkan kebijakan penolakan** — Pendekatan kedua adalah menerapkan kebijakan penolakan eksplisit yang secara khusus menargetkan profil inferensi CRIS global. Metode ini memberikan dokumentasi yang jelas tentang maksud keamanan Anda dan memastikan bahwa meskipun seseorang secara tidak sengaja menambahkan kebijakan izin yang diperlukan nanti, penolakan eksplisit akan diutamakan. Kebijakan penolakan harus menggunakan `StringEquals` kondisi yang cocok dengan pola`"aws:RequestedRegion": "unspecified"`. Pola ini secara khusus menargetkan profil inferensi dengan `global` awalan.
Saat menerapkan kebijakan penolakan, penting untuk memahami bahwa CRIS global mengubah cara `aws:RequestedRegion` lapangan berperilaku. Kebijakan Wilayah AWS penolakan berbasis tradisional yang menggunakan `StringEquals` kondisi dengan Wilayah AWS nama tertentu seperti tidak `"aws:RequestedRegion": "us-west-2"` akan berfungsi seperti yang diharapkan dengan CRIS global karena layanan menetapkan bidang ini `global` daripada tujuan Wilayah AWS sebenarnya. Namun, seperti yang disebutkan sebelumnya, `"aws:RequestedRegion": "unspecified"` akan menghasilkan efek penolakan.
## Persyaratan Kebijakan Kontrol Layanan untuk inferensi Lintas wilayah Global
Untuk inferensi Global Lintas wilayah, jika kebijakan keamanan organisasi Anda digunakan SCPs untuk memblokir Wilayah yang tidak digunakan, Anda harus memperbarui kondisi SCP khusus wilayah Anda untuk mengizinkan akses. `"aws:RequestedRegion": "unspecified"` Kondisi ini khusus untuk inferensi Amazon Bedrock Global Cross-region dan memastikan bahwa permintaan dapat dialihkan ke semua Wilayah komersial yang didukung. AWS
Contoh SCP berikut memblokir semua panggilan AWS API di luar Wilayah yang disetujui sambil mengizinkan panggilan inferensi Amazon Bedrock Global Cross-region yang digunakan `"unspecified"` sebagai Region untuk perutean global:
```
{
"Version": "2012-10-17" ,
"Statement": [
{
"Sid": "DenyAllOutsideApprovedRegions",
"Effect": "Deny",
"Action": "*",
"Resource": "*",
"Condition": {
"StringNotEquals": {
"aws:RequestedRegion": [
"us-east-1",
"us-east-2",
"us-west-2",
"unspecified"
]
}
}
}
]
}
```
### Nonaktifkan inferensi lintas wilayah global
Organizations dengan residensi data atau persyaratan kepatuhan harus menilai apakah inferensi Lintas Wilayah Global sesuai dengan kerangka kepatuhan mereka, karena permintaan dapat diproses di Wilayah komersial lain yang didukung AWS . Untuk menonaktifkan inferensi Global Cross-region secara eksplisit, terapkan kebijakan SCP berikut:
```
{
"Effect": "Deny",
"Action": "bedrock:*",
"Resource": "*",
"Condition": {
"StringEquals": {
"aws:RequestedRegion": "unspecified"
},
"ArnLike": {
"bedrock:InferenceProfileArn": "arn:aws:bedrock:*:*:inference-profile/global.*"
}
}
}
```
SCP ini secara eksplisit menyangkal inferensi Lintas wilayah Global karena `"aws:RequestedRegion"` is `"unspecified"` dan `"ArnLike"` kondisi menargetkan profil inferensi dengan awalan di ARN. `global`
### AWS Implementasi Control Tower
Pengeditan manual yang SCPs dikelola oleh AWS Control Tower sangat tidak disarankan karena dapat menyebabkan penyimpangan. Sebaliknya, gunakan mekanisme yang disediakan oleh Control Tower untuk mengelola pengecualian ini. Prinsip-prinsip inti melibatkan perluasan kontrol penolakan wilayah yang ada atau mengaktifkan wilayah dan kemudian menerapkan kebijakan pemblokiran bersyarat khusus.
Untuk step-by-step panduan terperinci tentang penerapan inferensi Lintas wilayah dengan Control Tower, lihat posting blog Aktifkan [inferensi Amazon Bedrock Cross-region di lingkungan multi-akun](https://aws.amazon.com/blogs/machine-learning/enable-amazon-bedrock-cross-region-inference-in-multi-account-environments/). Ini mencakup perluasan penolakan Wilayah yang ada SCPs, mengaktifkan wilayah yang ditolak dengan kustom SCPs, dan menggunakan Kustomisasi untuk AWS Control Tower (CFCT) untuk menerapkan kustom sebagai infrastruktur sebagai kode. SCPs
## Batas permintaan meningkat untuk inferensi lintas wilayah global
Saat menggunakan profil inferensi CRIS global, Anda dapat menggunakan CRIS global dari lebih dari 20 sumber yang didukung. Wilayah AWS Karena ini akan menjadi batas global, permintaan untuk melihat, mengelola, atau meningkatkan kuota untuk profil inferensi lintas wilayah global harus dilakukan melalui konsol Service Quotas atau Command AWS Line Interface (AWS CLI) di sumber yang diminta. Wilayah AWS
Selesaikan langkah-langkah berikut untuk meminta kenaikan batas:
1. Masuk ke konsol Service Quotas di akun Anda AWS .
1. Di panel navigasi, pilih **Layanan AWS **.
1. Dari daftar layanan, temukan dan pilih **Amazon Bedrock**.
1. Dalam daftar kuota untuk Amazon Bedrock, gunakan filter pencarian untuk menemukan kuota CRIS global tertentu. Contoh:
+ Token inferensi model lintas wilayah global per menit untuk Anthropic Claude Sonnet 4.5 V1
1. Pilih kuota yang ingin Anda tingkatkan.
1. Pilih **Permintaan peningkatan di tingkat akun**.
1. Masukkan nilai kuota baru yang Anda inginkan.
1. Pilih **Permintaan** untuk mengirimkan permintaan Anda.
Saat menghitung kenaikan kuota yang diperlukan, ingatlah untuk memperhitungkan tingkat burndown, yang didefinisikan sebagai tingkat di mana token input dan output diubah menjadi penggunaan kuota token untuk sistem throttling. Model berikut memiliki **tingkat pembakaran 5x untuk token keluaran (1 token keluaran mengkonsumsi 5 token dari kuota Anda**):
+ Antropik Claude Opus 4
+ Antropik Claude Soneta 4.5
+ Antropik Claude Soneta 4
+ Antropik Claude 3.7 Soneta
Untuk semua model lainnya, tingkat burndown adalah **1:1 (1** token keluaran mengkonsumsi 1 token dari kuota Anda). Untuk token masukan, rasio token terhadap kuota adalah 1:1. Perhitungan jumlah token per permintaan adalah sebagai berikut:
`Input token count + Cache write input tokens + (Output token count x Burndown rate)`
## Gunakan inferensi Lintas Wilayah Global
Untuk menggunakan inferensi lintas wilayah global dengan Claude Sonnet 4.5 dari Anthropic, pengembang harus menyelesaikan langkah-langkah kunci berikut:
+ **Gunakan ID profil inferensi global** — Saat melakukan panggilan API ke Amazon Bedrock, tentukan ID profil inferensi Claude Sonnet 4.5 Anthropic global (`global.anthropic.claude-sonnet-4-5-20250929-v1:0`) alih-alih ID model khusus. Wilayah AWS
+ **Konfigurasikan izin IAM** — Berikan izin IAM yang sesuai untuk mengakses profil inferensi dan di tujuan potensial. FMs Wilayah AWS
Inferensi lintas wilayah global didukung untuk:
+ Inferensi model sesuai permintaan
+ Inferensi Batch
+ Agen
+ Evaluasi model
+ Manajemen yang cepat
+ Alur cepat
**catatan**
Profil inferensi global didukung untuk inferensi model sesuai permintaan, inferensi Batch, Agen, evaluasi Model, manajemen Prompt, dan aliran Prompt.
## Menerapkan inferensi lintas wilayah global
Menerapkan inferensi Lintas wilayah global dengan Claude Sonnet 4.5 Anthropic sangat mudah, hanya memerlukan beberapa perubahan pada kode aplikasi Anda yang ada. Berikut ini adalah contoh cara memperbarui kode Anda dengan Python:
```
import boto3
import json
bedrock = boto3.client('bedrock-runtime', region_name='us-east-1')
model_id = "global.anthropic.claude-sonnet-4-5-20250929-v1:0"
response = bedrock.converse(
messages=[{"role": "user", "content": [{"text": "Explain cloud computing in 2 sentences."}]}],
modelId=model_id,
)
print("Response:", response['output']['message']['content'][0]['text'])
print("Token usage:", response['usage'])
print("Total tokens:", response['usage']['totalTokens'])
```
# Siapkan sumber daya pemanggilan model menggunakan profil inferensi
*Profil inferensi* adalah sumber daya di Amazon Bedrock yang mendefinisikan model dan satu atau beberapa Wilayah tempat profil inferensi dapat merutekan permintaan pemanggilan model. Anda dapat menggunakan profil inferensi untuk tugas-tugas berikut:
+ **Lacak metrik penggunaan** — Siapkan CloudWatch log dan kirimkan permintaan pemanggilan model dengan profil inferensi aplikasi untuk mengumpulkan metrik penggunaan untuk pemanggilan model. Anda dapat memeriksa metrik ini ketika Anda melihat informasi tentang profil inferensi dan menggunakannya untuk menginformasikan keputusan Anda. Untuk informasi selengkapnya tentang cara mengatur CloudWatch log, lihat[Memantau pemanggilan model menggunakan CloudWatch Log dan Amazon S3](model-invocation-logging.md).
+ **Gunakan tag untuk memantau biaya** — Lampirkan tag ke profil inferensi aplikasi untuk melacak biaya saat Anda mengirimkan permintaan pemanggilan model sesuai permintaan. Untuk informasi selengkapnya tentang cara menggunakan tag untuk alokasi biaya, lihat [Mengatur dan melacak AWS biaya menggunakan tag alokasi](https://docs.aws.amazon.com/awsaccountbilling/latest/aboutv2/cost-alloc-tags.html) biaya di panduan AWS Billing pengguna.
+ **Inferensi Lintas Wilayah** — Tingkatkan throughput Anda dengan menggunakan profil inferensi yang mencakup beberapa. Wilayah AWS Profil inferensi akan mendistribusikan permintaan pemanggilan model di seluruh Wilayah ini untuk meningkatkan throughput dan kinerja. Untuk informasi lebih lanjut tentang inferensi lintas wilayah, lihat. [Tingkatkan throughput dengan inferensi lintas wilayah](cross-region-inference.md)
Amazon Bedrock menawarkan jenis profil inferensi berikut:
+ Profil inferensi **Lintas Wilayah (ditentukan sistem) — Profil inferensi** yang telah ditentukan sebelumnya di Amazon Bedrock dan menyertakan beberapa Wilayah tempat permintaan model dapat dirutekan.
+ **Profil inferensi aplikasi — Profil** inferensi yang dibuat pengguna untuk melacak biaya dan penggunaan model. Anda dapat membuat profil inferensi yang merutekan permintaan pemanggilan model ke satu Wilayah atau ke beberapa Wilayah:
+ Untuk membuat profil inferensi yang melacak biaya dan penggunaan model di satu Wilayah, tentukan model dasar di Wilayah tempat Anda ingin profil inferensi merutekan permintaan.
+ Untuk membuat profil inferensi yang melacak biaya dan penggunaan model di beberapa Wilayah, tentukan profil inferensi lintas Wilayah (ditentukan sistem) yang mendefinisikan model dan Wilayah yang Anda inginkan profil inferensi untuk merutekan permintaan.
Anda dapat menggunakan profil inferensi dengan fitur berikut untuk merutekan permintaan ke beberapa Wilayah dan untuk melacak penggunaan dan biaya untuk permintaan pemanggilan yang dibuat dengan fitur-fitur ini:
+ [Inferensi model — Gunakan profil inferensi saat menjalankan pemanggilan model dengan memilih profil inferensi di taman bermain di konsol Amazon Bedrock, atau dengan menentukan ARN profil inferensi saat memanggil,, Converse, dan operasi. [InvokeModel[InvokeModelWithResponseStream[ConverseStream](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_ConverseStream.html)](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModelWithResponseStream.html)](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html)](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html) Untuk informasi selengkapnya, lihat [Kirim petunjuk dan hasilkan tanggapan dengan inferensi model](inference.md).
+ Penyematan vektor basis pengetahuan dan pembuatan respons — Gunakan profil inferensi saat menghasilkan respons setelah menanyakan basis pengetahuan atau saat mengurai informasi non-tekstual dalam sumber data. Untuk informasi selengkapnya, lihat [Uji basis pengetahuan Anda dengan pertanyaan dan tanggapan](knowledge-base-test.md) dan [Opsi penguraian untuk sumber data Anda](kb-advanced-parsing.md).
+ Evaluasi model — Anda dapat mengirimkan profil inferensi sebagai model untuk mengevaluasi saat mengirimkan pekerjaan evaluasi model. Untuk informasi selengkapnya, lihat [Evaluasi kinerja sumber daya Amazon Bedrock](evaluation.md).
+ Manajemen cepat - Anda dapat menggunakan profil inferensi saat menghasilkan respons untuk prompt yang Anda buat di Manajemen Prompt. Untuk informasi selengkapnya, lihat [Buat dan simpan petunjuk yang dapat digunakan kembali dengan manajemen Prompt di Amazon Bedrock](prompt-management.md)
+ Aliran - Anda dapat menggunakan profil inferensi saat menghasilkan respons untuk prompt yang Anda tentukan sebaris dalam simpul prompt dalam alur. Untuk informasi selengkapnya, lihat [Bangun alur kerja AI end-to-end generatif dengan Amazon Bedrock Flows](flows.md).
Harga untuk menggunakan profil inferensi dihitung berdasarkan harga model di Wilayah tempat Anda memanggil profil inferensi. Untuk informasi tentang harga, lihat [harga Amazon Bedrock](https://aws.amazon.com/bedrock/pricing/).
Untuk detail selengkapnya tentang throughput yang dapat ditawarkan oleh profil inferensi lintas wilayah, lihat. [Tingkatkan throughput dengan inferensi lintas wilayah](cross-region-inference.md)
**Topics**
+ [Wilayah dan model yang Didukung untuk profil inferensi](inference-profiles-support.md)
+ [Prasyarat untuk profil inferensi](inference-profiles-prereq.md)
+ [Buat profil inferensi aplikasi](inference-profiles-create.md)
+ [Ubah tag untuk profil inferensi aplikasi](inference-profiles-modify.md)
+ [Melihat informasi tentang profil inferensi](inference-profiles-view.md)
+ [Gunakan profil inferensi dalam pemanggilan model](inference-profiles-use.md)
+ [Hapus profil inferensi aplikasi](inference-profiles-delete.md)
# Wilayah dan model yang Didukung untuk profil inferensi
Untuk daftar kode Wilayah dan titik akhir yang didukung di Amazon Bedrock, lihat titik [akhir dan kuota Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#bedrock_region). Topik ini menjelaskan profil inferensi yang telah ditentukan sebelumnya yang dapat Anda gunakan dan Wilayah serta model yang mendukung profil inferensi aplikasi.
**Topics**
+ [Profil inferensi lintas wilayah yang didukung](#inference-profiles-support-system)
+ [Wilayah dan model yang Didukung untuk profil inferensi aplikasi](#inference-profiles-support-user)
## Profil inferensi lintas wilayah yang didukung
Anda dapat melakukan inferensi [lintas wilayah dengan profil inferensi](cross-region-inference.md) lintas wilayah (ditentukan sistem). Inferensi Lintas Wilayah memungkinkan Anda mengelola semburan lalu lintas yang tidak direncanakan dengan mulus dengan memanfaatkan komputasi di berbagai tempat. Wilayah AWS Dengan inferensi lintas wilayah, Anda dapat mendistribusikan lalu lintas di beberapa. Wilayah AWS
Profil inferensi lintas wilayah (ditentukan sistem) dinamai menurut model yang mereka dukung dan didefinisikan oleh Wilayah yang mereka dukung. Untuk memahami cara profil inferensi lintas wilayah menangani permintaan Anda, tinjau definisi berikut:
+ **Wilayah Sumber** — Wilayah tempat Anda membuat permintaan API yang menentukan profil inferensi.
+ **Wilayah Tujuan** — Wilayah tempat layanan Amazon Bedrock dapat merutekan permintaan dari Wilayah sumber Anda.
Saat Anda memanggil profil inferensi lintas wilayah di Amazon Bedrock, permintaan Anda berasal dari Wilayah sumber dan secara otomatis dirutekan ke salah satu Wilayah tujuan yang ditentukan dalam profil tersebut, mengoptimalkan kinerja. Wilayah tujuan untuk profil inferensi Lintas Wilayah Global mencakup semua Wilayah komersial.
**catatan**
Wilayah tujuan dalam profil inferensi Lintas wilayah dapat menyertakan Wilayah *keikutsertaan, yang merupakan Wilayah* yang harus Anda aktifkan secara eksplisit di atau tingkat Organisasi. Akun AWS Untuk mempelajari lebih lanjut, lihat [Mengaktifkan atau menonaktifkan Wilayah AWS di akun Anda](https://docs.aws.amazon.com/accounts/latest/reference/manage-acct-regions.html). Saat menggunakan profil inferensi lintas wilayah, permintaan inferensi Anda dapat diarahkan ke salah satu Wilayah tujuan di profil, bahkan jika Anda tidak ikut serta dalam Wilayah tersebut di akun Anda.
Kebijakan Kontrol Layanan (SCPs) dan AWS Identity and Access Management (IAM) bekerja sama untuk mengontrol di mana inferensi lintas wilayah diperbolehkan. Dengan menggunakan SCPs, Anda dapat mengontrol Wilayah Amazon Bedrock mana yang dapat digunakan untuk inferensi, dan menggunakan kebijakan IAM, Anda dapat menentukan pengguna atau peran mana yang memiliki izin untuk menjalankan inferensi. Jika ada Wilayah tujuan dalam profil inferensi Lintas wilayah yang diblokir di Anda SCPs, permintaan akan gagal meskipun Wilayah lain tetap diizinkan. Untuk memastikan pengoperasian yang efisien dengan inferensi lintas wilayah, Anda dapat memperbarui kebijakan Anda SCPs dan IAM untuk mengizinkan semua tindakan inferensi Amazon Bedrock yang diperlukan (misalnya, `bedrock:InvokeModel*` atau`bedrock:CreateModelInvocationJob`) di semua Wilayah tujuan yang disertakan dalam profil inferensi pilihan Anda. Untuk mempelajari lebih lanjut, lihat [Mengaktifkan inferensi Amazon Bedrock Lintas wilayah di lingkungan multi-akun](https://aws.amazon.com/blogs/machine-learning/enable-amazon-bedrock-cross-region-inference-in-multi-account-environments/).
**catatan**
Beberapa profil inferensi merutekan ke daerah tujuan yang berbeda tergantung pada sumber Wilayah dari mana Anda menyebutnya. Misalnya, jika Anda menelepon `us.anthropic.claude-3-haiku-20240307-v1:0` dari US East (Ohio), itu dapat merutekan permintaan ke`us-east-1`,, atau `us-east-2``us-west-2`, tetapi jika Anda memanggilnya dari US West (Oregon), itu hanya `us-east-1` dapat merutekan permintaan ke dan. `us-west-2`
Untuk memeriksa Wilayah sumber dan tujuan untuk profil inferensi, Anda dapat melakukan salah satu hal berikut:
+ Perluas bagian yang sesuai dalam [daftar profil inferensi lintas wilayah yang didukung](#inference-profiles-support).
+ Kirim [GetInferenceProfile](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_GetInferenceProfile.html)permintaan dengan [titik akhir bidang kontrol Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp) dari Wilayah sumber dan tentukan Nama Sumber Daya Amazon (ARN) atau ID profil inferensi di bidang. `inferenceProfileIdentifier` `models`Bidang dalam respons memetakan daftar model ARNs, di mana Anda dapat mengidentifikasi setiap Wilayah tujuan.
**catatan**
Profil inferensi lintas wilayah global untuk model tertentu dapat berubah seiring waktu karena AWS menambahkan lebih banyak Wilayah komersial tempat permintaan Anda dapat diproses. Namun, jika profil inferensi terkait dengan geografi (seperti AS, UE, atau APAC), daftar Wilayah tujuannya tidak akan pernah berubah. AWS mungkin membuat profil inferensi baru yang menggabungkan Wilayah baru. Anda dapat memperbarui sistem Anda untuk menggunakan profil inferensi ini dengan mengubah pengaturan Anda ke yang baru. IDs
Profil inferensi lintas wilayah Global saat ini hanya didukung pada Anthropic Claude Sonnet 4 model untuk sumber berikut Wilayah: AS Barat (Oregon), AS Timur (Virginia N.), AS Timur (Ohio), Eropa (Irlandia), dan Asia Pasifik (Tokyo). Wilayah tujuan untuk profil inferensi Global mencakup semua iklan Wilayah AWS.
Perluas salah satu bagian berikut untuk melihat informasi tentang profil inferensi lintas wilayah, sumber Wilayah dari mana ia dapat dipanggil, dan Wilayah tujuan tempat ia dapat merutekan permintaan.
### GLOBAL Amazon Nova 2 Lite
Untuk memanggil profil inferensi GLOBAL Amazon Nova 2 Lite, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
global.amazon.nova-2-lite-v1:0
```
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| ap-east-2 | Commercial AWS Regions ap-east-2 |
| ap-northeast-1 | Commercial AWS Regions ap-northeast-1 |
| ap-northeast-2 | Commercial AWS Regions ap-northeast-2 |
| ap-south-1 | Commercial AWS Regions ap-south-1 |
| ap-southeast-1 | Commercial AWS Regions ap-southeast-1 |
| ap-southeast-2 | Commercial AWS Regions ap-southeast-2 |
| ap-southeast-3 | Commercial AWS Regions ap-southeast-3 |
| ap-southeast-4 | Commercial AWS Regions ap-southeast-4 |
| ap-southeast-5 | Commercial AWS Regions ap-southeast-5 |
| ap-southeast-7 | Commercial AWS Regions ap-southeast-7 |
| ca-central-1 | Commercial AWS Regions ca-central-1 |
| ca-west-1 | Commercial AWS Regions ca-west-1 |
| eu-central-1 | Commercial AWS Regions eu-central-1 |
| eu-north-1 | Commercial AWS Regions eu-north-1 |
| eu-south-1 | Commercial AWS Regions eu-south-1 |
| eu-south-2 | Commercial AWS Regions eu-south-2 |
| eu-west-1 | Commercial AWS Regions eu-west-1 |
| eu-west-2 | Commercial AWS Regions eu-west-2 |
| eu-west-3 | Commercial AWS Regions eu-west-3 |
| il-central-1 | Commercial AWS Regions il-central-1 |
| me-central-1 | Commercial AWS Regions me-central-1 |
| us-east-1 | Commercial AWS Regions us-east-1 |
| us-east-2 | Commercial AWS Regions us-east-2 |
| us-west-1 | Commercial AWS Regions us-west-1 |
| us-west-2 | Commercial AWS Regions us-west-2 |
### Antropik GLOBAL Claude Opus 4.5
Untuk memanggil profil inferensi GLOBAL Anthropic Claude Opus 4.5, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
global.anthropic.claude-opus-4-5-20251101-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-claude.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| af-south-1 | Commercial AWS Regions af-south-1 |
| ap-east-2 | Commercial AWS Regions ap-east-2 |
| ap-northeast-1 | Commercial AWS Regions ap-northeast-1 |
| ap-northeast-2 | Commercial AWS Regions ap-northeast-2 |
| ap-northeast-3 | Commercial AWS Regions ap-northeast-3 |
| ap-south-1 | Commercial AWS Regions ap-south-1 |
| ap-south-2 | Commercial AWS Regions ap-south-2 |
| ap-southeast-1 | Commercial AWS Regions ap-southeast-1 |
| ap-southeast-2 | Commercial AWS Regions ap-southeast-2 |
| ap-southeast-3 | Commercial AWS Regions ap-southeast-3 |
| ap-southeast-4 | Commercial AWS Regions ap-southeast-4 |
| ap-southeast-5 | Commercial AWS Regions ap-southeast-5 |
| ap-southeast-7 | Commercial AWS Regions ap-southeast-7 |
| ca-central-1 | Commercial AWS Regions ca-central-1 |
| ca-west-1 | Commercial AWS Regions ca-west-1 |
| eu-central-1 | Commercial AWS Regions eu-central-1 |
| eu-central-2 | Commercial AWS Regions eu-central-2 |
| eu-north-1 | Commercial AWS Regions eu-north-1 |
| eu-south-1 | Commercial AWS Regions eu-south-1 |
| eu-south-2 | Commercial AWS Regions eu-south-2 |
| eu-west-1 | Commercial AWS Regions eu-west-1 |
| eu-west-2 | Commercial AWS Regions eu-west-2 |
| eu-west-3 | Commercial AWS Regions eu-west-3 |
| il-central-1 | Commercial AWS Regions il-central-1 |
| me-central-1 | Commercial AWS Regions me-central-1 |
| me-south-1 | Commercial AWS Regions me-south-1 |
| mx-central-1 | Commercial AWS Regions mx-central-1 |
| sa-east-1 | Commercial AWS Regions sa-east-1 |
| us-east-1 | Commercial AWS Regions us-east-1 |
| us-east-2 | Commercial AWS Regions us-east-2 |
| us-west-1 | Commercial AWS Regions us-west-1 |
| us-west-2 | Commercial AWS Regions us-west-2 |
### GLOBAL TwelveLabs Pegasus v1.2
Untuk memanggil profil inferensi GLOBAL TwelveLabs Pegasus v1.2, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
global.twelvelabs.pegasus-1-2-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-pegasus.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| af-south-1 | Commercial AWS Regions af-south-1 |
| ap-east-2 | Commercial AWS Regions ap-east-2 |
| ap-northeast-1 | Commercial AWS Regions ap-northeast-1 |
| ap-northeast-2 | Commercial AWS Regions ap-northeast-2 |
| ap-northeast-3 | Commercial AWS Regions ap-northeast-3 |
| ap-south-1 | Commercial AWS Regions ap-south-1 |
| ap-south-2 | Commercial AWS Regions ap-south-2 |
| ap-southeast-1 | Commercial AWS Regions ap-southeast-1 |
| ap-southeast-2 | Commercial AWS Regions ap-southeast-2 |
| ap-southeast-3 | Commercial AWS Regions ap-southeast-3 |
| ap-southeast-4 | Commercial AWS Regions ap-southeast-4 |
| ap-southeast-5 | Commercial AWS Regions ap-southeast-5 |
| ap-southeast-7 | Commercial AWS Regions ap-southeast-7 |
| ca-central-1 | Commercial AWS Regions ca-central-1 |
| ca-west-1 | Commercial AWS Regions ca-west-1 |
| eu-central-1 | Commercial AWS Regions eu-central-1 |
| eu-central-2 | Commercial AWS Regions eu-central-2 |
| eu-north-1 | Commercial AWS Regions eu-north-1 |
| eu-south-1 | Commercial AWS Regions eu-south-1 |
| eu-south-2 | Commercial AWS Regions eu-south-2 |
| eu-west-1 | Commercial AWS Regions eu-west-1 |
| eu-west-2 | Commercial AWS Regions eu-west-2 |
| eu-west-3 | Commercial AWS Regions eu-west-3 |
| il-central-1 | Commercial AWS Regions il-central-1 |
| me-central-1 | Commercial AWS Regions me-central-1 |
| me-south-1 | Commercial AWS Regions me-south-1 |
| mx-central-1 | Commercial AWS Regions mx-central-1 |
| sa-east-1 | Commercial AWS Regions sa-east-1 |
| us-east-1 | Commercial AWS Regions us-east-1 |
| us-east-2 | Commercial AWS Regions us-east-2 |
| us-west-1 | Commercial AWS Regions us-west-1 |
| us-west-2 | Commercial AWS Regions us-west-2 |
### Antropik Global Claude Haiku 4.5
Untuk memanggil profil inferensi Global Anthropic Claude Haiku 4.5, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
global.anthropic.claude-haiku-4-5-20251001-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-claude.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| af-south-1 | Commercial AWS Regions af-south-1 |
| ap-east-2 | Commercial AWS Regions ap-east-2 |
| ap-northeast-1 | Commercial AWS Regions ap-northeast-1 |
| ap-northeast-2 | Commercial AWS Regions ap-northeast-2 |
| ap-northeast-3 | Commercial AWS Regions ap-northeast-3 |
| ap-south-1 | Commercial AWS Regions ap-south-1 |
| ap-south-2 | Commercial AWS Regions ap-south-2 |
| ap-southeast-1 | Commercial AWS Regions ap-southeast-1 |
| ap-southeast-2 | Commercial AWS Regions ap-southeast-2 |
| ap-southeast-3 | Commercial AWS Regions ap-southeast-3 |
| ap-southeast-4 | Commercial AWS Regions ap-southeast-4 |
| ap-southeast-5 | Commercial AWS Regions ap-southeast-5 |
| ap-southeast-7 | Commercial AWS Regions ap-southeast-7 |
| ca-central-1 | Commercial AWS Regions ca-central-1 |
| ca-west-1 | Commercial AWS Regions ca-west-1 |
| eu-central-1 | Commercial AWS Regions eu-central-1 |
| eu-central-2 | Commercial AWS Regions eu-central-2 |
| eu-north-1 | Commercial AWS Regions eu-north-1 |
| eu-south-1 | Commercial AWS Regions eu-south-1 |
| eu-south-2 | Commercial AWS Regions eu-south-2 |
| eu-west-1 | Commercial AWS Regions eu-west-1 |
| eu-west-2 | Commercial AWS Regions eu-west-2 |
| eu-west-3 | Commercial AWS Regions eu-west-3 |
| il-central-1 | Commercial AWS Regions il-central-1 |
| me-central-1 | Commercial AWS Regions me-central-1 |
| me-south-1 | Commercial AWS Regions me-south-1 |
| mx-central-1 | Commercial AWS Regions mx-central-1 |
| sa-east-1 | Commercial AWS Regions sa-east-1 |
| us-east-1 | Commercial AWS Regions us-east-1 |
| us-east-2 | Commercial AWS Regions us-east-2 |
| us-west-1 | Commercial AWS Regions us-west-1 |
| us-west-2 | Commercial AWS Regions us-west-2 |
### Antropik Global Claude Opus 4.6
Untuk memanggil profil inferensi Global Anthropic Claude Opus 4.6, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
global.anthropic.claude-opus-4-6-v1
```
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| af-south-1 | Commercial AWS Regions af-south-1 |
| ap-east-2 | Commercial AWS Regions ap-east-2 |
| ap-northeast-1 | Commercial AWS Regions ap-northeast-1 |
| ap-northeast-2 | Commercial AWS Regions ap-northeast-2 |
| ap-northeast-3 | Commercial AWS Regions ap-northeast-3 |
| ap-south-1 | Commercial AWS Regions ap-south-1 |
| ap-south-2 | Commercial AWS Regions ap-south-2 |
| ap-southeast-1 | Commercial AWS Regions ap-southeast-1 |
| ap-southeast-2 | Commercial AWS Regions ap-southeast-2 |
| ap-southeast-3 | Commercial AWS Regions ap-southeast-3 |
| ap-southeast-4 | Commercial AWS Regions ap-southeast-4 |
| ap-southeast-5 | Commercial AWS Regions ap-southeast-5 |
| ap-southeast-7 | Commercial AWS Regions ap-southeast-7 |
| ca-central-1 | Commercial AWS Regions ca-central-1 |
| ca-west-1 | Commercial AWS Regions ca-west-1 |
| eu-central-1 | Commercial AWS Regions eu-central-1 |
| eu-central-2 | Commercial AWS Regions eu-central-2 |
| eu-north-1 | Commercial AWS Regions eu-north-1 |
| eu-south-1 | Commercial AWS Regions eu-south-1 |
| eu-south-2 | Commercial AWS Regions eu-south-2 |
| eu-west-1 | Commercial AWS Regions eu-west-1 |
| eu-west-2 | Commercial AWS Regions eu-west-2 |
| eu-west-3 | Commercial AWS Regions eu-west-3 |
| il-central-1 | Commercial AWS Regions il-central-1 |
| me-central-1 | Commercial AWS Regions me-central-1 |
| me-south-1 | Commercial AWS Regions me-south-1 |
| mx-central-1 | Commercial AWS Regions mx-central-1 |
| sa-east-1 | Commercial AWS Regions sa-east-1 |
| us-east-1 | Commercial AWS Regions us-east-1 |
| us-east-2 | Commercial AWS Regions us-east-2 |
| us-west-1 | Commercial AWS Regions us-west-1 |
| us-west-2 | Commercial AWS Regions us-west-2 |
### Soneta Claude Antropik Global 4.6
Untuk memanggil profil inferensi Global Anthropic Claude Sonnet 4.6, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
global.anthropic.claude-sonnet-4-6
```
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| af-south-1 | Commercial AWS Regions af-south-1 |
| ap-east-2 | Commercial AWS Regions ap-east-2 |
| ap-northeast-1 | Commercial AWS Regions ap-northeast-1 |
| ap-northeast-2 | Commercial AWS Regions ap-northeast-2 |
| ap-northeast-3 | Commercial AWS Regions ap-northeast-3 |
| ap-south-1 | Commercial AWS Regions ap-south-1 |
| ap-south-2 | Commercial AWS Regions ap-south-2 |
| ap-southeast-1 | Commercial AWS Regions ap-southeast-1 |
| ap-southeast-2 | Commercial AWS Regions ap-southeast-2 |
| ap-southeast-3 | Commercial AWS Regions ap-southeast-3 |
| ap-southeast-4 | Commercial AWS Regions ap-southeast-4 |
| ap-southeast-5 | Commercial AWS Regions ap-southeast-5 |
| ap-southeast-7 | Commercial AWS Regions ap-southeast-7 |
| ca-central-1 | Commercial AWS Regions ca-central-1 |
| ca-west-1 | Commercial AWS Regions ca-west-1 |
| eu-central-1 | Commercial AWS Regions eu-central-1 |
| eu-central-2 | Commercial AWS Regions eu-central-2 |
| eu-north-1 | Commercial AWS Regions eu-north-1 |
| eu-south-1 | Commercial AWS Regions eu-south-1 |
| eu-south-2 | Commercial AWS Regions eu-south-2 |
| eu-west-1 | Commercial AWS Regions eu-west-1 |
| eu-west-2 | Commercial AWS Regions eu-west-2 |
| eu-west-3 | Commercial AWS Regions eu-west-3 |
| il-central-1 | Commercial AWS Regions il-central-1 |
| me-central-1 | Commercial AWS Regions me-central-1 |
| me-south-1 | Commercial AWS Regions me-south-1 |
| mx-central-1 | Commercial AWS Regions mx-central-1 |
| sa-east-1 | Commercial AWS Regions sa-east-1 |
| us-east-1 | Commercial AWS Regions us-east-1 |
| us-east-2 | Commercial AWS Regions us-east-2 |
| us-west-1 | Commercial AWS Regions us-west-1 |
| us-west-2 | Commercial AWS Regions us-west-2 |
### Global Claude Soneta 4
Untuk memanggil profil inferensi Global Claude Soneta 4, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
global.anthropic.claude-sonnet-4-20250514-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-claude.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| ap-northeast-1 | Commercial AWS Regions ap-northeast-1 |
| eu-west-1 | Commercial AWS Regions eu-west-1 |
| us-east-1 | Commercial AWS Regions us-east-1 |
| us-east-2 | Commercial AWS Regions us-east-2 |
| us-west-2 | Commercial AWS Regions us-west-2 |
### Global Claude Soneta 4.5
Untuk memanggil profil inferensi Global Claude Sonnet 4.5, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
global.anthropic.claude-sonnet-4-5-20250929-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-claude.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| af-south-1 | Commercial AWS Regions af-south-1 |
| ap-east-2 | Commercial AWS Regions ap-east-2 |
| ap-northeast-1 | Commercial AWS Regions ap-northeast-1 |
| ap-northeast-2 | Commercial AWS Regions ap-northeast-2 |
| ap-northeast-3 | Commercial AWS Regions ap-northeast-3 |
| ap-south-1 | Commercial AWS Regions ap-south-1 |
| ap-south-2 | Commercial AWS Regions ap-south-2 |
| ap-southeast-1 | Commercial AWS Regions ap-southeast-1 |
| ap-southeast-2 | Commercial AWS Regions ap-southeast-2 |
| ap-southeast-3 | Commercial AWS Regions ap-southeast-3 |
| ap-southeast-4 | Commercial AWS Regions ap-southeast-4 |
| ap-southeast-5 | Commercial AWS Regions ap-southeast-5 |
| ap-southeast-7 | Commercial AWS Regions ap-southeast-7 |
| ca-central-1 | Commercial AWS Regions ca-central-1 |
| ca-west-1 | Commercial AWS Regions ca-west-1 |
| eu-central-1 | Commercial AWS Regions eu-central-1 |
| eu-central-2 | Commercial AWS Regions eu-central-2 |
| eu-north-1 | Commercial AWS Regions eu-north-1 |
| eu-south-1 | Commercial AWS Regions eu-south-1 |
| eu-south-2 | Commercial AWS Regions eu-south-2 |
| eu-west-1 | Commercial AWS Regions eu-west-1 |
| eu-west-2 | Commercial AWS Regions eu-west-2 |
| eu-west-3 | Commercial AWS Regions eu-west-3 |
| il-central-1 | Commercial AWS Regions il-central-1 |
| me-central-1 | Commercial AWS Regions me-central-1 |
| me-south-1 | Commercial AWS Regions me-south-1 |
| mx-central-1 | Commercial AWS Regions mx-central-1 |
| sa-east-1 | Commercial AWS Regions sa-east-1 |
| us-east-1 | Commercial AWS Regions us-east-1 |
| us-east-2 | Commercial AWS Regions us-east-2 |
| us-west-1 | Commercial AWS Regions us-west-1 |
| us-west-2 | Commercial AWS Regions us-west-2 |
### Sematkan Global Cohere v4
Untuk memanggil profil inferensi Global Cohere Embed v4, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
global.cohere.embed-v4:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-embed.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| ap-northeast-1 | Commercial AWS Regions ap-northeast-1 |
| ap-northeast-2 | Commercial AWS Regions ap-northeast-2 |
| ap-northeast-3 | Commercial AWS Regions ap-northeast-3 |
| ap-south-1 | Commercial AWS Regions ap-south-1 |
| ap-south-2 | Commercial AWS Regions ap-south-2 |
| ap-southeast-1 | Commercial AWS Regions ap-southeast-1 |
| ap-southeast-2 | Commercial AWS Regions ap-southeast-2 |
| ap-southeast-3 | Commercial AWS Regions ap-southeast-3 |
| ap-southeast-4 | Commercial AWS Regions ap-southeast-4 |
| ca-central-1 | Commercial AWS Regions ca-central-1 |
| eu-central-1 | Commercial AWS Regions eu-central-1 |
| eu-central-2 | Commercial AWS Regions eu-central-2 |
| eu-north-1 | Commercial AWS Regions eu-north-1 |
| eu-south-1 | Commercial AWS Regions eu-south-1 |
| eu-south-2 | Commercial AWS Regions eu-south-2 |
| eu-west-1 | Commercial AWS Regions eu-west-1 |
| eu-west-2 | Commercial AWS Regions eu-west-2 |
| eu-west-3 | Commercial AWS Regions eu-west-3 |
| sa-east-1 | Commercial AWS Regions sa-east-1 |
| us-east-1 | Commercial AWS Regions us-east-1 |
| us-east-2 | Commercial AWS Regions us-east-2 |
| us-west-1 | Commercial AWS Regions us-west-1 |
| us-west-2 | Commercial AWS Regions us-west-2 |
### Amazon Nova 2 Lite AS
Untuk memanggil profil inferensi Amazon Nova 2 Lite AS, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
us.amazon.nova-2-lite-v1:0
```
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| ca-central-1 | ca-central-1 us-east-1 us-east-2 us-west-2 |
| ca-west-1 | ca-west-1 us-east-1 us-east-2 us-west-2 |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### Antropik AS Claude 3 Haiku
Untuk memanggil profil inferensi US Anthropic Claude 3 Haiku, tentukan ID profil inferensi berikut di salah satu Sumber Wilayah:
```
us.anthropic.claude-3-haiku-20240307-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-claude.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| us-east-1 | us-east-1 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-west-2 |
### Antropik AS Claude 3 Opus
Untuk memanggil profil inferensi US Anthropic Claude 3 Opus, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
us.anthropic.claude-3-opus-20240229-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-claude.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| us-east-1 | us-east-1 us-west-2 |
| us-west-2 | us-east-1 us-west-2 |
### Soneta Claude 3 Antropik AS
Untuk memanggil profil inferensi Soneta Antropik Claude 3 AS, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
us.anthropic.claude-3-sonnet-20240229-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-claude.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| us-east-1 | us-east-1 us-west-2 |
| us-west-2 | us-east-1 us-west-2 |
### Antropik AS Claude 3.5 Haiku
Untuk memanggil profil inferensi US Anthropic Claude 3.5 Haiku, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
us.anthropic.claude-3-5-haiku-20241022-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-claude.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### Antropik AS Claude 3.5 Soneta
Untuk memanggil profil inferensi Soneta Anthropic Claude 3.5 AS, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
us.anthropic.claude-3-5-sonnet-20240620-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-claude.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| us-east-1 | us-east-1 us-west-2 |
| us-east-2 | us-east-1 us-west-2 |
| us-west-2 | us-east-1 us-west-2 |
### Antropik AS Claude 3.5 Soneta v2
Untuk memanggil profil inferensi US Anthropic Claude 3.5 Soneta v2, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
us.anthropic.claude-3-5-sonnet-20241022-v2:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-claude.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### Antropik AS Claude 3.7 Soneta
Untuk memanggil profil inferensi Soneta Anthropic Claude 3.7 AS, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
us.anthropic.claude-3-7-sonnet-20250219-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-claude.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### Antropik AS Claude Haiku 4.5
Untuk memanggil profil inferensi US Anthropic Claude Haiku 4.5, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
us.anthropic.claude-haiku-4-5-20251001-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-claude.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| ca-central-1 | ca-central-1 us-east-1 us-east-2 us-west-2 |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### Claude Opus Antropik AS 4.5
Untuk memanggil profil inferensi US Anthropic Claude Opus 4.5, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
us.anthropic.claude-opus-4-5-20251101-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-claude.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| ca-central-1 | ca-central-1 us-east-1 us-east-2 us-west-2 |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### Antropik AS Claude Opus 4.6
Untuk memanggil profil inferensi US Anthropic Claude Opus 4.6, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
us.anthropic.claude-opus-4-6-v1
```
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| ca-central-1 | ca-central-1 us-east-1 us-east-2 us-west-2 |
| ca-west-1 | ca-west-1 us-east-1 us-east-2 us-west-2 |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### Antropik AS Claude Soneta 4.5
Untuk memanggil profil inferensi US Anthropic Claude Sonnet 4.5, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
us.anthropic.claude-sonnet-4-5-20250929-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-claude.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| ca-central-1 | ca-central-1 us-east-1 us-east-2 us-west-2 |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### Soneta Claude Antropik AS 4.6
Untuk memanggil profil inferensi US Anthropic Claude Sonnet 4.6, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
us.anthropic.claude-sonnet-4-6
```
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| ca-central-1 | ca-central-1 us-east-1 us-east-2 us-west-2 |
| ca-west-1 | ca-west-1 us-east-1 us-east-2 us-west-2 |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### US Claude Opus 4
Untuk memanggil profil inferensi Claude Opus 4 AS, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
us.anthropic.claude-opus-4-20250514-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-claude.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### US Claude Opus 4.1
Untuk memanggil profil inferensi Claude Opus 4.1 AS, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
us.anthropic.claude-opus-4-1-20250805-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-claude.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### US Claude Soneta 4
Untuk memanggil profil inferensi Claude Sonnet 4 AS, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
us.anthropic.claude-sonnet-4-20250514-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-claude.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### Sematkan Cohere AS v4
Untuk memanggil profil inferensi US Cohere Embed v4, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
us.cohere.embed-v4:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-embed.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### AS DeepSeek -R1
Untuk memanggil profil inferensi US DeepSeek -R1, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
us.deepseek.r1-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](https://www.deepseek.com/).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### Instruksi US Llama 4 Maverick 17B
Untuk memanggil profil inferensi Instruksi Llama 4 Maverick 17B AS, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
us.meta.llama4-maverick-17b-instruct-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-meta.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### Instruksi US Llama 4 Scout 17B
Untuk memanggil profil inferensi Instruksi Llama 4 Scout 17B AS, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
us.meta.llama4-scout-17b-instruct-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-meta.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### Instruksi Meta Llama 3.1 70B AS
Untuk memanggil profil inferensi Instruksi Meta Llama 3.1 70B AS, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
us.meta.llama3-1-70b-instruct-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-meta.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### Instruksi Meta Llama 3.1 8B AS
Untuk memanggil profil inferensi Instruksi Meta Llama 3.1 8B AS, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
us.meta.llama3-1-8b-instruct-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-meta.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### US Meta Llama 3.1 Instruksi 405B
Untuk memanggil profil inferensi Meta Llama 3.1 Instruct 405B AS, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
us.meta.llama3-1-405b-instruct-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-meta.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
### Instruksi Meta Llama 3.2 11B AS
Untuk memanggil profil inferensi Instruksi Meta Llama 3.2 11B AS, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
us.meta.llama3-2-11b-instruct-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-meta.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| us-east-1 | us-east-1 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-west-2 |
### Instruksi Meta Llama 3.2 1B AS
Untuk memanggil profil inferensi Instruksi Meta Llama 3.2 1B AS, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
us.meta.llama3-2-1b-instruct-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-meta.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| us-east-1 | us-east-1 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-west-2 |
### Instruksi Meta Llama 3.2 3B AS
Untuk memanggil profil inferensi Instruksi Meta Llama 3.2 3B AS, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
us.meta.llama3-2-3b-instruct-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-meta.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| us-east-1 | us-east-1 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-west-2 |
### Instruksi Meta Llama 3.2 90B AS
Untuk memanggil profil inferensi Instruksi Meta Llama 3.2 90B AS, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
us.meta.llama3-2-90b-instruct-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-meta.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| us-east-1 | us-east-1 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-west-2 |
### Instruksi Meta Llama 3.3 70B AS
Untuk memanggil profil inferensi Instruksi Meta Llama 3.3 70B AS, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
us.meta.llama3-3-70b-instruct-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-meta.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### US Mistral Pixtral Besar 25.02
Untuk memanggil profil inferensi US Mistral Pixtral Large 25.02, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
us.mistral.pixtral-large-2502-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-mistral.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### Nova Lite AS
Untuk memanggil profil inferensi US Nova Lite, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
us.amazon.nova-lite-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](https://docs.aws.amazon.com/nova/latest/userguide/getting-started-schema.html).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### Mikro Nova AS
Untuk memanggil profil inferensi US Nova Micro, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
us.amazon.nova-micro-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](https://docs.aws.amazon.com/nova/latest/userguide/getting-started-schema.html).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### Premier Nova AS
Untuk memanggil profil inferensi US Nova Premier, tentukan ID profil inferensi berikut di salah satu Sumber Wilayah:
```
us.amazon.nova-premier-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](https://docs.aws.amazon.com/nova/latest/userguide/getting-started-schema.html).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### Nova Pro AS
Untuk memanggil profil inferensi US Nova Pro, tentukan ID profil inferensi berikut di salah satu Sumber Wilayah:
```
us.amazon.nova-pro-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](https://docs.aws.amazon.com/nova/latest/userguide/getting-started-schema.html).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### Pegasus AS v1.2
Untuk memanggil profil inferensi Pegasus v1.2 AS, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
us.twelvelabs.pegasus-1-2-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-pegasus.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-1 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### Kelas Atas Konservatif Gambar Stabil AS
Untuk memanggil profil inferensi Kelas Atas Konservatif Gambar Stabil AS, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
us.stability.stable-conservative-upscale-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](stable-image-services.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### Sketsa Kontrol Gambar Stabil AS
Untuk memanggil profil inferensi Sketsa Kontrol Gambar Stabil AS, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
us.stability.stable-image-control-sketch-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-stability-diffusion.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### Struktur Kontrol Gambar Stabil AS
Untuk memanggil profil inferensi Struktur Kontrol Gambar Stabil AS, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
us.stability.stable-image-control-structure-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-stability-diffusion.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### Kelas Atas Kreatif Gambar Stabil AS
Untuk memanggil profil inferensi Kelas Atas Kreatif Gambar Stabil AS, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
us.stability.stable-creative-upscale-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](stable-image-services.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### Objek Hapus Gambar Stabil AS
Untuk memanggil profil inferensi Objek Hapus Gambar Stabil AS, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
us.stability.stable-image-erase-object-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-stability-diffusion.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### Gambar Stabil AS Kelas Atas Cepat
Untuk memanggil profil inferensi US Stable Image Fast Upscale, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
us.stability.stable-fast-upscale-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](stable-image-services.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### Inpaint Gambar Stabil AS
Untuk memanggil profil inferensi US Stable Image Inpaint, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
us.stability.stable-image-inpaint-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-stability-diffusion.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### Outpaint Gambar Stabil AS
Untuk memanggil profil inferensi US Stable Image Outpaint, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
us.stability.stable-outpaint-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](stable-image-services.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### Gambar Stabil AS Hapus Latar Belakang
Untuk memanggil profil inferensi Gambar Stabil Hapus Latar Belakang AS, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
us.stability.stable-image-remove-background-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-stability-diffusion.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### Pencarian dan Warna Kembali Gambar Stabil AS
Untuk memanggil profil inferensi Pencarian Gambar Stabil dan Warna Kembali AS, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
us.stability.stable-image-search-recolor-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-stability-diffusion.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### Pencarian dan Ganti Gambar Stabil AS
Untuk memanggil profil inferensi Pencarian Gambar Stabil AS dan Ganti, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
us.stability.stable-image-search-replace-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-stability-diffusion.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### Panduan Gaya Gambar Stabil AS
Untuk memanggil profil inferensi US Stable Image Style Guide, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
us.stability.stable-image-style-guide-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-stability-diffusion.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### Transfer Gaya Gambar Stabil AS
Untuk memanggil profil inferensi Transfer Gaya Gambar Stabil AS, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
us.stability.stable-style-transfer-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-stability-diffusion.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### US TwelveLabs Marengo Embed 3.0
Untuk memanggil profil inferensi US TwelveLabs Marengo Embed 3.0, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
us.twelvelabs.marengo-embed-3-0-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-marengo.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
### AS TwelveLabs Marengo Embed v2.7
Untuk memanggil profil inferensi US TwelveLabs Marengo Embed v2.7, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
us.twelvelabs.marengo-embed-2-7-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-marengo.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-1 us-west-2 |
### Penulis AS Palmyra X4
Untuk memanggil profil inferensi US Writer Palmyra X4, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
us.writer.palmyra-x4-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-writer-palmyra.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### Penulis AS Palmyra X5
Untuk memanggil profil inferensi US Writer Palmyra X5, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
us.writer.palmyra-x5-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-writer-palmyra.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| us-east-1 | us-east-1 us-east-2 us-west-2 |
| us-east-2 | us-east-1 us-east-2 us-west-2 |
| us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 |
| us-west-2 | us-east-1 us-east-2 us-west-2 |
### Gubernur Amerika Serikat Claude 3 Haiku
Untuk memanggil profil inferensi US-GOV Claude 3 Haiku, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
us-gov.anthropic.claude-3-haiku-20240307-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-claude.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| us-gov-east-1 | us-gov-east-1 us-gov-west-1 |
### AS-GOV Claude 3.5 Soneta
Untuk memanggil profil inferensi soneta US-GOV Claude 3.5, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
us-gov.anthropic.claude-3-5-sonnet-20240620-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-claude.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| us-gov-east-1 | us-gov-east-1 us-gov-west-1 |
### AS-GOV Claude 3.7 Soneta
Untuk memanggil profil inferensi soneta US-GOV Claude 3.7, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
us-gov.anthropic.claude-3-7-sonnet-20250219-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-claude.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| us-gov-east-1 | us-gov-east-1 us-gov-west-1 |
### Soneta Claude US-GUBERNUR 4.5
Untuk memanggil profil inferensi US-GOV Claude Sonnet 4.5, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
us-gov.anthropic.claude-sonnet-4-5-20250929-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-claude.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| us-gov-east-1 | us-gov-west-1 |
| us-gov-west-1 | us-gov-west-1 |
### APAC Antropik Claude 3 Haiku
Untuk memanggil profil inferensi APAC Anthropic Claude 3 Haiku, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
apac.anthropic.claude-3-haiku-20240307-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-claude.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| ap-northeast-1 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-northeast-2 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-south-1 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-southeast-1 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-southeast-2 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 |
### APAC Antropik Claude 3 Soneta
Untuk memanggil profil inferensi Soneta APAC Anthropic Claude 3, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
apac.anthropic.claude-3-sonnet-20240229-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-claude.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| ap-northeast-1 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-northeast-2 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-south-1 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-southeast-1 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-southeast-2 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 |
### APAC Antropik Claude 3.5 Soneta
Untuk memanggil profil inferensi Soneta APAC Anthropic Claude 3.5, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
apac.anthropic.claude-3-5-sonnet-20240620-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-claude.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| ap-northeast-1 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-northeast-2 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-south-1 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-southeast-1 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-southeast-2 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 |
### APAC Antropik Claude 3.5 Soneta v2
Untuk memanggil profil inferensi APAC Anthropic Claude 3.5 Soneta v2, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
apac.anthropic.claude-3-5-sonnet-20241022-v2:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-claude.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| ap-northeast-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-northeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-northeast-3 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-south-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-south-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 |
| ap-southeast-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-southeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 |
### APAC Antropik Claude 3.7 Soneta
Untuk memanggil profil inferensi soneta APAC Anthropic Claude 3.7, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
apac.anthropic.claude-3-7-sonnet-20250219-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-claude.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| ap-northeast-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 |
| ap-northeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 |
| ap-northeast-3 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 |
| ap-south-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 |
| ap-south-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 |
| ap-southeast-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 |
| ap-southeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 |
### APAC Claude Soneta 4
Untuk memanggil profil inferensi APAC Claude Sonnet 4, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
apac.anthropic.claude-sonnet-4-20250514-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-claude.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| ap-east-2 | ap-east-2 ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 |
| ap-northeast-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-4 |
| ap-northeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-4 |
| ap-northeast-3 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-4 |
| ap-south-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-4 |
| ap-south-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-4 |
| ap-southeast-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-4 |
| ap-southeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-4 |
| ap-southeast-3 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 |
| ap-southeast-4 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-4 |
| ap-southeast-5 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-5 |
| ap-southeast-7 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-7 |
| me-central-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 me-central-1 |
### APAC Nova Lite
Untuk memanggil profil inferensi APAC Nova Lite, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
apac.amazon.nova-lite-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](https://docs.aws.amazon.com/nova/latest/userguide/getting-started-schema.html).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| ap-east-2 | ap-east-2 ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 |
| ap-northeast-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-northeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-south-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-southeast-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-southeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-southeast-3 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 |
| ap-southeast-4 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-4 |
| ap-southeast-5 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-5 |
| ap-southeast-7 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-7 |
| me-central-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 me-central-1 |
### APAC Nova Mikro
Untuk memanggil profil inferensi APAC Nova Micro, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
apac.amazon.nova-micro-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](https://docs.aws.amazon.com/nova/latest/userguide/getting-started-schema.html).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| ap-east-2 | ap-east-2 ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 |
| ap-northeast-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-northeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-south-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-southeast-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-southeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-southeast-3 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 |
| ap-southeast-5 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-5 |
| ap-southeast-7 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-7 |
| me-central-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 me-central-1 |
### APAC Nova Pro
Untuk memanggil profil inferensi APAC Nova Pro, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
apac.amazon.nova-pro-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](https://docs.aws.amazon.com/nova/latest/userguide/getting-started-schema.html).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| ap-east-2 | ap-east-2 ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 |
| ap-northeast-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-northeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-south-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-southeast-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-southeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 |
| ap-southeast-3 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 |
| ap-southeast-4 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-4 |
| ap-southeast-5 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-5 |
| ap-southeast-7 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-7 |
| me-central-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 me-central-1 |
### APAC Pegasus v1.2
Untuk memanggil profil inferensi APAC Pegasus v1.2, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
apac.twelvelabs.pegasus-1-2-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-pegasus.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| ap-northeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-4 |
### APAC TwelveLabs Marengo Sematkan v2.7
Untuk memanggil profil inferensi APAC TwelveLabs Marengo Embed v2.7, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
apac.twelvelabs.marengo-embed-2-7-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-marengo.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| ap-northeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 |
### AU AU Antropik Claude Soneta 4.5
Untuk memanggil profil inferensi AU AU Anthropic Claude Sonnet 4.5, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
au.anthropic.claude-sonnet-4-5-20250929-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-claude.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| ap-southeast-2 | ap-southeast-2 ap-southeast-4 |
| ap-southeast-4 | ap-southeast-2 ap-southeast-4 |
### AU Antropik Claude Haiku 4.5
Untuk memanggil profil inferensi AU Anthropic Claude Haiku 4.5, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
au.anthropic.claude-haiku-4-5-20251001-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-claude.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| ap-southeast-2 | ap-southeast-2 ap-southeast-4 |
| ap-southeast-4 | ap-southeast-2 ap-southeast-4 |
### AU Antropik Claude Opus 4.6
Untuk memanggil profil inferensi AU Anthropic Claude Opus 4.6, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
au.anthropic.claude-opus-4-6-v1
```
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| ap-southeast-2 | ap-southeast-2 ap-southeast-4 |
| ap-southeast-4 | ap-southeast-2 ap-southeast-4 |
### AU Antropik Claude Soneta 4.6
Untuk memanggil profil inferensi AU Anthropic Claude Sonnet 4.6, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
au.anthropic.claude-sonnet-4-6
```
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| ap-southeast-2 | ap-southeast-2 ap-southeast-4 |
| ap-southeast-4 | ap-southeast-2 ap-southeast-4 |
### CA Nova Lite
Untuk memanggil profil inferensi CA Nova Lite, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
ca.amazon.nova-lite-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](https://docs.aws.amazon.com/nova/latest/userguide/getting-started-schema.html).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| ca-central-1 | ca-central-1 ca-west-1 |
| ca-west-1 | ca-central-1 ca-west-1 |
### Amazon Nova 2 Lite Uni Eropa
Untuk memanggil profil inferensi Amazon Nova 2 Lite UE, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
eu.amazon.nova-2-lite-v1:0
```
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| eu-central-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-north-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-south-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-south-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-west-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-west-3 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
### Antropik UE Claude 3 Haiku
Untuk memanggil profil inferensi EU Anthropic Claude 3 Haiku, tentukan ID profil inferensi berikut di salah satu Sumber Wilayah:
```
eu.anthropic.claude-3-haiku-20240307-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-claude.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| eu-central-1 | eu-central-1 eu-west-1 eu-west-3 |
| eu-west-1 | eu-central-1 eu-west-1 eu-west-3 |
| eu-west-3 | eu-central-1 eu-west-1 eu-west-3 |
### Soneta Claude 3 Antropik UE
Untuk memanggil profil inferensi Soneta Antropik Claude 3 UE, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
eu.anthropic.claude-3-sonnet-20240229-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-claude.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| eu-central-1 | eu-central-1 eu-west-1 eu-west-3 |
| eu-west-1 | eu-central-1 eu-west-1 eu-west-3 |
| eu-west-3 | eu-central-1 eu-west-1 eu-west-3 |
### Antropik UE Claude 3.5 Soneta
Untuk memanggil profil inferensi Soneta Antropik Claude 3.5 UE, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
eu.anthropic.claude-3-5-sonnet-20240620-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-claude.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| eu-central-1 | eu-central-1 eu-west-1 eu-west-3 |
| eu-west-1 | eu-central-1 eu-west-1 eu-west-3 |
| eu-west-3 | eu-central-1 eu-west-1 eu-west-3 |
### Antropik UE Claude 3.7 Soneta
Untuk memanggil profil inferensi soneta Anthropic Claude 3.7 UE, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
eu.anthropic.claude-3-7-sonnet-20250219-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-claude.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| eu-central-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 |
| eu-north-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 |
| eu-west-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 |
| eu-west-3 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 |
### Antropik UE Claude Haiku 4.5
Untuk memanggil profil inferensi EU Anthropic Claude Haiku 4.5, tentukan ID profil inferensi berikut di salah satu Sumber Wilayah:
```
eu.anthropic.claude-haiku-4-5-20251001-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-claude.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| eu-central-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-central-2 | eu-central-1 eu-central-2 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-north-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-south-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-south-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-west-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-west-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-2 eu-west-3 |
| eu-west-3 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
### Claude Opus Antropik UE 4.5
Untuk memanggil profil inferensi EU Anthropic Claude Opus 4.5, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
eu.anthropic.claude-opus-4-5-20251101-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-claude.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| eu-central-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-central-2 | eu-central-1 eu-central-2 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-north-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-south-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-south-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-west-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-west-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-2 eu-west-3 |
| eu-west-3 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
### Claude Opus Antropik UE 4.6
Untuk memanggil profil inferensi EU Anthropic Claude Opus 4.6, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
eu.anthropic.claude-opus-4-6-v1
```
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| eu-central-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-central-2 | eu-central-1 eu-central-2 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-north-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-south-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-south-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-west-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-west-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-2 eu-west-3 |
| eu-west-3 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
### Soneta Claude Antropik UE 4.5
Untuk memanggil profil inferensi EU Anthropic Claude Sonnet 4.5, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
eu.anthropic.claude-sonnet-4-5-20250929-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-claude.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| eu-central-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-central-2 | eu-central-1 eu-central-2 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-north-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-south-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-south-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-west-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-west-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-2 eu-west-3 |
| eu-west-3 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
### Soneta Claude Antropik UE 4.6
Untuk memanggil profil inferensi EU Anthropic Claude Sonnet 4.6, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
eu.anthropic.claude-sonnet-4-6
```
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| eu-central-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-central-2 | eu-central-1 eu-central-2 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-north-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-south-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-south-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-west-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-west-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-2 eu-west-3 |
| eu-west-3 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
### Uni Eropa Claude Soneta 4
Untuk memanggil profil inferensi EU Claude Sonnet 4, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
eu.anthropic.claude-sonnet-4-20250514-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-claude.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| eu-central-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-north-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-south-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-south-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-west-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-west-3 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| il-central-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 il-central-1 |
### Sematkan EU Cohere v4
Untuk memanggil profil inferensi EU Cohere Embed v4, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
eu.cohere.embed-v4:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-embed.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| eu-central-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-north-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-south-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-south-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-west-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-west-3 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
### Instruksi EU Meta Llama 3.2 1B
Untuk memanggil profil inferensi Instruksi EU Meta Llama 3.2 1B, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
eu.meta.llama3-2-1b-instruct-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-meta.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| eu-central-1 | eu-central-1 eu-west-1 eu-west-3 |
| eu-west-1 | eu-central-1 eu-west-1 eu-west-3 |
| eu-west-3 | eu-central-1 eu-west-1 eu-west-3 |
### Instruksi EU Meta Llama 3.2 3B
Untuk memanggil profil inferensi Instruksi EU Meta Llama 3.2 3B, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
eu.meta.llama3-2-3b-instruct-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-meta.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| eu-central-1 | eu-central-1 eu-west-1 eu-west-3 |
| eu-west-1 | eu-central-1 eu-west-1 eu-west-3 |
| eu-west-3 | eu-central-1 eu-west-1 eu-west-3 |
### EU Mistral Pixtral Besar 25.02
Untuk memanggil profil inferensi EU Mistral Pixtral Large 25.02, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
eu.mistral.pixtral-large-2502-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-mistral.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| eu-central-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 |
| eu-north-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 |
| eu-west-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 |
| eu-west-3 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 |
### Uni Eropa Nova Lite
Untuk memanggil profil inferensi EU Nova Lite, tentukan ID profil inferensi berikut di salah satu Sumber Wilayah:
```
eu.amazon.nova-lite-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](https://docs.aws.amazon.com/nova/latest/userguide/getting-started-schema.html).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| eu-central-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 |
| eu-north-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 |
| eu-south-1 | eu-central-1 eu-north-1 eu-south-1 eu-west-1 eu-west-3 |
| eu-south-2 | eu-central-1 eu-north-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-west-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 |
| eu-west-3 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 |
| il-central-1 | eu-central-1 eu-north-1 eu-south-1 eu-west-1 eu-west-3 il-central-1 |
### Uni Eropa Nova Mikro
Untuk memanggil profil inferensi EU Nova Micro, tentukan ID profil inferensi berikut di salah satu Sumber Wilayah:
```
eu.amazon.nova-micro-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](https://docs.aws.amazon.com/nova/latest/userguide/getting-started-schema.html).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| eu-central-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 |
| eu-north-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 |
| eu-south-1 | eu-central-1 eu-north-1 eu-south-1 eu-west-1 eu-west-3 |
| eu-south-2 | eu-central-1 eu-north-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-west-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 |
| eu-west-3 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 |
| il-central-1 | eu-central-1 eu-north-1 eu-south-1 eu-west-1 eu-west-3 il-central-1 |
### Uni Eropa Nova Pro
Untuk memanggil profil inferensi EU Nova Pro, tentukan ID profil inferensi berikut di salah satu sumber Wilayah:
```
eu.amazon.nova-pro-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](https://docs.aws.amazon.com/nova/latest/userguide/getting-started-schema.html).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| eu-central-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 |
| eu-north-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 |
| eu-south-1 | eu-central-1 eu-north-1 eu-south-1 eu-west-1 eu-west-3 |
| eu-south-2 | eu-central-1 eu-north-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-west-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 |
| eu-west-3 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 |
| il-central-1 | eu-central-1 eu-north-1 eu-south-1 eu-west-1 eu-west-3 il-central-1 |
### EU TwelveLabs Marengo Embed 3.0
Untuk memanggil profil inferensi EU TwelveLabs Marengo Embed 3.0, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
eu.twelvelabs.marengo-embed-3-0-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-marengo.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| eu-west-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
### EU TwelveLabs Marengo Embed v2.7
Untuk memanggil profil inferensi EU TwelveLabs Marengo Embed v2.7, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
eu.twelvelabs.marengo-embed-2-7-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-marengo.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| eu-west-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
### EU TwelveLabs Pegasus v1.2
Untuk memanggil profil inferensi EU TwelveLabs Pegasus v1.2, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
eu.twelvelabs.pegasus-1-2-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-pegasus.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| eu-central-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-central-2 | eu-central-1 eu-central-2 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-north-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-south-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-south-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-west-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
| eu-west-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-2 eu-west-3 |
| eu-west-3 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 |
### JP Amazon Nova 2 Lite
Untuk memanggil profil inferensi JP Amazon Nova 2 Lite, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
jp.amazon.nova-2-lite-v1:0
```
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| ap-northeast-1 | ap-northeast-1 ap-northeast-3 |
### JP Antropik Claude Haiku 4.5
Untuk memanggil profil inferensi JP Anthropic Claude Haiku 4.5, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
jp.anthropic.claude-haiku-4-5-20251001-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-claude.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| ap-northeast-1 | ap-northeast-1 ap-northeast-3 |
| ap-northeast-3 | ap-northeast-1 ap-northeast-3 |
### JP Antropik Claude Soneta 4.5
Untuk memanggil profil inferensi JP Anthropic Claude Sonnet 4.5, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
jp.anthropic.claude-sonnet-4-5-20250929-v1:0
```
Untuk informasi selengkapnya tentang parameter inferensi untuk model ini, lihat [Tautan](model-parameters-claude.md).
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| ap-northeast-1 | ap-northeast-1 ap-northeast-3 |
| ap-northeast-3 | ap-northeast-1 ap-northeast-3 |
### JP Antropik Claude Soneta 4.6
Untuk memanggil profil inferensi JP Anthropic Claude Sonnet 4.6, tentukan ID profil inferensi berikut di salah satu Wilayah sumber:
```
jp.anthropic.claude-sonnet-4-6
```
Tabel berikut menunjukkan sumber Wilayah tempat Anda dapat memanggil profil inferensi dan Wilayah tujuan tempat permintaan dapat dirutekan:
| Wilayah Sumber | Wilayah Tujuan |
| --- | --- |
| ap-northeast-1 | ap-northeast-1 ap-northeast-3 |
| ap-northeast-3 | ap-northeast-1 ap-northeast-3 |
## Wilayah dan model yang Didukung untuk profil inferensi aplikasi
Profil inferensi aplikasi dapat dibuat untuk semua model sebagai berikut: Wilayah AWS
+ ap-northeast-1
+ ap-northeast-2
+ ap-south-1
+ ap-southeast-1
+ ap-southeast-2
+ ca-sentral-1
+ eu-central-1
+ eu-west-1
+ eu-west-2
+ eu-west-3
+ sa-east-1
+ us-east-1
+ us-east-2
+ us-gov-east-1
+ us-west-2
Profil inferensi aplikasi dapat dibuat dari semua model dan profil inferensi yang didukung di Amazon Bedrock. Untuk informasi selengkapnya tentang model yang didukung di Amazon Bedrock, lihat[Model pondasi yang didukung di Amazon Bedrock](models-supported.md).
# Prasyarat untuk profil inferensi
Sebelum Anda dapat menggunakan profil inferensi, periksa apakah Anda telah memenuhi prasyarat berikut:
+ Peran Anda memiliki akses ke tindakan API profil inferensi. Jika peran Anda memiliki kebijakan [AmazonBedrockFullAccess](security-iam-awsmanpol.md#security-iam-awsmanpol-AmazonBedrockFullAccess)AWS-managed yang dilampirkan, Anda dapat melewati langkah ini. Jika tidak, lakukan tindakan berikut:
1. Ikuti langkah-langkah di [Membuat kebijakan IAM dan buat kebijakan](https://docs.aws.amazon.com/IAM/latest/UserGuide/access_policies_create.html) berikut, yang memungkinkan peran untuk melakukan tindakan terkait profil inferensi dan menjalankan inferensi model menggunakan semua model dasar dan profil inferensi.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"bedrock:InvokeModel*",
"bedrock:CreateInferenceProfile"
],
"Resource": [
"arn:aws:bedrock:*::foundation-model/*",
"arn:aws:bedrock:*:*:inference-profile/*",
"arn:aws:bedrock:*:*:application-inference-profile/*"
]
},
{
"Effect": "Allow",
"Action": [
"bedrock:GetInferenceProfile",
"bedrock:ListInferenceProfiles",
"bedrock:DeleteInferenceProfile",
"bedrock:TagResource",
"bedrock:UntagResource",
"bedrock:ListTagsForResource"
],
"Resource": [
"arn:aws:bedrock:*:*:inference-profile/*",
"arn:aws:bedrock:*:*:application-inference-profile/*"
]
}
]
}
```
------
(Opsional) Anda dapat membatasi akses peran dengan cara berikut:
+ Untuk membatasi tindakan API yang dapat dilakukan peran, ubah daftar di `Action` bidang agar hanya berisi [operasi API](https://docs.aws.amazon.com/service-authorization/latest/reference/list_amazonbedrock.html#amazonbedrock-actions-as-permissions) yang ingin Anda izinkan aksesnya.
+ Untuk membatasi akses peran ke profil inferensi tertentu, ubah `Resource` daftar agar hanya berisi [profil inferensi](https://docs.aws.amazon.com/service-authorization/latest/reference/list_amazonbedrock.html#amazonbedrock-resources-for-iam-policies) dan model dasar yang ingin Anda izinkan aksesnya. Profil inferensi yang ditentukan sistem dimulai dengan `inference-profile` dan profil inferensi aplikasi dimulai dengan. `application-inference-profile`
**penting**
Saat Anda menentukan profil inferensi di `Resource` bidang di pernyataan pertama, Anda juga harus menentukan model dasar di setiap Wilayah yang terkait dengannya.
+ [Untuk membatasi akses pengguna sehingga mereka dapat memanggil model dasar hanya melalui profil inferensi, tambahkan `Condition` bidang dan gunakan kunci kondisi. `aws:InferenceProfileArn`](https://docs.aws.amazon.com/service-authorization/latest/reference/list_amazonbedrock.html#amazonbedrock-policy-keys) Tentukan profil inferensi yang ingin Anda filter aksesnya. Kondisi ini dapat dimasukkan dalam pernyataan yang mencakup sumber `foundation-model` daya.
+ Misalnya, Anda dapat melampirkan kebijakan berikut ke peran untuk memungkinkannya menjalankan Anthropic Claude 3 Haiku model hanya melalui profil Anthropic Claude 3 Haiku inferensi AS di akun di *111122223333* us-west-2:
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"bedrock:InvokeModel*"
],
"Resource": [
"arn:aws:bedrock:us-west-2:111122223333:inference-profile/us.anthropic.claude-3-haiku-20240307-v1:0"
]
},
{
"Effect": "Allow",
"Action": [
"bedrock:InvokeModel*"
],
"Resource": [
"arn:aws:bedrock:us-east-1::foundation-model/anthropic.claude-3-haiku-20240307-v1:0",
"arn:aws:bedrock:us-west-2::foundation-model/anthropic.claude-3-haiku-20240307-v1:0"
],
"Condition": {
"StringLike": {
"bedrock:InferenceProfileArn": "arn:aws:bedrock:us-west-2:111122223333:inference-profile/us.anthropic.claude-3-haiku-20240307-v1:0"
}
}
}
]
}
```
------
+ Misalnya, Anda dapat melampirkan kebijakan berikut ke peran untuk memungkinkannya menjalankan Anthropic Claude Sonnet 4 model hanya melalui profil Claude Sonnet 4 inferensi Global di akun 111122223333 di us-east-2 (US East (Ohio)).
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"bedrock:InvokeModel*"
],
"Resource": [
"arn:aws:bedrock:us-east-2:111122223333:inference-profile/global.anthropic.claude-sonnet-4-20250514-v1:0"
]
},
{
"Effect": "Allow",
"Action": [
"bedrock:InvokeModel*"
],
"Resource": [
"arn:aws:bedrock:us-east-2::foundation-model/anthropic.claude-sonnet-4-20250514-v1:0",
"arn:aws:bedrock:::foundation-model/anthropic.claude-sonnet-4-20250514-v1:0"
],
"Condition": {
"StringLike": {
"bedrock:InferenceProfileArn": "arn:aws:bedrock:us-east-2:111122223333:inference-profile/global.anthropic.claude-sonnet-4-20250514-v1:0"
}
}
}
]
}
```
------
+ Anda juga dapat membatasi penggunaan profil Claude Sonnet 4 inferensi Global dengan menambahkan Deny eksplisit dengan `StringEquals` kondisi yang memeriksa kunci `aws:RequestedRegion` konteks permintaan sama dengan unspecified. Karena cocok`StringEquals`, Deny mengganti Izinkan apa pun dan memblokir perutean global permintaan inferensi.
```
{
"Effect": "Deny",
"Action": [
"bedrock:InvokeModel*"
],
"Resource": "*",
"Condition": {
"StringEquals": {
"aws:RequestedRegion": "unspecified"
}
}
},
```
1. Ikuti langkah-langkah di [Menambahkan dan menghapus izin identitas IAM](https://docs.aws.amazon.com/IAM/latest/UserGuide/access_policies_manage-attach-detach.html) untuk melampirkan kebijakan ke peran guna memberikan izin peran untuk melihat dan menggunakan semua profil inferensi.
+ Anda telah meminta akses ke model yang ditentukan dalam profil inferensi yang ingin Anda gunakan, di Wilayah tempat Anda ingin memanggil profil inferensi.
# Buat profil inferensi aplikasi
Anda dapat membuat profil inferensi aplikasi dengan satu atau beberapa Wilayah untuk melacak penggunaan dan biaya saat menjalankan model.
+ Untuk membuat profil inferensi aplikasi untuk satu Wilayah, tentukan model dasar. Penggunaan dan biaya untuk permintaan yang dibuat ke Wilayah tersebut dengan model tersebut akan dilacak.
+ Untuk membuat profil inferensi aplikasi untuk beberapa Wilayah, tentukan profil inferensi lintas Wilayah (ditentukan sistem). Profil inferensi akan merutekan permintaan ke Wilayah yang ditentukan dalam profil inferensi lintas Wilayah (ditentukan sistem) yang Anda pilih. Penggunaan dan biaya untuk permintaan yang dibuat ke Daerah dalam profil inferensi akan dilacak.
Saat ini, Anda hanya dapat membuat profil inferensi menggunakan Amazon Bedrock API.
Untuk membuat profil inferensi, kirim [CreateInferenceProfile](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateInferenceProfile.html)permintaan dengan titik akhir [bidang kontrol Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp).
Bidang berikut diperlukan:
****
| Bidang | Kasus penggunaan |
| --- | --- |
| inferenceProfileName | Untuk menentukan nama untuk profil inferensi. |
| ModelSource | Untuk menentukan model pondasi atau profil inferensi lintas Wilayah (ditentukan sistem) yang mendefinisikan model dan Wilayah yang ingin Anda lacak biaya dan penggunaannya. |
Bidang berikut adalah opsional:
****
| Bidang | Kasus penggunaan |
| --- | --- |
| deskripsi | Untuk memberikan deskripsi untuk profil inferensi. |
| tag | Untuk melampirkan tag ke profil inferensi. Untuk informasi selengkapnya, lihat [Menandai sumber daya Amazon Bedrock](tagging.md) dan [Mengatur dan melacak AWS biaya menggunakan tag alokasi](https://docs.aws.amazon.com//awsaccountbilling/latest/aboutv2/cost-alloc-tags.html) biaya. |
| clientRequestToken | Untuk memastikan permintaan API selesai hanya sekali. Untuk informasi selengkapnya, lihat [Memastikan idempotensi](https://docs.aws.amazon.com/ec2/latest/devguide/ec2-api-idempotency.html). |
Respons mengembalikan sebuah `inferenceProfileArn` yang dapat digunakan dalam tindakan terkait profil inferensi lainnya dan yang dapat digunakan dengan pemanggilan model dan sumber daya Amazon Bedrock.
# Ubah tag untuk profil inferensi aplikasi
Setelah Anda membuat profil inferensi aplikasi, Anda masih dapat mengelola tag melalui Amazon Bedrock API dengan mengirimkan [TagResource](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_TagResource.html)atau permintaan [UntagResource](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_UntagResource.html)dengan [titik akhir bidang kontrol Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp) dan menentukan ARN profil inferensi aplikasi di bidang. `resourceArn` Untuk mempelajari lebih lanjut tentang penandaan, lihat[Menandai sumber daya Amazon Bedrock](tagging.md).
# Melihat informasi tentang profil inferensi
Anda dapat melihat informasi tentang profil inferensi lintas Wilayah atau profil inferensi aplikasi yang telah Anda buat. Untuk mempelajari cara melihat informasi tentang profil inferensi, pilih tab untuk metode pilihan Anda, lalu ikuti langkah-langkahnya:
------
#### [ Console ]
**Untuk melihat informasi tentang profil inferensi lintas Wilayah (ditentukan sistem)**
1. Masuk ke Konsol Manajemen AWS dengan identitas IAM yang memiliki izin untuk menggunakan konsol Amazon Bedrock. Kemudian, buka konsol Amazon Bedrock di [https://console.aws.amazon.com/bedrock](https://console.aws.amazon.com/bedrock).
1. Pilih **Inferensi Lintas Wilayah** dari panel navigasi kiri. Kemudian, di bagian **inferensi Lintas Wilayah, pilih profil inferensi**.
1. **Lihat detail profil inferensi di bagian **Detail profil inferensi** dan Wilayah yang dicakupnya di bagian Model.**
**catatan**
Anda tidak dapat melihat profil inferensi aplikasi di konsol Amazon Bedrock.
------
#### [ API ]
Untuk mendapatkan informasi tentang profil inferensi, kirim [GetInferenceProfile](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_GetInferenceProfile.html)permintaan dengan [titik akhir bidang kontrol Amazon Bedrock dan tentukan](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp) Nama Sumber Daya Amazon (ARN) atau ID profil inferensi di bidang. `inferenceProfileIdentifier`
Untuk mencantumkan informasi tentang profil inferensi yang dapat Anda gunakan, kirim [ListInferenceProfiles](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ListInferenceProfiles.html)permintaan dengan titik akhir [bidang kontrol Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp). Anda dapat menentukan parameter opsional berikut:
****
| Bidang | Deskripsi singkat |
| --- | --- |
| maxResults | Jumlah maksimum hasil yang akan dikembalikan sebagai respons. |
| nextToken | Jika ada lebih banyak hasil daripada angka yang Anda tentukan di maxResults bidang, respons mengembalikan nextToken nilai. Untuk melihat kumpulan hasil berikutnya, kirim nextToken nilai dalam permintaan lain. |
------
# Gunakan profil inferensi dalam pemanggilan model
Anda dapat menggunakan profil inferensi lintas Wilayah sebagai pengganti model dasar untuk merutekan permintaan ke beberapa Wilayah. Untuk melacak biaya dan penggunaan model, di satu atau beberapa Wilayah, Anda dapat menggunakan profil inferensi aplikasi. Untuk mempelajari cara menggunakan profil inferensi saat menjalankan inferensi model, pilih tab untuk metode pilihan Anda, lalu ikuti langkah-langkahnya:
------
#### [ Console ]
Untuk menggunakan profil inferensi dengan fitur yang mendukungnya, lakukan hal berikut:
1. Masuk ke Konsol Manajemen AWS dengan identitas IAM yang memiliki izin untuk menggunakan konsol Amazon Bedrock. Kemudian, buka konsol Amazon Bedrock di [https://console.aws.amazon.com/bedrock](https://console.aws.amazon.com/bedrock).
1. Arahkan ke halaman untuk fitur yang ingin Anda gunakan untuk profil inferensi. Misalnya, pilih **Taman bermain Obrolan/Teks** dari panel navigasi kiri.
1. Pilih **Pilih model** dan kemudian pilih model. Misalnya, pilih **Amazon** dan kemudian **Nova Premier**.
1. Di bawah **Inferensi**, pilih **Profil inferensi** dari menu tarik-turun.
1. Pilih profil inferensi yang akan digunakan (misalnya, **US Nova Premier**) dan kemudian pilih **Terapkan**.
------
#### [ API ]
Anda dapat menggunakan profil inferensi saat menjalankan inferensi dari Wilayah mana pun yang disertakan di dalamnya dengan operasi API berikut:
+ [InvokeModel](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html)atau [InvokeModelWithResponseStream](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModelWithResponseStream.html)— Untuk menggunakan profil inferensi dalam pemanggilan model, ikuti langkah-langkah di [Kirim satu prompt dengan InvokeModel](inference-invoke.md) dan tentukan Nama Sumber Daya Amazon (ARN) dari profil inferensi di bidang. `modelId` Sebagai contoh, lihat [Menggunakan profil inferensi dalam pemanggilan model](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html#API_runtime_InvokeModel_Example_5).
+ [Converse](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html) atau [ConverseStream](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_ConverseStream.html)— Untuk menggunakan profil inferensi dalam pemanggilan model dengan Converse API, ikuti langkah-langkah di dan [Melakukan percakapan dengan operasi Converse API](conversation-inference.md) tentukan ARN profil inferensi di bidang. `modelId` Sebagai contoh, lihat [Menggunakan profil inferensi dalam percakapan](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html#API_runtime_Converse_Example_5).
+ [https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent-runtime_RetrieveAndGenerate.html](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent-runtime_RetrieveAndGenerate.html)— Untuk menggunakan profil inferensi saat menghasilkan respons dari hasil kueri basis pengetahuan, ikuti langkah-langkah di tab API [Uji basis pengetahuan Anda dengan pertanyaan dan tanggapan](knowledge-base-test.md) dan tentukan ARN profil inferensi di lapangan. `modelArn` Untuk informasi selengkapnya, lihat [Menggunakan proflie inferensi untuk menghasilkan respons](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent-runtime_RetrieveAndGenerate.html#API_agent-runtime_RetrieveAndGenerate_Example_3).
+ [CreateEvaluationJob](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateEvaluationJob.html)— Untuk mengirimkan profil inferensi untuk evaluasi model, ikuti langkah-langkah di tab API [Memulai pekerjaan evaluasi model otomatis di Amazon Bedrock](model-evaluation-jobs-management-create.md) dan tentukan ARN profil inferensi di bidang. `modelIdentifier`
+ [CreatePrompt](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent_CreatePrompt.html)— Untuk menggunakan profil inferensi saat membuat respons untuk prompt yang Anda buat di Manajemen Prompt, ikuti langkah-langkah di tab API [Buat prompt menggunakan manajemen Prompt](prompt-management-create.md) dan tentukan ARN profil inferensi di bidang. `modelId`
+ [CreateFlow](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent_CreateFlow.html)— Untuk menggunakan profil inferensi saat membuat respons untuk prompt sebaris yang Anda tentukan dalam node prompt dalam alur, ikuti langkah-langkah di tab API di. [Buat dan rancang alur di Amazon Bedrock](flows-create.md) Dalam mendefinisikan [simpul prompt](flows-nodes.md#flows-nodes-prompt), tentukan ARN dari profil inferensi di lapangan. `modelId`
+ [CreateDataSource](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent_CreateDataSource.html)— Untuk menggunakan profil inferensi saat mengurai informasi non-tekstual dalam sumber data, ikuti langkah-langkah di bagian API dan [Opsi penguraian untuk sumber data Anda](kb-advanced-parsing.md) tentukan ARN profil inferensi di bidang. `modelArn`
**catatan**
Jika Anda menggunakan profil inferensi lintas wilayah (ditentukan sistem), Anda dapat menggunakan ARN atau ID profil inferensi.
------
# Hapus profil inferensi aplikasi
Jika Anda tidak lagi memerlukan profil inferensi aplikasi, Anda dapat menghapusnya. Anda hanya dapat menghapus profil inferensi melalui Amazon Bedrock API.
Untuk menghapus profil inferensi, kirim [DeleteInferenceProfile](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_DeleteInferenceProfiles.html)permintaan dengan [titik akhir bidang kontrol Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp) dan tentukan Nama Sumber Daya Amazon (ARN) atau ID profil inferensi yang akan dihapus di bidang. `inferenceProflieIdentifier`
# Tingkatkan kapasitas pemanggilan model dengan Provisioned Throughput di Amazon Bedrock
**Throughput** mengacu pada jumlah dan tingkat input dan output yang diproses dan dikembalikan oleh model. Anda dapat membeli **Provisioned Throughput** untuk menyediakan tingkat throughput yang lebih tinggi untuk model dengan biaya tetap. Jika Anda menyesuaikan model, Anda harus membeli Provisioned Throughput untuk dapat menggunakannya.
Anda ditagih setiap jam untuk Throughput Tertentu yang Anda beli. Untuk informasi rinci tentang harga, lihat [Harga Amazon Bedrock](https://aws.amazon.com/bedrock/pricing). Harga per jam tergantung pada faktor-faktor berikut:
1. Model yang Anda pilih (untuk model khusus, harga sama dengan model dasar yang disesuaikan).
1. Jumlah Unit Model (MUs) yang Anda tentukan untuk Throughput yang Disediakan. MU memberikan tingkat throughput tertentu untuk model yang ditentukan. Tingkat throughput MU menentukan hal berikut:
+ Jumlah token input yang dapat diproses MU di semua permintaan dalam rentang satu menit.
+ Jumlah token keluaran yang dapat dihasilkan MU di semua permintaan dalam rentang satu menit.
**catatan**
Untuk informasi lebih lanjut tentang apa yang ditentukan MU, harga per MU, dan untuk meminta kenaikan batas, hubungi Akun AWS manajer Anda.
1. Durasi waktu Anda berkomitmen untuk menjaga Throughput yang Disediakan. Semakin lama durasi komitmen, semakin banyak diskon harga per jamnya. Anda dapat memilih antara tingkat komitmen berikut:
+ Tidak ada komitmen - Anda dapat menghapus Throughput yang Disediakan kapan saja.
+ 1 bulan - Anda tidak dapat menghapus Throughput yang Disediakan hingga jangka waktu komitmen satu bulan berakhir.
+ 6 bulan - Anda tidak dapat menghapus Throughput yang Disediakan hingga jangka waktu komitmen enam bulan berakhir.
**catatan**
Penagihan berlanjut hingga Anda menghapus Throughput yang Disediakan.
Langkah-langkah berikut menguraikan proses pengaturan dan penggunaan Provisioned Throughput.
1. Tentukan jumlah yang ingin MUs Anda beli untuk Provisioned Throughput dan jumlah waktu yang ingin Anda komit untuk menggunakan Provisioned Throughput.
1. Beli Throughput yang Disediakan untuk model dasar atau kustom.
1. Setelah model yang disediakan dibuat, Anda dapat menggunakannya untuk [menjalankan inferensi model](inference.md).
**Topics**
+ [Region dan model yang didukung untuk Provisioned Throughput](prov-thru-supported.md)
+ [Prasyarat untuk Throughput yang Disediakan](prov-thru-prereq.md)
+ [Beli Throughput yang Disediakan untuk model Amazon Bedrock](prov-thru-purchase.md)
+ [Melihat informasi tentang Throughput yang Disediakan](prov-thru-info.md)
+ [Memodifikasi Throughput yang Disediakan](prov-thru-edit.md)
+ [Menggunakan Throughput yang Disediakan dengan sumber daya Amazon Bedrock](prov-thru-use.md)
+ [Menghapus Throughput yang Disediakan atau batalkan perpanjangan otomatis](prov-thru-delete.md)
+ [Contoh kode untuk Throughput yang Disediakan](prov-thru-code-examples.md)
# Region dan model yang didukung untuk Provisioned Throughput
Jika membeli Provisioned Throughput melalui Amazon Bedrock API, Anda harus menentukan varian kontekstual Amazon FMs Bedrock untuk ID model.
**catatan**
Throughput yang disediakan didukung di AWS GovCloud (AS-Barat) hanya untuk model khusus dengan pembelian tanpa komitmen. Gunakan ID model kustom saat membeli Provisioned Throughput untuknya.
Tabel berikut menunjukkan model yang dapat Anda beli Throughput Tersedia/Provisioned Throughput, ID model yang akan digunakan saat membeli Provisioned Throughput, dan Wilayah AWS di mana Anda dapat membeli Provisioned Throughput untuk model tersebut.
| Penyedia | Model | ID Model | Dukungan model wilayah tunggal |
| --- | --- | --- | --- |
| Amazon | Nova 2 Lite | amazon.nova-2-lite-v 1:0:256 k | us-east-1 |
| Amazon | Kanvas Nova | Amazon. nova-canvas-v1:0 | us-east-1 |
| Amazon | Nova Lite | Amazon. nova-lite-v1:0:24 k | us-east-1 |
| Amazon | Nova Lite | Amazon. nova-lite-v1:0:300 k | us-east-1 |
| Amazon | Nova Mikro | Amazon. nova-micro-v1:0:128 k | us-east-1 |
| Amazon | Nova Mikro | Amazon. nova-micro-v1:0:24 k | us-east-1 |
| Amazon | Nova Pro | Amazon. nova-pro-v1:0:24 k | us-east-1 |
| Amazon | Nova Pro | Amazon. nova-pro-v1:0:300 k | us-east-1 |
| Amazon | Titan Embeddings G1 - Teks | Amazon. titan-embed-text-v1:2:8 k | us-east-1 us-west-2 |
| Amazon | Generator Gambar Titan G1 v2 | Amazon. titan-image-generator-v2:0 | us-east-1 us-west-2 |
| Amazon | Embeddings Multimodal Titan G1 | Amazon. titan-embed-image-v1:0 | ap-south-1 ap-southeast-2 ca-sentral-1 eu-central-1 eu-west-1 eu-west-2 eu-west-3 sa-east-1 us-east-1 us-west-2 |
| Antropik | Claude | antropik.claude-v 2:0:100 k | us-east-1 us-west-2 |
| Antropik | Claude | antropik.claude-v 2:0:18 k | us-east-1 us-west-2 |
| Antropik | Claude | antropik.claude-v 2:1:18 k | eu-central-1 us-east-1 us-west-2 |
| Antropik | Claude | antropik.claude-v 2:1:200 k | eu-central-1 us-east-1 us-west-2 |
| Antropik | Claude 3 Haiku | anthropic.claude-3-haiku-20240307-v 1:0:200 k | ap-southeast-2 eu-west-3 us-east-1 us-west-2 |
| Antropik | Claude 3 Haiku | anthropic.claude-3-haiku-20240307-v 1:0:48 k | ap-south-1 ap-southeast-2 eu-west-1 eu-west-3 us-east-1 us-west-2 |
| Antropik | Claude 3 Soneta | anthropic.claude-3-sonnet-20240229-v 1:0:200 k | ap-southeast-2 eu-west-1 eu-west-3 us-east-1 us-west-2 |
| Antropik | Claude 3 Soneta | anthropic.claude-3-sonnet-20240229-v 1:0:28 k | ap-south-1 ap-southeast-2 eu-west-1 eu-west-3 us-east-1 us-west-2 |
| Antropik | Claude 3.5 Soneta | anthropic.claude-3-5-sonnet-20240620-v 1:0:18 k | us-west-2 |
| Antropik | Claude 3.5 Soneta | anthropic.claude-3-5-sonnet-20240620-v 1:0:200 k | us-west-2 |
| Antropik | Claude 3.5 Soneta | anthropic.claude-3-5-sonnet-20240620-v 1:0:51 k | us-west-2 |
| Antropik | Claude 3.5 Soneta v2 | anthropic.claude-3-5-sonnet-20241022-v 2:0:18 k | us-west-2 |
| Antropik | Claude 3.5 Soneta v2 | anthropic.claude-3-5-sonnet-20241022-v 2:0:200 k | us-west-2 |
| Antropik | Claude 3.5 Soneta v2 | anthropic.claude-3-5-sonnet-20241022-v 2:0:51 k | us-west-2 |
| Antropik | Claude Instan | antropik. claude-instant-v1:2:100 k | us-east-1 us-west-2 |
| Berdampingan | Sematkan Bahasa Inggris | bersama. embed-english-v3:0:512 | ca-central-1 eu-west-2 eu-west-3 sa-east-1 us-east-1 us-west-2 |
| Berdampingan | Sematkan Multilingual | bersama. embed-multilingual-v3:0:512 | ca-central-1 eu-west-2 eu-west-3 sa-east-1 us-east-1 us-west-2 |
| Meta | Instruksi Llama 3.1 70B | b-instruct-vmeta.llama3-1-70 1:0:128 k | us-west-2 |
| Meta | Instruksi Llama 3.1 8B | b-instruct-vmeta.llama3-1-8 1:0:128 k | us-west-2 |
| Meta | Instruksi Llama 3.2 11B | b-instruct-vmeta.llama3-2-11 1:0:128 k | us-west-2 |
| Meta | Instruksi Llama 3.2 1B | b-instruct-vmeta.llama3-2-1 1:0:128 k | us-west-2 |
| Meta | Instruksi Llama 3.2 3B | b-instruct-vmeta.llama3-2-3 1:0:128 k | us-west-2 |
| Meta | Instruksi Llama 3.2 90B | b-instruct-vmeta.llama3-2-90 1:0:128 k | us-west-2 |
**catatan**
Model berikut tidak mendukung pembelian tanpa komitmen untuk model dasar:
Titan Image Generator G1 V1
Titan Image Generator G1 V2
# Prasyarat untuk Throughput yang Disediakan
Sebelum Anda dapat membeli dan mengelola Provisioned Throughput, Anda harus memenuhi prasyarat berikut:
1. [Minta akses ke model atau model](model-access.md) yang ingin Anda beli Throughput Tertentu. Setelah akses diberikan, Anda dapat membeli Provisioned Throughput untuk model dasar dan model apa pun yang disesuaikan darinya.
1. Pastikan peran IAM Anda memiliki akses ke tindakan API Throughput yang Disediakan. Jika peran Anda memiliki kebijakan [AmazonBedrockFullAccess](security-iam-awsmanpol.md#security-iam-awsmanpol-AmazonBedrockFullAccess)AWS-managed yang dilampirkan, Anda dapat melewati langkah ini. Jika tidak, lakukan tindakan berikut:
1. Ikuti langkah-langkah di [Membuat kebijakan IAM dan buat kebijakan](https://docs.aws.amazon.com/IAM/latest/UserGuide/access_policies_create.html) berikut, yang memungkinkan peran untuk membuat Throughput Tertentu untuk semua model dasar dan kustom.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "PermissionsForProvisionedThroughput",
"Effect": "Allow",
"Action": [
"bedrock:GetFoundationModel",
"bedrock:ListFoundationModels",
"bedrock:GetCustomModel",
"bedrock:ListCustomModels",
"bedrock:InvokeModel",
"bedrock:InvokeModelWithResponseStream",
"bedrock:ListTagsForResource",
"bedrock:UntagResource",
"bedrock:TagResource",
"bedrock:CreateProvisionedModelThroughput",
"bedrock:GetProvisionedModelThroughput",
"bedrock:ListProvisionedModelThroughputs",
"bedrock:UpdateProvisionedModelThroughput",
"bedrock:DeleteProvisionedModelThroughput"
],
"Resource": "*"
}
]
}
```
------
**catatan**
Jika Anda menggunakan Provisioned Throughput dengan inferensi lintas wilayah, Anda mungkin memerlukan izin tambahan. Lihat [Tingkatkan throughput dengan inferensi lintas wilayah](cross-region-inference.md) untuk mempelajari selengkapnya.
(Opsional) Anda dapat membatasi akses peran dengan cara berikut:
+ Untuk membatasi tindakan API yang dapat dilakukan peran, ubah daftar di `Action` bidang agar hanya berisi [operasi API](https://docs.aws.amazon.com/service-authorization/latest/reference/list_amazonbedrock.html#amazonbedrock-actions-as-permissions) yang ingin Anda izinkan aksesnya.
+ Setelah membuat model yang disediakan, Anda dapat membatasi kemampuan peran untuk melakukan permintaan API dengan model yang disediakan dengan memodifikasi `Resource` daftar agar hanya berisi model yang [disediakan](https://docs.aws.amazon.com/service-authorization/latest/reference/list_amazonbedrock.html#amazonbedrock-resources-for-iam-policies) yang ingin Anda izinkan aksesnya. Sebagai contoh, lihat [Izinkan pengguna untuk memanggil model yang disediakan](security_iam_id-based-policy-examples.md#security_iam_id-based-policy-examples-perform-actions-pt).
+ Untuk membatasi kemampuan peran untuk membuat model yang disediakan dari model dasar atau kustom tertentu, ubah `Resource` daftar agar hanya berisi model [dasar dan kustom](https://docs.aws.amazon.com/service-authorization/latest/reference/list_amazonbedrock.html#amazonbedrock-resources-for-iam-policies) yang ingin Anda izinkan aksesnya.
1. Ikuti langkah-langkah di [Menambahkan dan menghapus izin identitas IAM](https://docs.aws.amazon.com/IAM/latest/UserGuide/access_policies_manage-attach-detach.html) untuk melampirkan kebijakan ke peran untuk memberikan izin peran.
1. Jika Anda membeli Provisioned Throughput untuk model kustom yang dienkripsi dengan kunci yang dikelola pelanggan, peran IAM Anda harus memiliki izin untuk mendekripsi AWS KMS kunci. Anda dapat menggunakan template di[Memahami cara membuat kunci yang dikelola pelanggan dan cara melampirkan kebijakan kunci ke dalamnya](encryption-custom-job.md#encryption-key-policy). Untuk izin minimal, Anda hanya dapat menggunakan pernyataan *Permissions for custom model users* kebijakan.
# Beli Throughput yang Disediakan untuk model Amazon Bedrock
Amazon Bedrock menawarkan dua jenis Provisioned Throughput - berdasarkan Token dan Unit Model. Lihat petunjuk berikut untuk jenis Provisioned Throughput yang ingin Anda beli.
Untuk mempelajari lebih lanjut tentang perbedaan antara kedua jenis Provisioned Throughput, lihat. [Tingkatkan kapasitas pemanggilan model dengan Provisioned Throughput di Amazon Bedrock](prov-throughput.md)
## Throughput yang Disediakan oleh Unit Model
Ketika Anda membeli Provisioned Throughput by Model Units untuk model, Anda menentukan tingkat komitmen untuk itu dan jumlah unit model (MUs) yang akan dialokasikan. Untuk kuota MU, lihat [titik akhir Amazon Bedrock dan kuota](https://docs.aws.amazon.com/general/latest/gr/bedrock.html) di. Referensi Umum AWS Sebelum Anda dapat membeli Provisioned Throughput (dengan komitmen atau tanpa komitmen), Anda harus terlebih dahulu mengunjungi [pusat AWS dukungan](https://console.aws.amazon.com/support/home#/case/create?issueType=service-limit-increase) MUs untuk meminta akun Anda didistribusikan antara Throughput yang Disediakan. Setelah permintaan Anda dikabulkan, Anda dapat membeli Throughput yang Disediakan.
**catatan**
Setelah membeli Provisioned Throughput, jika dikaitkan dengan model kustom, Anda dapat mengubah model dengan menentukan salah satu opsi berikut:
Model dasar dari mana model kustom disesuaikan
Model kustom lain yang disesuaikan dari model dasar yang sama dengan model kustom
Anda hanya dapat mengubah model terkait untuk Provisioned Throughputs yang terkait dengan model kustom.
Untuk mempelajari cara membeli Provisioned Throughput untuk model, pilih tab untuk metode pilihan Anda, lalu ikuti langkah-langkahnya:
------
#### [ Console ]
1. Masuk ke Konsol Manajemen AWS dengan identitas IAM yang memiliki izin untuk menggunakan konsol Amazon Bedrock. Kemudian, buka konsol Amazon Bedrock di [https://console.aws.amazon.com/bedrock](https://console.aws.amazon.com/bedrock).
1. Pilih **Provisioned Throughput** dari panel navigasi kiri.
1. Di bagian **Provisioned Throughput**, pilih **Purchase** Provisioned Throughput.
1. Untuk bagian **Detail Throughput yang Disediakan**, lakukan hal berikut:
1. Di bidang **nama Provisioned Throughput, masukkan nama** untuk Provisioned Throughput.
1. Di bawah **Pilih model**, pilih penyedia model dasar atau kategori model kustom. Kemudian pilih model yang akan menyediakan throughput.
**catatan**
Untuk melihat model dasar yang dapat Anda beli Throughput Tertentu tanpa komitmen, lihat dokumentasi model yang didukung.
Di AWS GovCloud (US) Region, Anda hanya dapat membeli Provisioned Throughput untuk model kustom tanpa komitmen.
1. (Opsional) Untuk mengaitkan tag dengan Provisioned Throughput Anda, perluas bagian **Tag** dan pilih **Tambahkan** tag baru. Untuk informasi selengkapnya, lihat [Menandai sumber daya Amazon Bedrock](tagging.md).
1. Untuk **mode Penyediaan**, pilih **Berdasarkan Unit Model**
1. Untuk bagian **Commitment term & model units**, lakukan hal berikut:
1. Di bagian **Select commitment term**, pilih jumlah waktu yang ingin Anda komit untuk menggunakan Provisioned Throughput.
1. Di bidang **Unit Model**, masukkan jumlah unit model yang diinginkan (MUs). Jika Anda menyediakan model dengan komitmen, Anda harus terlebih dahulu mengunjungi [pusat AWS dukungan](https://console.aws.amazon.com/support/home#/case/create?issueType=service-limit-increase) untuk meminta peningkatan jumlah MUs yang dapat Anda beli.
1. Pilih **Throughput yang Disediakan Pembelian.**
1. Tinjau catatan yang muncul dan akui durasi dan harga komitmen dengan memilih kotak centang. Kemudian pilih **Konfirmasi pembelian**.
1. Konsol menampilkan halaman ikhtisar **Provisioned Throughput**. **Status** **Throughput yang disediakan dalam tabel Provisioned Throughput menjadi Creating.** **Ketika Provisioned Throughput selesai dibuat, **Status** menjadi In service.** Jika pembaruan gagal, **Status** menjadi **Gagal**.
------
#### [ API ]
Untuk membeli Provisioned Throughput, kirim [CreateProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateProvisionedModelThroughput.html)permintaan dengan titik akhir bidang kontrol [Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp).
Untuk mempelajari lebih lanjut tentang isi isi isi permintaan dan parameter yang perlu Anda berikan untuk membuat Throughput Disediakan menurut Unit Model, lihat [CreateProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateProvisionedModelThroughput.html)di Referensi *Amazon Bedrock API*.
**catatan**
Untuk melihat model dasar yang dapat Anda beli Throughput Tertentu tanpa komitmen, lihat dokumentasi model yang didukung.
Di AWS GovCloud (US) Region, Anda hanya dapat membeli Provisioned Throughput untuk model kustom tanpa komitmen.
Respons mengembalikan a `provisionedModelArn` yang dapat Anda gunakan sebagai [inferensi `modelId` dalam model](inference.md). Untuk memeriksa kapan Provisioned Throughput siap digunakan, kirim [GetProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_GetProvisionedModelThroughput.html)permintaan dan periksa apakah statusnya. `InService` Jika pembaruan gagal, statusnya akan`Failed`, dan [GetProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_GetProvisionedModelThroughput.html)responsnya akan berisi file`failureMessage`.
[Lihat contoh kode](prov-thru-code-examples.md)
------
# Melihat informasi tentang Throughput yang Disediakan
Untuk mempelajari cara melihat informasi tentang Throughput yang telah Anda beli, pilih tab untuk metode pilihan Anda, lalu ikuti langkah-langkahnya:
------
#### [ Console ]
**Untuk melihat informasi tentang Throughput yang Disediakan**
1. Masuk ke Konsol Manajemen AWS dengan identitas IAM yang memiliki izin untuk menggunakan konsol Amazon Bedrock. Kemudian, buka konsol Amazon Bedrock di [https://console.aws.amazon.com/bedrock](https://console.aws.amazon.com/bedrock).
1. Pilih **Provisioned Throughput** dari panel navigasi kiri.
1. Dari bagian **Provisioned Throughput**, pilih Provisioned Throughput.
1. **Lihat detail untuk Throughput yang Disediakan di bagian **ikhtisar Throughput yang Disediakan** dan tag yang terkait dengan Throughput yang Disediakan di bagian Tag.**
------
#### [ API ]
Untuk mengambil informasi tentang Provisioned Throughput tertentu, kirim permintaan [GetProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_GetProvisionedModelThroughput.html)dengan endpoint bidang kontrol [Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp). Tentukan nama Provisioned Throughput atau ARN-nya sebagai. `provisionedModelId`
Untuk mencantumkan informasi tentang semua Throughput yang Disediakan di akun, kirim [ListProvisionedModelThroughputs](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ListProvisionedModelThroughputs.html)permintaan dengan titik akhir bidang kontrol [Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp). Untuk mengontrol jumlah hasil yang dikembalikan, Anda dapat menentukan parameter opsional berikut:
****
| Bidang | Deskripsi singkat |
| --- | --- |
| maxResults | Jumlah maksimum hasil yang akan dikembalikan sebagai respons. |
| nextToken | Jika ada lebih banyak hasil daripada angka yang Anda tentukan di maxResults bidang, respons mengembalikan nextToken nilai. Untuk melihat kumpulan hasil berikutnya, kirim nextToken nilai dalam permintaan lain. |
Untuk parameter opsional lain yang dapat Anda tentukan untuk mengurutkan dan memfilter hasilnya, lihat [ListProvisionedModelThroughputs](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ListProvisionedModelThroughputs.html).
Untuk mencantumkan semua tag untuk Throughput yang Disediakan, kirim [ListTagsForResource](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ListTagsForResource.html)permintaan dengan titik [akhir bidang kontrol Amazon Bedrock dan](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp) sertakan Nama Sumber Daya Amazon (ARN) dari Throughput yang Disediakan.
[Lihat contoh kode](prov-thru-code-examples.md)
------
# Memodifikasi Throughput yang Disediakan
Aspek dari Provisioned Throughput yang dapat Anda edit setelah pembelian bergantung pada mode penyediaan. Untuk Throughput yang Disediakan oleh Unit Model, Anda hanya dapat mengedit nama dan tag Throughput yang Disediakan, dan model jika itu adalah model kustom.
Dengan Provisioned Throughputs by Tokens, Anda memiliki lebih banyak opsi, termasuk memodifikasi jumlah token input dan output per menit untuk Throughput yang Disediakan.
Lihat bagian berikut untuk mempelajari selengkapnya tentang mengedit jenis Throughput Tertentu yang ingin Anda ubah.
## Memodifikasi Throughput yang Disediakan oleh Unit Model
Anda dapat mengedit nama atau tag dari Provisioned Throughput yang ada.
Pembatasan berikut berlaku untuk mengubah model yang dikaitkan dengan Throughput yang Disediakan:
+ Anda tidak dapat mengubah model untuk Provisioned Throughput yang terkait dengan model dasar.
+ Jika Provisioned Throughput dikaitkan dengan model kustom, Anda dapat mengubah asosiasi ke model dasar yang disesuaikan, atau ke model kustom lain yang diturunkan dari model dasar yang sama.
Saat Provisioned Throughput diperbarui, Anda dapat menjalankan inferensi menggunakan Provisioned Throughput tanpa mengganggu lalu lintas yang sedang berlangsung dari pelanggan akhir Anda. Jika Anda mengubah model yang dikaitkan dengan Throughput Tertentu, Anda mungkin menerima output dari model lama hingga pembaruan sepenuhnya diterapkan.
Untuk mempelajari cara mengedit Throughput yang Disediakan, pilih tab untuk metode pilihan Anda, lalu ikuti langkah-langkahnya:
------
#### [ Console ]
1. Masuk ke Konsol Manajemen AWS dengan identitas IAM yang memiliki izin untuk menggunakan konsol Amazon Bedrock. Kemudian, buka konsol Amazon Bedrock di [https://console.aws.amazon.com/bedrock](https://console.aws.amazon.com/bedrock).
1. Pilih **Provisioned Throughput** dari panel navigasi kiri.
1. Dari bagian **Provisioned Throughput**, pilih Provisioned Throughput.
1. Pilih **Edit**. Anda dapat mengedit bidang berikut:
+ Nama **Provisioned Throughput — Ubah nama** Provisioned Throughput.
+ **Pilih model** — Jika Provisioned Throughput dikaitkan dengan model kustom, Anda dapat mengubah model terkait.
1. **Anda dapat mengedit tag yang terkait dengan Provisioned Throughput Anda di bagian Tag.** Untuk informasi selengkapnya, lihat [Menandai sumber daya Amazon Bedrock](tagging.md).
1. Untuk menyimpan perubahan Anda, pilih **Simpan suntingan**.
1. Konsol menampilkan halaman ikhtisar **Provisioned Throughput**. **Status** **Throughput yang Disediakan dalam tabel Throughput yang Disediakan menjadi Update.** **Ketika Provisioned Throughput selesai diperbarui, **Status** menjadi layanan In.** Jika pembaruan gagal, **Status** menjadi **Gagal**.
------
#### [ API ]
Untuk mengedit Throughput yang Disediakan, kirim [UpdateProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_UpdateProvisionedModelThroughput.html)permintaan dengan titik akhir bidang kontrol [Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp).
Untuk mempelajari selengkapnya tentang isi permintaan dan parameter yang perlu Anda berikan, lihat [UpdateProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_UpdateProvisionedModelThroughput.html)di *Referensi Amazon Bedrock API*.
Jika tindakan berhasil, respons mengembalikan respons status HTTP 200. Untuk memeriksa kapan Provisioned Throughput siap digunakan, kirim [GetProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_GetProvisionedModelThroughput.html)permintaan dan periksa apakah statusnya. `InService` Anda tidak dapat memperbarui atau menghapus Throughput yang Disediakan saat statusnya. `Updating` Jika pembaruan gagal, statusnya akan`Failed`, dan [GetProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_GetProvisionedModelThroughput.html)responsnya akan berisi file`failureMessage`.
Untuk menambahkan tag ke Throughput yang Disediakan, kirim [TagResource](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_TagResource.html)permintaan dengan titik [akhir bidang kontrol Amazon Bedrock dan](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp) sertakan Nama Sumber Daya Amazon (ARN) dari Throughput yang Disediakan. Badan permintaan berisi `tags` bidang, yang merupakan objek yang berisi pasangan kunci-nilai yang Anda tentukan untuk setiap tag.
Untuk menghapus tag dari Throughput yang Disediakan, kirim [UntagResource](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_UntagResource.html)permintaan dengan titik [akhir bidang kontrol Amazon Bedrock dan](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp) sertakan Nama Sumber Daya Amazon (ARN) dari Throughput yang Disediakan. Parameter `tagKeys` permintaan adalah daftar yang berisi kunci untuk tag yang ingin Anda hapus.
[Lihat contoh kode](prov-thru-code-examples.md)
------
# Menggunakan Throughput yang Disediakan dengan sumber daya Amazon Bedrock
Setelah Anda membeli Provisioned Throughput, Anda dapat menggunakannya dengan fitur berikut:
+ **Inferensi model** — Anda dapat menguji Throughput yang Disediakan di taman bermain konsol Amazon Bedrock. Saat Anda siap menerapkan Provisioned Throughput, siapkan aplikasi Anda untuk memanggil model yang disediakan. Pilih tab untuk metode pilihan Anda, lalu ikuti langkah-langkahnya:
------
#### [ Console ]
**Untuk menggunakan Throughput yang Disediakan di taman bermain konsol Amazon Bedrock**
1. Masuk ke Konsol Manajemen AWS dengan identitas IAM yang memiliki izin untuk menggunakan konsol Amazon Bedrock. Kemudian, buka konsol Amazon Bedrock di [https://console.aws.amazon.com/bedrock](https://console.aws.amazon.com/bedrock).
1. Dari panel navigasi kiri, pilih **Obrolan**, **Teks**, atau **Gambar** di bawah **Taman Bermain**, tergantung kasus penggunaan Anda.
1. Pilih **Pilih model**.
1. Dalam **1. Kolom kategori**, pilih penyedia atau kategori model kustom. Kemudian, di **2. Kolom model**, pilih model yang dikaitkan dengan Provisioned Throughput Anda.
1. Dalam **3. Kolom throughput**, pilih Provisioned Throughput Anda.
1. Pilih **Terapkan**.
Untuk mempelajari cara menggunakan taman bermain Amazon Bedrock, lihat. [Hasilkan tanggapan di konsol menggunakan taman bermain](playgrounds.md)
------
#### [ API ]
[Untuk menjalankan inferensi menggunakan Throughput yang Disediakan, kirim,, [Converse [InvokeModel[InvokeModelWithResponseStream](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModelWithResponseStream.html)](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html)](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html), atau permintaan [ConverseStream](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_ConverseStream.html)dengan titik akhir waktu proses Amazon Bedrock.](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-rt) Tentukan model ARN yang disediakan sebagai parameter. `modelId` Untuk melihat persyaratan badan permintaan untuk model yang berbeda, lihat[Parameter permintaan inferensi dan bidang respons untuk model dasar](model-parameters.md).
[Lihat contoh kode](prov-thru-code-examples.md)
------
+ **Mengaitkan Throughput yang Disediakan dengan alias agen** [[— Anda dapat mengaitkan Throughput yang Disediakan saat membuat atau memperbarui alias agen.](agents-alias-edit.md)](agents-deploy.md) Di konsol Amazon Bedrock, Anda memilih Throughput yang Disediakan saat menyiapkan alias atau mengeditnya. Di Amazon Bedrock API, Anda menentukan `provisionedThroughput` di `routingConfiguration` saat Anda mengirim permintaan [CreateAgentAlias](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent_CreateAgentAlias.html)or [UpdateAgentAlias](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent_UpdateAgentAlias.html);.
# Menghapus Throughput yang Disediakan atau batalkan perpanjangan otomatis
Throughput yang Disediakan Anda akan diperpanjang secara otomatis pada akhir setiap jangka waktu komitmen, mempertahankan konfigurasi token input dan output Anda saat ini.
Jika Anda tidak ingin menyimpan Throughput yang Disediakan, Anda dapat menghapusnya atau, untuk Throughput yang Disediakan oleh Token, batalkan perpanjangan otomatis untuk mencegahnya diperpanjang ketika jangka waktu saat ini berakhir.
## Menghapus Throughput yang Disediakan
Saat menghapus Throughput yang Disediakan, Anda tidak akan lagi dapat memanggil model pada tingkat throughput yang Anda beli. Jika Anda menghapus Throughput Tertentu yang terkait dengan model kustom, model kustom tidak akan dihapus. Untuk mempelajari cara menghapus model kustom, lihat[Hapus model kustom](model-customization-delete.md).
**catatan**
Anda tidak dapat menghapus Throughput yang Disediakan oleh Unit Model dengan komitmen sebelum jangka waktu komitmen selesai.
Untuk mempelajari cara menghapus Throughput yang Disediakan, pilih tab untuk metode pilihan Anda, lalu ikuti langkah-langkahnya:
------
#### [ Console ]
1. Masuk ke Konsol Manajemen AWS dengan identitas IAM yang memiliki izin untuk menggunakan konsol Amazon Bedrock. Kemudian, buka konsol Amazon Bedrock di [https://console.aws.amazon.com/bedrock](https://console.aws.amazon.com/bedrock).
1. Pilih **Provisioned Throughput** dari panel navigasi kiri.
1. Dari bagian **Provisioned Throughput**, pilih Provisioned Throughput.
1. Pilih **Hapus** dari menu tarik-turun **Tindakan**.
1. Konsol menampilkan formulir modal untuk memperingatkan Anda bahwa penghapusan bersifat permanen. Pilih **Konfirmasi** untuk melanjutkan.
1. Throughput yang Disediakan segera dihapus.
------
#### [ API ]
Untuk menghapus Throughput yang Disediakan, kirim [DeleteProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_DeleteProvisionedModelThroughput.html)permintaan dengan titik akhir bidang kontrol [Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp). Tentukan nama Provisioned Throughput atau ARN-nya sebagai. `provisionedModelId` Jika penghapusan berhasil, respon mengembalikan kode status HTTP 200.
[Lihat contoh kode](prov-thru-code-examples.md)
------
## Membatalkan perpanjangan otomatis untuk Throughput yang Disediakan
Untuk Throughput yang Disediakan oleh Token, Anda dapat membatalkan perpanjangan otomatis kapan saja sebelum jangka waktu komitmen Anda berakhir untuk mencegah Throughput yang Disediakan diperbarui secara otomatis.
Jika Anda membatalkan perpanjangan otomatis, Throughput yang Disediakan akan tetap beroperasi hingga akhir masa komitmen Anda. Anda masih akan dikenakan biaya ketentuan penuh untuk jangka waktu Anda saat ini, apakah Anda menjalankan inferensi atau tidak.
Setelah membatalkan perpanjangan otomatis untuk Throughput yang Disediakan, Anda tidak dapat melakukan modifikasi lebih lanjut pada Throughput yang Disediakan selama sisa jangka waktu komitmen.
**catatan**
Perpanjangan otomatis tidak dapat diaktifkan kembali setelah dibatalkan. Jika Anda memerlukan Provisioned Throughput setelah jangka waktu Anda saat ini berakhir, Anda harus membeli Throughput yang Disediakan baru.
Untuk mempelajari cara membatalkan perpanjangan otomatis untuk Throughput yang Disediakan oleh Token, pilih tab untuk metode pilihan Anda, lalu ikuti langkah-langkahnya:
------
#### [ Console ]
1. Masuk ke Konsol Manajemen AWS dengan identitas IAM yang memiliki izin untuk menggunakan konsol Amazon Bedrock. Kemudian, buka konsol Amazon Bedrock di [https://console.aws.amazon.com/bedrock](https://console.aws.amazon.com/bedrock).
1. Pilih **Provisioned Throughput** dari panel navigasi kiri.
1. Dari bagian **Provisioned Throughput**, pilih Provisioned Throughput.
1. Pilih **Batalkan perpanjangan otomatis** dari menu tarik-turun **Tindakan**.
1. Konsol menampilkan formulir modal untuk memperingatkan Anda bahwa tindakan ini tidak dapat dibatalkan. Pilih **Konfirmasi** untuk melanjutkan.
1. Throughput yang Disediakan akan tetap aktif hingga akhir jangka waktu komitmen saat ini, setelah itu akan dihapus secara otomatis.
------
#### [ API ]
Untuk membatalkan perpanjangan otomatis untuk Throughput yang Disediakan, kirim permintaan [UpdateProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_UpdateProvisionedModelThroughput.html)dengan [titik akhir bidang kontrol Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp) dengan parameter yang disetel ke. `disableAutoRenew` `true` Throughput yang Disediakan akan tetap aktif hingga akhir jangka waktu komitmen saat ini.
[Lihat contoh kode](prov-thru-code-examples.md)
------
# Contoh kode untuk Throughput yang Disediakan
Contoh kode berikut menunjukkan cara membuat Provisioned Throughput dan cara mengelola dan memanggilnya, menggunakan dan Python AWS CLI SDK. Anda dapat membuat Provisioned Throughput dari model foundation atau dari model yang telah Anda sesuaikan. Sebelum Anda memulai, lakukan prasyarat berikut:
**Prasyarat**
Contoh berikut menggunakan Amazon Nova Lite model, yang ID modelnya`amazon.nova-lite-v1:0:24k`. Jika Anda belum melakukannya, minta akses ke Amazon Nova Lite dengan mengikuti langkah-langkah di[Kelola akses model menggunakan SDK dan CLI](model-access.md#model-access-modify).
Jika Anda ingin membeli Provisioned Throughput untuk model foundation atau model kustom yang berbeda, Anda harus melakukan hal berikut:
1. Temukan ID model (untuk model pondasi), nama (untuk model kustom), atau ARN (untuk keduanya) dengan melakukan salah satu hal berikut:
+ Jika Anda membeli Provisioned Throughput untuk model foundation, cari ID atau Amazon Resource Name (ARN) model yang mendukung penyediaan dengan salah satu cara berikut:
+ Cari nilai dalam tabel.
+ Kirim [ListFoundationModels](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ListFoundationModels.html)permintaan dan tentukan `byInferenceType` nilainya `PROVISIONED` untuk melihat daftar model yang mendukung penyediaan. Temukan nilai di `modelArn` bidang `modelId` atau.
+ Jika Anda membeli Provisioned Throughput untuk model kustom, cari nama atau Amazon Resource Name (ARN) model yang Anda kustomisasi dengan salah satu cara berikut:
+ Di konsol Amazon Bedrock, pilih **Model khusus** dari panel navigasi kiri. Temukan nama model khusus Anda dalam daftar **Model** atau pilih dan temukan **Model ARN di detail** **Model**.
+ Kirim [ListCustomModels](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ListCustomModels.html)permintaan dan temukan `modelName` atau `modelArn` nilai model kustom Anda dalam respons.
1. `body`Ubah [InvokeModel](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html)permintaan dalam contoh di bawah ini agar sesuai dengan format badan model dengan menemukannya di[Parameter permintaan inferensi dan bidang respons untuk model dasar](model-parameters.md).
Pilih tab untuk metode pilihan Anda, lalu ikuti langkah-langkahnya:
------
#### [ AWS CLI ]
1. Kirim [CreateProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateProvisionedModelThroughput.html)permintaan untuk membuat Throughput Penyediaan tanpa komitmen yang dipanggil*MyPT*, dengan menjalankan perintah berikut di terminal:
```
aws bedrock create-provisioned-model-throughput \
--model-units 1 \
--provisioned-model-name MyPT \
--model-id amazon.nova-lite-v1:0:24k
```
1. Respons mengembalikan a`provisioned-model-arn`. Berikan waktu untuk pembuatan selesai. Untuk memeriksa statusnya, kirim [GetProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_GetProvisionedModelThroughput.html)permintaan dan berikan nama atau ARN dari model yang disediakan sebagai`provisioned-model-id`, dengan menjalankan perintah berikut:
```
aws bedrock get-provisioned-model-throughput \
--provisioned-model-id ${provisioned-model-arn}
```
1. Jalankan inferensi dengan model yang Anda sediakan dengan mengirimkan permintaan. [InvokeModel](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html) Berikan ARN dari model yang disediakan yang dikembalikan `CreateProvisionedModelThroughput` sebagai tanggapan, sebagai. `model-id` Output ditulis ke file bernama *output.txt* di folder Anda saat ini.
```
aws bedrock-runtime invoke-model \
--model-id ${provisioned-model-arn} \
--body '{
"messages": [{
"role": "user",
"content": [{
"text": "Hello"
}]
}],
"inferenceConfig": {
"temperature":0.7
}
}' \
--cli-binary-format raw-in-base64-out \
output.txt
```
1. Mengirim [DeleteProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_DeleteProvisionedModelThroughput.html)permintaan untuk menghapus Provisioned Throughput menggunakan perintah berikut. Anda tidak akan lagi dikenakan biaya untuk Throughput yang Disediakan.
```
aws bedrock delete-provisioned-model-throughput
--provisioned-model-id MyPT
```
------
#### [ Python (Boto) ]
Cuplikan kode berikut memandu Anda membuat Throughput Terprovisi untuk mendapatkan informasi tentangnya, dan menjalankan Throughput yang Disediakan.
1. Untuk membuat Throughput Penyediaan tanpa komitmen yang dipanggil dan *MyPT* menetapkan ARN dari Provisioned Throughput ke variabel yang disebut, kirim permintaan berikut: *provisioned\$1model\$1arn* [CreateProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateProvisionedModelThroughput.html)
```
import boto3
provisioned_model_name = 'MyPT'
bedrock = boto3.client(service_name='bedrock')
response = bedrock.create_provisioned_model_throughput(
modelUnits=1,
provisionedModelName=provisioned_model_name,
modelId='amazon.nova-lite-v1:0:24k'
)
provisioned_model_arn = response['provisionedModelArn']
```
1. Berikan waktu untuk pembuatan selesai. Anda dapat memeriksa statusnya dengan cuplikan kode berikut. Anda dapat memberikan nama Throughput yang Disediakan atau ARN yang dikembalikan dari respons sebagai. [CreateProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateProvisionedModelThroughput.html)`provisionedModelId`
```
bedrock.get_provisioned_model_throughput(provisionedModelId=provisioned_model_name)
```
1. Jalankan inferensi dengan model penyediaan Anda yang diperbarui dengan perintah berikut dan gunakan ARN dari model yang disediakan sebagai. `modelId`
```
import json
import logging
import boto3
from botocore.exceptions import ClientError
class ImageError(Exception):
"Custom exception for errors returned by the model"
def __init__(self, message):
self.message = message
logger = logging.getLogger(__name__)
logging.basicConfig(level=logging.INFO)
def generate_text(model_id, body):
"""
Generate text using your provisioned custom model.
Args:
model_id (str): The model ID to use.
body (str) : The request body to use.
Returns:
response (json): The response from the model.
"""
logger.info(
"Generating text with your provisioned custom model %s", model_id)
brt = boto3.client(service_name='bedrock-runtime')
accept = "application/json"
content_type = "application/json"
response = brt.invoke_model(
body=body, modelId=model_id, accept=accept, contentType=content_type
)
response_body = json.loads(response.get("body").read())
finish_reason = response_body.get("error")
if finish_reason is not None:
raise ImageError(f"Text generation error. Error is {finish_reason}")
logger.info(
"Successfully generated text with provisioned custom model %s", model_id)
return response_body
def main():
"""
Entrypoint for example.
"""
try:
logging.basicConfig(level=logging.INFO,
format="%(levelname)s: %(message)s")
model_id = provisioned-model-arn
body = json.dumps({
"inputText": "what isAWS?"
})
response_body = generate_text(model_id, body)
print(f"Input token count: {response_body['inputTextTokenCount']}")
for result in response_body['results']:
print(f"Token count: {result['tokenCount']}")
print(f"Output text: {result['outputText']}")
print(f"Completion reason: {result['completionReason']}")
except ClientError as err:
message = err.response["Error"]["Message"]
logger.error("A client error occurred: %s", message)
print("A client error occured: " +
format(message))
except ImageError as err:
logger.error(err.message)
print(err.message)
else:
print(
f"Finished generating text with your provisioned custom model {model_id}.")
if __name__ == "__main__":
main()
```
1. Hapus Throughput yang Disediakan dengan cuplikan kode berikut. Anda tidak akan lagi dikenakan biaya untuk Throughput yang Disediakan.
```
bedrock.delete_provisioned_model_throughput(provisionedModelId=provisioned_model_name)
```
------
# Kuota untuk Amazon Bedrock
Anda Akun AWS memiliki kuota default, sebelumnya disebut sebagai batas, untuk Amazon Bedrock. Untuk melihat kuota layanan untuk Amazon Bedrock, lakukan salah satu hal berikut:
+ Ikuti langkah-langkah di [Melihat kuota layanan](https://docs.aws.amazon.com/servicequotas/latest/userguide/gs-request-quota.html) dan pilih **Amazon Bedrock** sebagai layanan.
+ Lihat [kuota layanan Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#limits_bedrock) di. Referensi Umum AWS
Inferensi model di Amazon Bedrock dikendalikan oleh kuota pada penggunaan token. Beberapa model menggunakan token pada tingkat yang lebih tinggi. Untuk informasi selengkapnya tentang tarif ini dan cara mengoptimalkan penggunaan token Anda, lihat[Bagaimana token dihitung di Amazon Bedrock](quotas-token-burndown.md).
[Untuk menjaga kinerja layanan dan memastikan penggunaan Amazon Bedrock yang tepat, kuota default yang ditetapkan ke akun dapat diperbarui tergantung pada faktor regional, riwayat pembayaran, penggunaan penipuan, and/or persetujuan permintaan peningkatan kuota.](quotas-increase.md)
**Topics**
+ [Bagaimana token dihitung di Amazon Bedrock](quotas-token-burndown.md)
+ [Pantau penggunaan token Anda dengan menghitung token sebelum menjalankan inferensi](count-tokens.md)
+ [Minta kenaikan kuota Amazon Bedrock](quotas-increase.md)
# Bagaimana token dihitung di Amazon Bedrock
Saat Anda menjalankan inferensi model, ada kuota pada jumlah token yang dapat diproses tergantung pada model Amazon Bedrock yang Anda gunakan. Tinjau terminologi berikut yang terkait dengan kuota token:
****
| Jangka Waktu | Definisi |
| --- | --- |
| InputTokenCount | Metrik runtime CloudWatch Amazon Bedrock yang mewakili jumlah token dalam permintaan yang diberikan sebagai input ke model. |
| OutputTokenCount | Metrik runtime CloudWatch Amazon Bedrock yang mewakili jumlah token yang dihasilkan oleh model dalam menanggapi permintaan. |
| CacheReadInputTokens | Metrik runtime CloudWatch Amazon Bedrock yang mewakili jumlah token input yang berhasil diambil dari cache alih-alih diproses ulang oleh model. Nilai ini adalah 0 jika Anda tidak menggunakan [caching prompt](prompt-caching.md). |
| CacheWriteInputTokens | Metrik runtime CloudWatch Amazon Bedrock yang mewakili jumlah token input yang berhasil ditulis ke dalam cache. Nilai ini adalah 0 jika Anda tidak menggunakan [caching prompt](prompt-caching.md). |
| Token per menit (TPM) | Kuota yang ditetapkan oleh AWS pada tingkat model pada jumlah token (termasuk input dan output) yang dapat Anda gunakan dalam satu menit. |
| Token per hari (TPD) | Kuota yang ditetapkan oleh AWS pada tingkat model pada jumlah token (termasuk input dan output) yang dapat Anda gunakan dalam satu hari. Secara default, nilai ini adalah TPM x 24 x 60. Namun, baru Akun AWS telah mengurangi kuota. |
| Permintaan per menit (RPM) | Kuota yang ditetapkan oleh AWS pada tingkat model pada jumlah permintaan yang dapat Anda kirim dalam satu menit. |
| max\$1tokens | Parameter yang Anda berikan dalam permintaan Anda untuk menetapkan jumlah maksimum token keluaran yang dapat dihasilkan model. |
| Tingkat burndown | Tingkat di mana token input dan output diubah menjadi penggunaan kuota token untuk sistem throttling. |
Tingkat burndown untuk model Anthropic Claude versi 3.7 dan yang lebih baru adalah **5x untuk token keluaran (1 token keluaran mengkonsumsi 5 token** dari kuota Anda):
Untuk semua model lainnya, tingkat burndown adalah **1:1 (1** token keluaran mengkonsumsi 1 token dari kuota Anda).
**Topics**
+ [Memahami manajemen kuota token](#quotas-token-burndown-management)
+ [Memahami dampak parameter max\$1tokens](#quotas-token-burndown-max-tokens)
+ [Mengoptimalkan parameter max\$1tokens](#quotas-token-burndown-max-tokens-optimize)
## Memahami manajemen kuota token
Saat Anda mengajukan permintaan, token dikurangkan dari kuota TPM dan TPD Anda. Perhitungan terjadi pada tahap-tahap berikut:
+ **Pada awal permintaan** — Dengan asumsi bahwa Anda belum melebihi kuota RPM Anda, jumlah berikut dipotong dari kuota Anda. Permintaan dibatasi jika Anda melebihi kuota.
```
Total input tokens + max_tokens
```
+ **Selama pemrosesan** - Kuota yang dikonsumsi oleh permintaan disesuaikan secara berkala untuk memperhitungkan jumlah sebenarnya dari token keluaran yang dihasilkan.
+ **Di akhir permintaan** — Jumlah total token yang dikonsumsi oleh permintaan akan dihitung sebagai berikut dan token yang tidak digunakan diisi ulang ke kuota Anda:
```
InputTokenCount + CacheWriteInputTokens + (OutputTokenCount x burndown rate)
```
Jika Anda tidak menggunakan [caching prompt](prompt-caching.md), `CacheWriteInputTokens` akan menjadi 0. `CacheReadInputTokens`Jangan berkontribusi pada perhitungan ini.
**catatan**
Anda hanya ditagih untuk penggunaan token Anda yang sebenarnya.
Misalnya, jika Anda menggunakan Anthropic Claude Sonnet 4 dan mengirim permintaan yang berisi 1.000 token masukan dan menghasilkan respons yang setara dengan 100 token:
**1.500 token** (1.000 \$1 100 x 5) akan habis dari kuota TPM dan TPD Anda.
Anda hanya akan ditagih untuk **1.100 token**.
## Memahami dampak parameter max\$1tokens
`max_tokens`Nilai dipotong dari kuota Anda di awal setiap permintaan. Jika Anda mencapai kuota TPM lebih awal dari yang diharapkan, coba kurangi `max_tokens` untuk memperkirakan ukuran penyelesaian Anda dengan lebih baik.
Skenario berikut memberikan contoh bagaimana pengurangan kuota akan bekerja pada permintaan yang diselesaikan menggunakan model yang memiliki tingkat burndown 5x untuk token keluaran::
### Skenario 1: Nilai max\$1token tinggi
Asumsikan parameter berikut:
+ **InputTokenCount:** 3.000
+ **CacheReadInputTokens:** 4.000
+ **CacheWriteInputTokens:** 1.000
+ **OutputTokenCount:** 1.000
+ **max\$1tokens**: 32.000
Pengurangan kuota berikut terjadi:
+ **Pengurangan awal saat permintaan dibuat:** 40.000 (= 3.000 \$1 4.000 \$1 1.000 \$1 32.000)
+ **Pengurangan akhir yang disesuaikan setelah respons dihasilkan:** 9.000 (= 3.000 \$1 1.000 \$1 1.000 x 5)
Dalam skenario ini, lebih sedikit permintaan bersamaan dapat dibuat karena `max_tokens` parameter disetel terlalu tinggi. Hal ini mengurangi konkurensi permintaan, throughput, dan pemanfaatan kuota, karena kapasitas kuota TPM akan tercapai dengan cepat.
### Skenario 2: Nilai max\$1tokens yang dioptimalkan
Asumsikan parameter berikut:
+ **InputTokenCount:** 3.000
+ **CacheReadInputTokens:** 4.000
+ **CacheWriteInputTokens:** 1.000
+ **OutputTokenCount:** 1.000
+ **max\$1token**: 1.250
Pengurangan kuota berikut terjadi:
+ **Pengurangan awal saat permintaan dibuat:** 9.250 (= 3.000 \$1 4.000 \$1 1.000 \$1 1.250)
+ **Pengurangan akhir yang disesuaikan setelah respons dihasilkan:** 9.000 (= 3.000 \$1 1.000 \$1 1.000 x 5)
Dalam skenario ini, `max_tokens` parameter dioptimalkan, karena deduksi awal hanya sedikit lebih tinggi dari deduksi akhir yang disesuaikan. Ini membantu meningkatkan konkurensi permintaan, throughput, dan pemanfaatan kuota.
## Mengoptimalkan parameter max\$1tokens
Dengan mengoptimalkan `max_tokens` parameter, Anda dapat memanfaatkan kapasitas kuota yang dialokasikan secara efisien. Untuk membantu menginformasikan keputusan Anda tentang parameter ini, Anda dapat menggunakan Amazon CloudWatch, yang secara otomatis mengumpulkan metrik dari AWS layanan, termasuk data penggunaan token di Amazon Bedrock.
Token dicatat dalam metrik `InputTokenCount` dan `OutputTokenCount` runtime (untuk metrik lainnya, lihat. [Metrik runtime Amazon Bedrock](monitoring.md#runtime-cloudwatch-metrics)
Untuk menggunakan CloudWatch pemantauan untuk menginformasikan keputusan Anda tentang `max_tokens` parameter, lakukan hal berikut di Konsol Manajemen AWS:
1. Masuk ke CloudWatch konsol Amazon di [https://console.aws.amazon.com/cloudwatch](https://console.aws.amazon.com/cloudwatch).
1. Dari panel navigasi kiri, pilih **Dasbor**.
1. Pilih tab **Dasbor otomatis**.
1. Pilih **Bedrock**.
1. Di dasbor **Token Counts by Model**, pilih ikon perluas.
1. Pilih parameter durasi dan rentang waktu untuk metrik yang akan diperhitungkan untuk penggunaan puncak.
1. Dari menu tarik-turun berlabel **Sum**, Anda dapat memilih metrik yang berbeda untuk mengamati penggunaan token Anda. Periksa metrik ini untuk memandu keputusan Anda dalam menetapkan `max_tokens` nilai Anda.
# Pantau penggunaan token Anda dengan menghitung token sebelum menjalankan inferensi
Saat Anda menjalankan inferensi model, jumlah token yang Anda kirim dalam input berkontribusi pada biaya permintaan dan terhadap kuota token yang dapat Anda gunakan per menit dan per hari. [CountTokens](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_CountTokens.html)API membantu Anda memperkirakan penggunaan token sebelum mengirim permintaan ke model foundation dengan mengembalikan jumlah token yang akan digunakan jika input yang sama dikirim ke model dalam permintaan inferensi.
**catatan**
Menggunakan [CountTokens](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_CountTokens.html)API tidak dikenakan biaya.
Penghitungan token adalah model khusus karena model yang berbeda menggunakan strategi tokenisasi yang berbeda. Jumlah token yang dikembalikan oleh operasi ini akan cocok dengan jumlah token yang akan dibebankan jika input yang sama dikirim ke model untuk menjalankan inferensi.
Anda dapat menggunakan `CountTokens` API untuk melakukan hal berikut:
+ Perkirakan biaya sebelum mengirim permintaan inferensi.
+ Optimalkan prompt agar sesuai dengan batas token.
+ Rencanakan penggunaan token dalam aplikasi Anda.
**Topics**
+ [Model dan Wilayah yang didukung untuk penghitungan token](#count-tokens-supported)
+ [Hitung token dalam permintaan](#count-tokens-use)
+ [Coba contoh](#count-tokens-example)
## Model dan Wilayah yang didukung untuk penghitungan token
Tabel berikut menunjukkan dukungan model dasar untuk penghitungan token:
| Penyedia | Model | ID Model | Dukungan model wilayah tunggal |
| --- | --- | --- | --- |
| Antropik | Claude 3.5 Haiku | anthropic.claude-3-5-haiku-20241022-v 1:0 | us-west-2 |
| Antropik | Claude 3.5 Soneta | anthropic.claude-3-5-sonnet-20240620-v 1:0 | ap-northeast-1 ap-southeast-1 eu-central-1 eu-central-2 us-east-1 us-west-2 |
| Antropik | Claude 3.5 Soneta v2 | anthropic.claude-3-5-sonnet-20241022-v 2:0 | ap-southeast-2 us-west-2 |
| Antropik | Claude 3.7 Soneta | anthropic.claude-3-7-sonnet-20250219-v 1:0 | eu-west-2 |
| Antropik | Claude Opus 4 | anthropic.claude-opus-4-20250514-v 1:0 | |
| Antropik | Claude Soneta 4 | anthropic.claude-sonnet-4-20250514-v 1:0 | |
## Hitung token dalam permintaan
Untuk menghitung jumlah token input dalam permintaan inferensi, kirim [CountTokens](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_CountTokens.html)permintaan dengan [titik akhir runtime Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-rt), Tentukan model di header dan input untuk menghitung token di bidang. `body` Nilai `body` bidang tergantung pada apakah Anda menghitung token input untuk permintaan [InvokeModel](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html)atau [Converse](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html):
+ Untuk `InvokeModel` permintaan, format `body` adalah string yang mewakili objek JSON yang formatnya bergantung pada model yang Anda tentukan.
+ Untuk `Converse` permintaan, format `body` adalah objek JSON yang menentukan `messages` dan `system` prompt yang disertakan dalam percakapan.
## Coba contoh
Contoh di bagian ini memungkinkan Anda menghitung token untuk `Converse` permintaan `InvokeModel` dan permintaan AnthropicClaude 3 Haiku.
**Prasyarat**
+ Anda telah mengunduh AWS SDK untuk Python (Boto3) dan konfigurasi Anda diatur sedemikian rupa sehingga kredensi dan AWS Wilayah default Anda dikenali secara otomatis.
+ Identitas IAM Anda memiliki izin untuk tindakan berikut (untuk informasi selengkapnya, lihat [Kunci tindakan, sumber daya, dan kondisi untuk Amazon Bedrock](https://docs.aws.amazon.com/service-authorization/latest/reference/list_amazonbedrock.html)):
+ batuan dasar: CountTokens — Memungkinkan penggunaan. `CountTokens`
+ batuan dasar: InvokeModel — Memungkinkan penggunaan `InvokeModel` dan`Converse`. Harus dicakup*arn:\$1\$1Partition\$1:bedrock:\$1\$1Region\$1::foundation-model/anthropic.claude-3-haiku-20240307-v1:0*, minimal.
Untuk mencoba menghitung token untuk [InvokeModel](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html)permintaan, jalankan kode Python berikut:
```
import boto3
import json
bedrock_runtime = boto3.client("bedrock-runtime")
input_to_count = json.dumps({
"anthropic_version": "bedrock-2023-05-31",
"max_tokens": 500,
"messages": [
{
"role": "user",
"content": "What is the capital of France?"
}
]
})
response = bedrock_runtime.count_tokens(
modelId="anthropic.claude-3-5-haiku-20241022-v1:0",
input={
"invokeModel": {
"body": input_to_count
}
}
)
print(response["inputTokens"])
```
Untuk mencoba menghitung token untuk permintaan [Converse](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html), jalankan kode Python berikut:
```
import boto3
import json
bedrock_runtime = boto3.client("bedrock-runtime")
input_to_count = {
"messages": [
{
"role": "user",
"content": [
{
"text": "What is the capital of France?"
}
]
},
{
"role": "assistant",
"content": [
{
"text": "The capital of France is Paris."
}
]
},
{
"role": "user",
"content": [
{
"text": "What is its population?"
}
]
}
],
"system": [
{
"text": "You're an expert in geography."
}
]
}
response = bedrock_runtime.count_tokens(
modelId="anthropic.claude-3-5-haiku-20241022-v1:0",
input={
"converse": input_to_count
}
)
print(response["inputTokens"])
```
# Minta kenaikan kuota Amazon Bedrock
Langkah-langkah untuk meminta kenaikan kuota untuk akun Anda bergantung pada nilai di kolom **Adjustable** dalam tabel kuota di kuota layanan [Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#limits_bedrock):
+ Jika kuota ditandai sebagai **Ya**, Anda dapat menyesuaikannya dengan mengikuti langkah-langkah di [Meminta Peningkatan Kuota pada Panduan Pengguna Service Quotas](https://docs.aws.amazon.com/servicequotas/latest/userguide/request-quota-increase.html).
+ Untuk model apa pun, Anda dapat meminta peningkatan untuk kuota berikut bersama-sama:
+ InvokeModel Token Lintas Wilayah per menit untuk *\$1\$1model\$1*
+ InvokeModel Permintaan Lintas Wilayah per menit untuk *\$1\$1model\$1*
+ InvokeModel Token sesuai permintaan per menit untuk *\$1\$1model\$1*
+ Permintaan sesuai InvokeModel permintaan per menit untuk *\$1\$1model\$1*
+ Token maks pemanggilan model per hari untuk *\$1\$1model\$1*
Untuk meminta peningkatan kombinasi kuota ini, mintalah peningkatan ** InvokeModel token Lintas Wilayah per menit untuk *\$1\$1model\$1*** kuota dengan mengikuti langkah-langkah di [Meminta Peningkatan Kuota dalam Panduan Pengguna Service Quotas](https://docs.aws.amazon.com/servicequotas/latest/userguide/request-quota-increase.html). Setelah Anda melakukannya, tim dukungan akan menjangkau dan menawarkan Anda opsi untuk juga meningkatkan empat kuota lainnya.
**catatan**
Karena permintaan yang luar biasa, prioritas akan diberikan kepada pelanggan yang menghasilkan lalu lintas yang mengkonsumsi alokasi kuota yang ada. Permintaan Anda mungkin ditolak jika Anda tidak memenuhi persyaratan ini.
# Caching cepat untuk inferensi model yang lebih cepat
Prompt caching adalah fitur opsional yang dapat Anda gunakan dengan model yang didukung di Amazon Bedrock untuk mengurangi latensi respons inferensi dan biaya token input. Dengan menambahkan bagian dari konteks Anda ke cache, model dapat memanfaatkan cache untuk melewati perhitungan ulang input, memungkinkan Bedrock untuk berbagi dalam penghematan komputasi dan menurunkan latensi respons Anda.
Caching cepat dapat membantu ketika Anda memiliki beban kerja dengan konteks panjang dan berulang yang sering digunakan kembali untuk beberapa kueri. Misalnya, jika Anda memiliki chatbot tempat pengguna dapat mengunggah dokumen dan mengajukan pertanyaan tentangnya, model dapat memakan waktu untuk memproses dokumen setiap kali pengguna memberikan masukan. Dengan caching prompt, Anda dapat men-cache dokumen sehingga kueri future yang berisi dokumen tidak perlu memprosesnya ulang.
Saat menggunakan caching cepat, Anda dikenakan biaya pada tingkat yang lebih rendah untuk token yang dibaca dari cache. Tergantung pada modelnya, token yang ditulis ke cache dapat dikenakan biaya pada tingkat yang lebih tinggi daripada token input yang tidak di-cache. Token apa pun yang tidak dibaca atau ditulis ke cache, dibebankan pada tingkat token input standar untuk model itu. Untuk informasi selengkapnya, lihat [halaman harga Amazon Bedrock](https://aws.amazon.com/bedrock/pricing/).
## Cara kerjanya
Jika Anda memilih untuk menggunakan caching prompt, Amazon Bedrock membuat cache yang terdiri dari pos pemeriksaan *cache*. Ini adalah penanda yang menentukan subbagian yang berdekatan dari prompt Anda yang ingin Anda cache (sering disebut sebagai awalan prompt). Awalan prompt ini harus statis di antara permintaan, perubahan pada awalan prompt dalam permintaan berikutnya akan mengakibatkan kesalahan cache.
Pos pemeriksaan cache memiliki jumlah token minimum dan maksimum, tergantung pada model spesifik yang Anda gunakan. Anda hanya dapat membuat pos pemeriksaan cache jika awalan prompt total Anda memenuhi jumlah minimum token. Misalnya, model Anthropic Claude 3.7 Sonnet membutuhkan setidaknya 1.024 token per pos pemeriksaan cache. Itu berarti bahwa pos pemeriksaan cache pertama Anda dapat ditentukan setelah 1.024 token dan pos pemeriksaan cache kedua Anda dapat ditentukan setelah 2.048 token. Jika Anda mencoba menambahkan pos pemeriksaan cache sebelum memenuhi jumlah minimum token, inferensi Anda akan tetap berhasil, tetapi awalan Anda tidak akan di-cache. Cache memiliki Time To Live (TTL), yang mengatur ulang dengan setiap hit cache yang berhasil. Selama periode ini, konteks dalam cache dipertahankan. Jika tidak ada klik cache yang terjadi di dalam jendela TTL, cache Anda kedaluwarsa. Sebagian besar model mendukung TTL 5 menit, sementara Claude Opus 4,5,Claude Haiku 4.5, dan Claude Sonnet 4.5 juga mendukung opsi TTL 1 jam yang diperpanjang.
Anda dapat menggunakan caching prompt kapan pun Anda mendapatkan inferensi model di Amazon Bedrock untuk model yang didukung. Prompt caching didukung oleh fitur Amazon Bedrock berikut:
**Converse dan ConverseStream APIs**
Anda dapat melakukan percakapan dengan model tempat Anda menentukan pos pemeriksaan cache di prompt Anda.
**InvokeModel dan InvokeModelWithResponseStream APIs**
Anda dapat mengirimkan permintaan prompt tunggal di mana Anda mengaktifkan caching prompt dan menentukan pos pemeriksaan cache Anda.
**Caching Prompt dengan Inferensi Lintas Wilayah**
Prompt caching dapat digunakan bersama dengan inferensi lintas wilayah. Inferensi lintas wilayah secara otomatis memilih AWS Wilayah optimal dalam geografi Anda untuk melayani permintaan inferensi Anda, sehingga memaksimalkan sumber daya yang tersedia dan ketersediaan model. Pada saat permintaan tinggi, pengoptimalan ini dapat menyebabkan peningkatan penulisan cache.
**Manajemen Amazon Bedrock Prompt**
Saat Anda [membuat](prompt-management-create.md) atau [memodifikasi](prompt-management-modify.md) prompt, Anda dapat memilih untuk mengaktifkan caching prompt. Bergantung pada modelnya, Anda dapat men-cache prompt sistem, instruksi sistem, dan pesan (pengguna dan asisten). Anda juga dapat memilih untuk menonaktifkan caching prompt.
Ini APIs memberi Anda fleksibilitas dan kontrol granular paling besar atas cache prompt. Anda dapat mengatur pos pemeriksaan cache individual dalam prompt Anda. Anda dapat menambahkan ke cache dengan membuat lebih banyak pos pemeriksaan cache, hingga jumlah maksimum pos pemeriksaan cache yang diizinkan untuk model tertentu. Untuk informasi selengkapnya, lihat [Model, Wilayah, dan batas yang didukung](#prompt-caching-models).
## Model, Wilayah, dan batas yang didukung
Tabel berikut mencantumkan model yang didukung bersama dengan token minimum, jumlah maksimum pos pemeriksaan cache, dan bidang yang memungkinkan pos pemeriksaan cache.
| Nama model | ID Model | Jenis Rilis | Jumlah minimum token per pos pemeriksaan cache | Jumlah maksimum pos pemeriksaan cache per permintaan | TTL yang didukung | Bidang yang menerima pos pemeriksaan cache yang cepat |
| --- | --- | --- | --- | --- | --- | --- |
| Claude Opus4.5 | anthropic.claude-opus-4-5-20251101-v 1:0 | Umumnya Tersedia | 4,096 | 4 | 5 menit, 1 jam | `system`, `pesan`, dan `alat` |
| Claude Opus4.1 | anthropic.claude-opus-4-1-20250805-v 1:0 | Umumnya Tersedia | 1,024 | 4 | 5 menit | `system`, `pesan`, dan `alat` |
| Claude Opus4 | anthropic.claude-opus-4-20250514-v 1:0 | Umumnya Tersedia | 1,024 | 4 | 5 menit | `system`, `pesan`, dan `alat` |
| Claude Sonnet 4.5 | anthropic.claude-sonnet-4-5-20250929-v 1:0 | Umumnya Tersedia | 1,024 | 4 | 5 menit, 1 jam | `system`, `pesan`, dan `alat` |
| Claude Haiku 4.5 | anthropic.claude-haiku-4-5-20251001-v 1:0 | Umumnya Tersedia | 4,096 | 4 | 5 menit, 1 jam | `system`, `pesan`, dan `alat` |
| Claude Sonnet 4 | anthropic.claude-sonnet-4-20250514-v 1:0 | Umumnya Tersedia | 1,024 | 4 | 5 menit | `system`, `pesan`, dan `alat` |
| Claude 3.7 Sonnet | anthropic.claude-3-7-sonnet-20250219-v 1:0 | Umumnya Tersedia | 1,024 | 4 | 5 menit | `system`, `pesan`, dan `alat` |
| Claude 3.5 Haiku | anthropic.claude-3-5-haiku-20241022-v 1:0 | Umumnya Tersedia | 2,048 | 4 | 5 menit | `system`, `pesan`, dan `alat` |
| Claude 3.5 Sonnet v2 | anthropic.claude-3-5-sonnet-20241022-v 2:0 | Pratinjau | 1,024 | 4 | 5 menit | `system`, `pesan`, dan `alat` |
| Amazon Nova Micro | Amazon. nova-micro-v1:0 | Umumnya tersedia | 1K 1 | 4 | 5 menit | `sistem` dan `pesan` |
| Amazon Nova Lite | Amazon. nova-lite-v1:0 | Umumnya tersedia | 1K 1 | 4 | 5 menit | `sistem` dan `pesan` 2 |
| Amazon Nova Pro | Amazon. nova-pro-v1:0 | Umumnya tersedia | 1K 1 | 4 | 5 menit | `sistem` dan `pesan` 2 |
| Amazon Nova Premier | Amazon. nova-premier-v1:0 | Umumnya tersedia | 1K 1 | 4 | 5 menit | `sistem` dan `pesan` 2 |
| Amazon Nova 2 Lite | amazon.nova-2-lite-v 1:0 | Umumnya tersedia | 1K 1 | 4 | 5 menit | `sistem` dan `pesan` 2 |
1: Amazon Nova Model mendukung jumlah maksimum 20K token untuk caching cepat.
2: Prompt caching terutama untuk prompt teks.
Untuk menggunakan opsi TTL 1 jam dengan model yang didukung (Claude Opus4.5,Claude Haiku 4.5, danClaude Sonnet 4.5), tentukan `ttl` bidang di pos pemeriksaan cache Anda. Di Converse API, tambahkan `"ttl": "1h"` ke `cachePoint` objek Anda. Di InvokeModel API untuk model Claude, tambahkan `"ttl": "1h"` ke objek Anda`cache_control`. Jika tidak ada `ttl` nilai yang diberikan, perilaku caching 5 menit default berlaku. TTL 1 jam berguna untuk sesi yang berjalan lebih lama atau skenario pemrosesan batch di mana Anda ingin mempertahankan cache selama periode yang diperpanjang.
Amazon Novamenawarkan caching prompt otomatis untuk semua permintaan teks, termasuk `User` dan `System` pesan. Mekanisme ini dapat memberikan manfaat latensi ketika prompt dimulai dengan bagian berulang, bahkan tanpa konfigurasi eksplisit. Namun, untuk membuka penghematan biaya dan memastikan manfaat kinerja yang lebih konsisten, kami sarankan untuk memilih Caching **Prompt Eksplisit**.
## Manajemen Cache Sederhana untuk Model Claude
Untuk model Claude, Amazon Bedrock menawarkan pendekatan sederhana untuk manajemen cache yang mengurangi kompleksitas menempatkan pos pemeriksaan cache secara manual. Alih-alih mengharuskan Anda menentukan lokasi pos pemeriksaan cache yang tepat, Anda dapat menggunakan manajemen cache otomatis dengan satu breakpoint di akhir konten statis Anda.
Saat Anda mengaktifkan manajemen cache yang disederhanakan, sistem secara otomatis memeriksa klik cache pada batas blok konten sebelumnya, melihat kembali hingga sekitar 20 blok konten dari breakpoint yang Anda tentukan. Ini memungkinkan model menemukan awalan pencocokan terpanjang dari cache Anda tanpa mengharuskan Anda memprediksi lokasi pos pemeriksaan yang optimal. Untuk menggunakan ini, letakkan pos pemeriksaan cache tunggal di akhir konten statis Anda, sebelum konten dinamis atau variabel apa pun. Sistem akan secara otomatis menemukan kecocokan cache terbaik.
Untuk kontrol yang lebih terperinci, Anda masih dapat menggunakan beberapa pos pemeriksaan cache (hingga 4 untuk model Claude) untuk menentukan batas cache yang tepat. Anda harus menggunakan pos pemeriksaan cache berganda jika Anda menyimpan bagian yang berubah pada frekuensi yang berbeda atau ingin lebih banyak kontrol atas apa yang di-cache.
**penting**
Pemeriksaan awalan otomatis hanya melihat kembali sekitar 20 blok konten dari pos pemeriksaan cache Anda. Jika konten statis Anda melampaui rentang ini, pertimbangkan untuk menggunakan beberapa pos pemeriksaan cache atau restrukturisasi prompt Anda untuk menempatkan konten yang paling sering digunakan kembali dalam rentang ini.
## Cara efektif menggunakan caching prompt
Jika Anda memiliki prompt yang digunakan pada irama reguler (yaitu, prompt sistem yang digunakan lebih sering daripada setiap 5 menit), terus gunakan cache 5 menit, karena ini akan terus diperbarui tanpa biaya tambahan.
Cache 1 jam paling baik digunakan dalam skenario berikut:
+ Ketika Anda memiliki petunjuk yang kemungkinan digunakan kurang dari 5 menit, tetapi lebih sering daripada setiap jam. Misalnya, ketika agen samping agen akan memakan waktu lebih dari 5 menit, atau saat menyimpan percakapan obrolan panjang dengan pengguna dan Anda biasanya berharap bahwa pengguna mungkin tidak merespons dalam 5 menit ke depan.
+ Ketika latensi penting dan permintaan tindak lanjut Anda dapat dikirim lebih dari 5 menit.
+ Ketika Anda ingin meningkatkan pemanfaatan batas tarif Anda, karena klik cache tidak dikurangi terhadap batas tarif Anda.
Anda dapat menggunakan kontrol cache 1 jam dan 5 menit dalam permintaan yang sama, tetapi dengan kendala penting: Entri cache dengan TTL yang lebih panjang harus muncul sebelum lebih pendek TTLs (yaitu, entri cache 1 jam harus muncul sebelum entri cache 5 menit).
## Memulai
Bagian berikut menunjukkan gambaran singkat tentang cara menggunakan fitur caching prompt untuk setiap metode berinteraksi dengan model melalui Amazon Bedrock.
### API Converse
[Converse](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html) API menyediakan opsi lanjutan dan fleksibel untuk menerapkan caching cepat dalam percakapan multi-putaran. Untuk informasi selengkapnya tentang persyaratan prompt untuk setiap model, lihat bagian sebelumnya. [Model, Wilayah, dan batas yang didukung](#prompt-caching-models)
**Permintaan contoh**
Contoh berikut menunjukkan pos pemeriksaan cache yang disetel di `messages``system`,, atau `tools` bidang permintaan ke Converse API. Anda dapat menempatkan pos pemeriksaan di salah satu lokasi ini untuk permintaan tertentu. Misalnya, jika mengirim permintaan ke model Claude 3.5 Sonnet v2, Anda dapat menempatkan dua pos pemeriksaan cache, satu pos pemeriksaan cache`messages`, dan satu di`system`. `tools` Untuk informasi lebih rinci dan contoh penataan dan pengiriman permintaan Converse API, lihat[Melakukan percakapan dengan operasi Converse API](conversation-inference.md).
Tentukan nilai ttl yang diinginkan seperti di bawah ini, ketika nilai ttl tidak ditentukan perilaku default 5 menit caching berlaku.
```
"cachePoint" : {
"type": "default",
"ttl" : "5m | 1h"
}
```
------
#### [ messages checkpoints ]
Dalam contoh ini, `image` bidang pertama memberikan gambar ke model, dan `text` bidang kedua meminta model untuk menganalisis gambar. Selama jumlah token sebelum `content` objek `cachePoint` dalam memenuhi jumlah token minimum untuk model, pos pemeriksaan cache dibuat.
```
...
"messages": [
{
"role": "user",
"content": [
{
"image": {
"bytes": "asfb14tscve..."
}
},
{
"text": "What's in this image?"
},
{
"cachePoint": {
"type": "default"
}
}
]
}
]
...
```
------
#### [ system checkpoints ]
Dalam contoh ini, Anda memberikan prompt sistem Anda di `text` lapangan. Selain itu, Anda dapat menambahkan `cachePoint` bidang untuk cache prompt sistem.
```
...
"system": [
{
"text": "You are an app that creates play lists for a radio station that plays rock and pop music. Only return song names and the artist. "
},
{
"cachePoint": {
"type": "default"
}
}
],
...
```
------
#### [ tools checkpoints ]
Dalam contoh ini, Anda memberikan definisi alat Anda di `toolSpec` lapangan. (Atau, Anda dapat memanggil alat yang telah Anda tentukan sebelumnya. Untuk informasi lebih lanjut, lihat[Gunakan alat untuk menyelesaikan respons model Amazon Bedrock](tool-use.md).) Setelah itu, Anda dapat menambahkan `cachePoint` bidang untuk cache alat.
```
...
toolConfig={
"tools": [
{
"toolSpec": {
"name": "top_song",
"description": "Get the most popular song played on a radio station.",
"inputSchema": {
"json": {
"type": "object",
"properties": {
"sign": {
"type": "string",
"description": "The call sign for the radio station for which you want the most popular song. Example calls signs are WZPZ and WKRP."
}
},
"required": [
"sign"
]
}
}
}
},
{
"cachePoint": {
"type": "default"
}
}
]
}
...
```
------
Respons model dari Converse API mencakup tiga bidang baru yang khusus untuk prompt caching. `CacheWriteInputTokens`Nilai `CacheReadInputTokens` dan memberi tahu Anda berapa banyak token yang dibaca dari cache dan berapa banyak token yang ditulis ke cache karena permintaan Anda sebelumnya. `CacheDetails`Nilai memberi tahu Anda ttl yang digunakan untuk jumlah token yang ditulis ke cache. Ini adalah nilai yang dikenakan biaya oleh Amazon Bedrock, dengan tarif yang lebih rendah dari biaya inferensi model penuh.
### InvokeModel API
Caching prompt diaktifkan secara default saat Anda memanggil [InvokeModel](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html)API. Anda dapat mengatur pos pemeriksaan cache kapan saja di badan permintaan Anda, mirip dengan contoh sebelumnya untuk Converse API.
------
#### [ Antropik Claude ]
Contoh berikut menunjukkan bagaimana menyusun badan InvokeModel permintaan Anda untuk model Anthropic Claude 3.5 Sonnet v2. Perhatikan bahwa format dan bidang yang tepat dari isi InvokeModel permintaan dapat bervariasi tergantung pada model yang Anda pilih. Untuk melihat format dan konten badan permintaan dan respons untuk model yang berbeda, lihat[Parameter permintaan inferensi dan bidang respons untuk model dasar](model-parameters.md).
Tentukan nilai ttl yang diinginkan seperti di bawah ini, ketika nilai ttl tidak ditentukan perilaku default 5 menit caching berlaku.
```
"cache_control" : {
"type": "ephemeral",
"ttl" : "5m | 1h"
}
```
```
body={
"anthropic_version": "bedrock-2023-05-31",
"system":"Reply concisely",
"messages": [
{
"role": "user",
"content": [
{
"type": "text",
"text": "Describe the best way to learn programming."
},
{
"type": "text",
"text": "Add additional context here for the prompt that meets the minimum token requirement for your chosen model.",
"cache_control": {
"type": "ephemeral"
}
}
]
}
],
"max_tokens": 2048,
"temperature": 0.5,
"top_p": 0.8,
"stop_sequences": [
"stop"
],
"top_k": 250
}
```
------
#### [ Amazon Nova ]
Contoh berikut menunjukkan bagaimana menyusun badan InvokeModel permintaan Anda untuk Amazon Nova model. Perhatikan bahwa format dan bidang yang tepat dari isi InvokeModel permintaan dapat bervariasi tergantung pada model yang Anda pilih. Untuk melihat format dan konten badan permintaan dan respons untuk model yang berbeda, lihat[Parameter permintaan inferensi dan bidang respons untuk model dasar](model-parameters.md).
```
{
"system": [{
"text": "Reply Concisely"
}],
"messages": [{
"role": "user",
"content": [{
"text": "Describe the best way to learn programming"
},
{
"text": "Add additional context here for the prompt that meets the minimum token requirement for your chosen model.",
"cachePoint": {
"type": "default"
}
}]
}],
"inferenceConfig": {
"maxTokens": 300,
"topP": 0.1,
"topK": 20,
"temperature": 0.3
}
}
```
------
Untuk informasi selengkapnya tentang mengirim InvokeModel permintaan, lihat[Kirim satu prompt dengan InvokeModel](inference-invoke.md).
### Taman bermain
Di taman bermain obrolan di konsol Amazon Bedrock, Anda dapat mengaktifkan opsi caching prompt, dan Amazon Bedrock secara otomatis membuat pos pemeriksaan cache untuk Anda.
Ikuti instruksi [Hasilkan tanggapan di konsol menggunakan taman bermain](playgrounds.md) untuk memulai dengan meminta di taman bermain Amazon Bedrock. Untuk model yang didukung, caching prompt secara otomatis dihidupkan di taman bermain. Namun, jika tidak, lakukan hal berikut untuk mengaktifkan caching prompt:
1. Di panel sisi kiri, buka menu **Konfigurasi.**
1. Aktifkan sakelar **Prompt caching**.
1. Jalankan petunjuk Anda.
Setelah input gabungan dan respons model Anda mencapai jumlah token minimum yang diperlukan untuk pos pemeriksaan (yang bervariasi menurut model), Amazon Bedrock secara otomatis membuat pos pemeriksaan cache pertama untuk Anda. Saat Anda terus mengobrol, setiap jangkauan berikutnya dari jumlah minimum token menciptakan pos pemeriksaan baru, hingga jumlah maksimum pos pemeriksaan yang diizinkan untuk model tersebut. Anda dapat melihat pos pemeriksaan cache Anda kapan saja dengan memilih **Lihat pos pemeriksaan cache** di sebelah sakelar **caching Prompt**, seperti yang ditunjukkan pada gambar berikut.
![\[UI beralih untuk caching cepat di taman bermain teks Amazon Bedrock.\]](http://docs.aws.amazon.com/id_id/bedrock/latest/userguide/images/prompt-caching/bedrock-prompt-caching-ui-toggle.png)
Anda dapat melihat berapa banyak token yang dibaca dan ditulis ke cache karena setiap interaksi dengan model dengan melihat **metrik Caching** pop-up (![\[The metrics icon shown in model responses when prompt caching is enabled.\]](http://docs.aws.amazon.com/id_id/bedrock/latest/userguide/images/prompt-caching/bedrock-prompt-caching-metrics-icon.png)) di respons taman bermain.
![\[Kotak metrik cache yang menunjukkan jumlah token yang dibaca dan ditulis ke cache.\]](http://docs.aws.amazon.com/id_id/bedrock/latest/userguide/images/prompt-caching/bedrock-prompt-caching-metrics.png)
Jika Anda mematikan sakelar caching prompt saat berada di tengah percakapan, Anda dapat melanjutkan mengobrol dengan model.