Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Tingkatkan throughput dengan inferensi lintas wilayah
Dengan inferensi lintas wilayah, Anda dapat memilih profil inferensi lintas wilayah yang terkait dengan geografi tertentu (seperti AS atau UE), atau Anda dapat memilih profil inferensi global. Saat Anda memilih profil inferensi yang terkait dengan geografi tertentu, Amazon Bedrock secara otomatis memilih iklan optimal Wilayah AWS dalam geografi tersebut untuk memproses permintaan inferensi Anda. Dengan profil inferensi global, Amazon Bedrock secara otomatis memilih iklan optimal Wilayah AWS untuk memproses permintaan, yang mengoptimalkan sumber daya yang tersedia dan meningkatkan throughput model.
Kedua jenis inferensi lintas wilayah bekerja melalui profil inferensi, yang mendefinisikan model fondasi (FM) dan Wilayah AWS ke mana permintaan dapat diarahkan. Saat menjalankan inferensi model dalam mode sesuai permintaan, permintaan Anda mungkin dibatasi oleh kuota layanan atau selama waktu penggunaan puncak. Inferensi Lintas Wilayah memungkinkan Anda mengelola semburan lalu lintas yang tidak direncanakan dengan mulus dengan memanfaatkan komputasi di berbagai tempat. Wilayah AWS
Anda juga dapat meningkatkan throughput untuk model dengan membeli Provisioned Throughput. Profil inferensi saat ini tidak mendukung Throughput yang Disediakan.
Untuk melihat Wilayah dan model yang dapat digunakan untuk menggunakan profil inferensi untuk menjalankan inferensi lintas wilayah, lihat. Wilayah dan model yang Didukung untuk profil inferensi
Topik
Memilih antara inferensi Lintas Wilayah Geografis dan Global
Amazon Bedrock menyediakan dua jenis profil inferensi lintas wilayah, masing-masing dirancang untuk kasus penggunaan dan persyaratan kepatuhan yang berbeda:
| Fitur | Inferensi Lintas Wilayah Geografis | Inferensi Lintas Wilayah Global | Rekomendasi |
|---|---|---|---|
| Data residensi | Dalam batas-batas geografis (AS, UE, APAC, dll.) | Wilayah AWS komersial yang didukung di seluruh dunia | Pilih Geografis untuk persyaratan kepatuhan |
| Throughput | Lebih tinggi dari wilayah tunggal | Tertinggi tersedia | Pilih Global untuk performa maksimal |
| Biaya | Harga standar | Penghematan sekitar 10% | Pilih Global untuk optimasi biaya |
| Persyaratan SCP | Izinkan semua Wilayah tujuan di profil | Izinkan "aws:RequestedRegion": "unspecified" |
Konfigurasikan berdasarkan kebijakan organisasi Anda |
| Paling cocok untuk | Organizations dengan peraturan residensi data | Organizations memprioritaskan biaya dan kinerja | Menilai kepatuhan dan kebutuhan kinerja Anda |
Pilih inferensi Lintas wilayah Geografis ketika Anda memiliki persyaratan residensi data dan perlu memastikan pemrosesan data tetap dalam batas geografis tertentu. Pilih inferensi Lintas Wilayah Global saat Anda menginginkan throughput maksimum dan penghematan biaya tanpa batasan geografis.
Pertimbangan umum
Perhatikan informasi berikut tentang inferensi lintas wilayah:
-
Tidak ada biaya perutean tambahan untuk menggunakan inferensi lintas wilayah. Harga dihitung berdasarkan Wilayah tempat Anda memanggil profil inferensi. Untuk informasi tentang harga, lihat harga Amazon Bedrock
. -
Inferensi Lintas Wilayah dapat merutekan permintaan ke permintaan Wilayah AWS yang tidak diaktifkan secara manual di Anda. Akun AWS Pengaktifan Wilayah Manual tidak diperlukan agar inferensi lintas wilayah berfungsi.
-
Semua data yang dikirimkan selama operasi lintas wilayah tetap berada di AWS jaringan dan tidak melintasi internet publik. Data dienkripsi dalam transit antara. Wilayah AWS
-
Semua permintaan inferensi lintas wilayah dicatat CloudTrail di Wilayah sumber Anda. Cari
additionalEventData.inferenceRegionbidang untuk mengidentifikasi di mana permintaan diproses. -
AWSLayanan yang didukung oleh Amazon Bedrock juga dapat menggunakan CRIS. Lihat dokumentasi khusus layanan untuk detail selengkapnya.
