Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Cara kerja inferensi di Amazon Bedrock
Saat Anda mengirimkan input ke model, model memprediksi kemungkinan urutan token yang mengikuti, dan mengembalikan urutan itu sebagai output. Amazon Bedrock memberi Anda kemampuan menjalankan inferensi dengan model dasar pilihan Anda. Saat Anda menjalankan inferensi, Anda memberikan masukan berikut:
-
Prompt — Masukan yang diberikan kepada model agar dapat menghasilkan respons. Untuk informasi tentang petunjuk menulis, lihat Konsep rekayasa prompt. Untuk informasi tentang perlindungan terhadap serangan injeksi yang cepat, lihatKeamanan injeksi yang cepat.
-
Model — Anda membuat permintaan ke model untuk menjalankan inferensi pada prompt. Model yang Anda pilih juga menentukan tingkat throughput, yang menentukan jumlah dan tingkat input dan output token yang dapat Anda proses. Anda dapat membuat permintaan ke jenis model berikut:
-
Model dasar — Model dasar untuk menjalankan inferensi dengan. Permintaan dikirim ke satu AWS Wilayah. Untuk model IDs, lihatModel fondasi yang didukung di Amazon Bedrock. Untuk informasi lebih lanjut tentang model foundation yang tersedia di Amazon Bedrock, lihatInformasi model pondasi Amazon Bedrock.
-
Profil inferensi — Model dasar untuk menjalankan inferensi dengan. Permintaan dibuat untuk model di beberapa AWS Wilayah. Untuk profil inferensi IDs, lihatWilayah dan model yang Didukung untuk profil inferensi.
catatan
Model berbeda dalam model dasar dan ketersediaan profil inferensi menurut Wilayah dan metode API. Untuk informasi lebih lanjut, lihat Model fondasi yang didukung di Amazon Bedrock dan halaman model individual dalam referensi model Foundation.
-
Provisioned Throughput — Model dasar yang telah Anda beli throughput khusus. Untuk informasi selengkapnya, lihat Throughput yang Disediakan
-
Model kustom — Model pondasi yang bobotnya telah dimodifikasi melalui penyesuaian model. Untuk informasi selengkapnya, lihat Sesuaikan model Anda untuk meningkatkan kinerjanya untuk kasus penggunaan Anda.
-
-
Parameter inferensi — Satu set nilai yang dapat disesuaikan untuk membatasi atau mempengaruhi respons model. Untuk informasi tentang parameter inferensi, lihat Mempengaruhi generasi respons dengan parameter inferensi danParameter permintaan inferensi dan bidang respons untuk model dasar.
Memanggil model di Wilayah yang berbeda AWS
Saat Anda memanggil model, Anda memilih tempat Wilayah AWS untuk memanggilnya. Kuota untuk frekuensi dan ukuran permintaan yang dapat Anda buat bergantung pada Wilayah. Anda dapat menemukan kuota ini dengan mencari kuota berikut di kuota layanan Amazon Bedrock:
-
Permintaan inferensi model sesuai permintaan per menit untuk
${Model} -
InvokeModel Token sesuai permintaan per menit untuk
${Model}
Anda juga dapat memanggil profil inferensi alih-alih model pondasi itu sendiri. Profil inferensi mendefinisikan model dan satu atau lebih Wilayah tempat profil inferensi dapat merutekan permintaan pemanggilan model. Dengan memanggil profil inferensi yang mencakup beberapa Wilayah, Anda dapat meningkatkan throughput Anda. Untuk informasi selengkapnya, lihat Tingkatkan throughput dengan inferensi lintas wilayah. Untuk melihat kuota frekuensi dan ukuran permintaan yang dapat Anda buat dengan profil inferensi, cari kuota berikut di kuota layanan Amazon Bedrock:
-
InvokeModel Permintaan Lintas Wilayah per menit untuk
${Model} -
InvokeModel Token Lintas Wilayah per menit untuk
${Model} -
InvokeModel Permintaan Lintas Wilayah Global per menit untuk
${Model} -
InvokeModel Token Lintas Wilayah Global per menit untuk
${Model}
Permintaan yang dibuat ke Wilayah dapat dilayani di luar zona lokal yang berbagi Wilayah induk yang sama. Misalnya, permintaan yang dibuat ke US East (Virginia N.) (us-east-1) dapat dilayani dari zona lokal yang terkait dengannya, seperti Atlanta, AS (us-east-1-atl-2a).
Prinsip yang sama berlaku saat menggunakan inferensi lintas wilayah. Misalnya, permintaan yang dibuat ke profil Anthropic Claude 3 Haiku inferensi AS dapat dilayani dari zona lokal mana pun yang Wilayah induknya berada di AS, seperti Seattle, AS (us-west-2-sea-1a). Ketika zona lokal baru ditambahkan AWS, mereka juga akan ditambahkan ke titik akhir inferensi lintas wilayah yang sesuai.
Untuk melihat daftar titik akhir lokal dan Wilayah induk yang terkait dengannya, lihat Lokasi AWS Local Zones
Saat Anda memanggil profil inferensi lintas wilayah di Amazon Bedrock, permintaan Anda berasal dari Wilayah sumber dan secara otomatis dirutekan ke salah satu Wilayah tujuan yang ditentukan dalam profil tersebut, mengoptimalkan kinerja. Profil inferensi Wilayah untuk Wilayah Lintas Wilayah Global mencakup semua Wilayah komersial.
Profil inferensi lintas wilayah global untuk model tertentu dapat berubah seiring waktu karena AWS menambahkan lebih banyak Wilayah komersial tempat permintaan Anda dapat diproses. Namun, jika profil inferensi terkait dengan geografi (seperti AS, UE, atau APAC), daftar Wilayah tujuannya tidak akan pernah berubah. AWS mungkin membuat profil inferensi baru yang menggabungkan Wilayah baru. Anda dapat memperbarui sistem Anda untuk menggunakan profil inferensi ini dengan mengubah pengaturan Anda ke yang baru. IDs
catatan
Wilayah tujuan dalam profil inferensi Lintas wilayah dapat mencakup Wilayah keikutsertaan, yang merupakan Wilayah yang harus Anda aktifkan secara eksplisit di atau tingkat Organisasi. Akun AWS Untuk mempelajari lebih lanjut, lihat Mengaktifkan atau menonaktifkan Wilayah AWS di akun Anda. Saat menggunakan profil inferensi lintas wilayah, permintaan inferensi Anda dapat dialihkan ke salah satu Wilayah tujuan di profil, bahkan jika Anda tidak ikut serta dalam Wilayah tersebut di akun Anda.
Kebijakan Kontrol Layanan (SCPs) dan AWS Identity and Access Management (IAM) bekerja sama untuk mengontrol di mana inferensi lintas wilayah diperbolehkan. Dengan menggunakan SCPs, Anda dapat mengontrol Wilayah Amazon Bedrock mana yang dapat digunakan untuk inferensi, dan menggunakan kebijakan IAM, Anda dapat menentukan pengguna atau peran mana yang memiliki izin untuk menjalankan inferensi. Jika ada Wilayah tujuan dalam profil inferensi Lintas wilayah yang diblokir di Anda SCPs, permintaan akan gagal meskipun Wilayah lain tetap diizinkan. Untuk memastikan pengoperasian yang efisien dengan inferensi lintas wilayah, Anda dapat memperbarui kebijakan Anda SCPs dan IAM untuk mengizinkan semua tindakan inferensi Amazon Bedrock yang diperlukan (misalnya, bedrock:InvokeModel* ataubedrock:CreateModelInvocationJob) di semua Wilayah tujuan yang disertakan dalam profil inferensi pilihan Anda. Untuk mempelajari lebih lanjut, lihat https://aws.amazon.com/blogs/machine-learning/enable-amazon-bedrock-cross-region-inference-in-multi-account-environments/
