Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Gunakan profil inferensi dalam pemanggilan model
Anda dapat menggunakan profil inferensi lintas Wilayah sebagai pengganti model dasar untuk merutekan permintaan ke beberapa Wilayah. Untuk melacak biaya dan penggunaan model, di satu atau beberapa Wilayah, Anda dapat menggunakan profil inferensi aplikasi. Untuk mempelajari cara menggunakan profil inferensi saat menjalankan inferensi model, pilih tab untuk metode pilihan Anda, lalu ikuti langkah-langkahnya:
- Console
-
Untuk menggunakan profil inferensi dengan fitur yang mendukungnya, lakukan hal berikut:
-
Masuk ke AWS Management Console dengan prinsipal IAM yang memiliki izin untuk menggunakan konsol Amazon Bedrock. Kemudian, buka konsol Amazon Bedrock di https://console.aws.amazon.com/bedrock/
. -
Arahkan ke halaman untuk fitur yang ingin Anda gunakan untuk profil inferensi. Misalnya, pilih Taman bermain Obrolan/Teks dari panel navigasi kiri.
-
Pilih Pilih model dan kemudian pilih model. Misalnya, pilih Amazon dan kemudian Nova Premier.
-
Di bawah Inferensi, pilih Profil inferensi dari menu tarik-turun.
-
Pilih profil inferensi yang akan digunakan (misalnya, US Nova Premier) dan kemudian pilih Terapkan.
-
- API
-
Anda dapat menggunakan profil inferensi saat menjalankan inferensi dari Wilayah mana pun yang disertakan di dalamnya dengan operasi API berikut:
-
InvokeModelatau InvokeModelWithResponseStream— Untuk menggunakan profil inferensi dalam pemanggilan model, ikuti langkah-langkah di Kirim satu prompt dengan InvokeModel dan tentukan Nama Sumber Daya Amazon (ARN) dari profil inferensi di bidang.
modelIdSebagai contoh, lihat Menggunakan profil inferensi dalam pemanggilan model. -
Converse atau ConverseStream— Untuk menggunakan profil inferensi dalam pemanggilan model dengan Converse API, ikuti langkah-langkah di dan Melakukan percakapan dengan operasi Converse API tentukan ARN profil inferensi di bidang.
modelIdSebagai contoh, lihat Menggunakan profil inferensi dalam percakapan. -
RetrieveAndGenerate— Untuk menggunakan profil inferensi saat menghasilkan respons dari hasil kueri basis pengetahuan, ikuti langkah-langkah di tab API Uji basis pengetahuan Anda dengan pertanyaan dan tanggapan dan tentukan ARN profil inferensi di lapangan.
modelArnUntuk informasi selengkapnya, lihat Menggunakan proflie inferensi untuk menghasilkan respons. -
CreateEvaluationJob— Untuk mengirimkan profil inferensi untuk evaluasi model, ikuti langkah-langkah di tab API Memulai pekerjaan evaluasi model otomatis di Amazon Bedrock dan tentukan ARN profil inferensi di bidang.
modelIdentifier -
CreatePrompt— Untuk menggunakan profil inferensi saat membuat respons untuk prompt yang Anda buat di Manajemen Prompt, ikuti langkah-langkah di tab API Buat prompt menggunakan manajemen Prompt dan tentukan ARN profil inferensi di bidang.
modelId -
CreateFlow— Untuk menggunakan profil inferensi saat membuat respons untuk prompt sebaris yang Anda tentukan dalam node prompt dalam alur, ikuti langkah-langkah di tab API di. Buat dan rancang alur di Amazon Bedrock Dalam mendefinisikan simpul prompt, tentukan ARN dari profil inferensi di lapangan.
modelId -
CreateDataSource— Untuk menggunakan profil inferensi saat mengurai informasi non-tekstual dalam sumber data, ikuti langkah-langkah di bagian API dan Opsi penguraian untuk sumber data Anda tentukan ARN profil inferensi di bidang.
modelArn
catatan
Jika Anda menggunakan profil inferensi lintas wilayah (ditentukan sistem), Anda dapat menggunakan ARN atau ID profil inferensi.
-
