Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Kirim prompt dan hasilkan respons menggunakan API
Amazon Bedrock menawarkan operasi API berikut untuk melakukan inferensi model:
-
InvokeModel— Kirim prompt dan hasilkan respons. Badan permintaan adalah model-spesifik. Untuk menghasilkan respons streaming, gunakan InvokeModelWithResponseStream.
-
Converse — Kirim prompt dan hasilkan respons dengan struktur yang disatukan di semua model. Bidang permintaan khusus model dapat ditentukan di bidang.
additionalModelRequestFieldsAnda juga dapat menyertakan prompt sistem dan percakapan sebelumnya untuk konteks. Untuk menghasilkan respons streaming, gunakan ConverseStream. -
StartAsyncInvoke— Kirim prompt dan hasilkan respons secara asinkron yang dapat diambil nanti. Digunakan untuk menghasilkan video.
-
OpenAIAPI penyelesaian obrolan — Gunakan API Penyelesaian OpenAI Obrolan
dengan model yang didukung oleh Amazon Bedrock untuk menghasilkan respons.
Untuk inferensi model, Anda perlu menentukan parameter berikut:
-
ID Model — ID atau Nama Sumber Daya Amazon (ARN) dari model atau profil inferensi yang akan digunakan di
modelIdbidang untuk inferensi. Tabel berikut menjelaskan cara menemukan IDs berbagai jenis sumber daya:Jenis model Deskripsi Temukan ID di konsol Temukan ID di API Dokumentasi terkait Model dasar Model pondasi dari penyedia. Pilih Model dasar dari panel navigasi kiri, cari model, dan cari ID Model. Kirim GetFoundationModelatau ListFoundationModelspermintaan dan temukan modelIddalam tanggapan.Lihat daftar IDs diModel pondasi yang didukung di Amazon Bedrock. Profil inferensi Meningkatkan throughput dengan memungkinkan pemanggilan model di beberapa wilayah. Pilih inferensi Lintas Wilayah dari panel navigasi kiri dan cari ID profil Inferensi. Kirim GetInferenceProfileatau ListInferenceProfilespermintaan dan temukan inferenceProfileIddalam tanggapan.Lihat daftar IDs diWilayah dan model yang Didukung untuk profil inferensi. Prompt Sebuah prompt yang dibangun menggunakan manajemen Prompt. Pilih manajemen Prompt dari panel navigasi kiri, pilih prompt di bagian Prompts, dan cari ARN Prompt. Kirim GetPromptatau ListPromptspermintaan dan temukan promptArndalam tanggapan.Pelajari cara membuat prompt dalam manajemen Prompt diBuat dan simpan petunjuk yang dapat digunakan kembali dengan manajemen Prompt di Amazon Bedrock. Throughput yang Disediakan Memberikan tingkat throughput yang lebih tinggi untuk model dengan biaya tetap. Pilih Provisioned Throughput dari panel navigasi kiri, pilih Provisioned Throughput, dan cari ARN. Kirim GetProvisionedModelThroughputatau ListProvisionedModelThroughputspermintaan dan temukan provisionedModelArndalam tanggapan.Pelajari cara membeli Throughput yang Disediakan untuk model di. Tingkatkan kapasitas pemanggilan model dengan Provisioned Throughput di Amazon Bedrock Model kustom Model yang parameternya digeser dari model pondasi berdasarkan data pelatihan. Setelah membeli Provisioned Throughput untuk model kustom, ikuti langkah-langkah untuk menemukan ID untuk Throughput yang Disediakan. Setelah membeli Provisioned Throughput untuk model kustom, ikuti langkah-langkah untuk menemukan ID untuk Throughput yang Disediakan. Pelajari cara menyesuaikan model diSesuaikan model Anda untuk meningkatkan kinerjanya untuk kasus penggunaan Anda. Setelah kustomisasi, Anda harus membeli Provisioned Throughput untuk itu dan menggunakan ID dari Provisioned Throughput. -
Badan permintaan - Berisi parameter inferensi untuk model dan konfigurasi lainnya. Setiap model dasar memiliki parameter inferensi sendiri. Parameter inferensi untuk model khusus atau yang disediakan tergantung pada model dasar dari mana ia dibuat. Untuk informasi selengkapnya, lihat Parameter permintaan inferensi dan bidang respons untuk model pondasi.
Pilih topik untuk mempelajari cara menggunakan pemanggilan APIs model.
Topik
