Beli Throughput yang Disediakan untuk model kustom - Amazon Bedrock

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Beli Throughput yang Disediakan untuk model kustom

Untuk menggunakan model kustom dengan kapasitas komputasi khusus dan throughput terjamin, Anda dapat membeli Provisioned Throughput untuknya. Anda kemudian dapat menggunakan model yang disediakan yang dihasilkan untuk inferensi. Untuk informasi selengkapnya tentang Provisioned Throughput, lihat. Tingkatkan kapasitas pemanggilan model dengan Provisioned Throughput di Amazon Bedrock

Console
Untuk membeli Provisioned Throughput untuk model kustom.

  1. Masuk ke AWS Management Console dengan identitas IAM yang memiliki izin untuk menggunakan konsol Amazon Bedrock. Kemudian, buka konsol Amazon Bedrock di https://console.aws.amazon.com/bedrock/.

  2. Dari panel navigasi kiri, pilih Model khusus di bawah model Foundation.

  3. Di tab Model, pilih tombol radio di sebelah model yang ingin Anda beli Throughput Tertentu atau pilih nama model untuk menavigasi ke halaman detail.

  4. Pilih Throughput yang Disediakan Pembelian.

  5. Untuk lebih jelasnya, ikuti langkah-langkahnya diBeli Throughput yang Disediakan untuk model Amazon Bedrock.

  6. Setelah membeli Provisioned Throughput untuk model kustom Anda, ikuti langkah-langkah di. Menggunakan Throughput yang Disediakan dengan sumber daya Amazon Bedrock

Saat Anda melakukan operasi apa pun yang mendukung penggunaan model khusus, Anda akan melihat model kustom Anda sebagai opsi di menu pemilihan model.

API

Untuk membeli Provisioned Throughput untuk model kustom, ikuti langkah-langkah di Beli Throughput yang Disediakan untuk model Amazon Bedrock untuk mengirim permintaan CreateProvisionedModelThroughput(lihat tautan untuk format permintaan dan respons serta detail bidang) dengan titik akhir bidang kontrol Amazon Bedrock. Gunakan nama atau ARN model kustom Anda sebagai. modelId Respons mengembalikan provisionedModelArn yang dapat Anda gunakan sebagai modelId saat membuat InvokeModelatau InvokeModelWithResponseStreampermintaan.

Lihat contoh kode