Beli Throughput yang Disediakan untuk model Amazon Bedrock - Amazon Bedrock

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Beli Throughput yang Disediakan untuk model Amazon Bedrock

Amazon Bedrock menawarkan dua jenis Provisioned Throughput - berdasarkan Token dan Unit Model. Lihat petunjuk berikut untuk jenis Provisioned Throughput yang ingin Anda beli.

Untuk mempelajari lebih lanjut tentang perbedaan antara kedua jenis Provisioned Throughput, lihat. Tingkatkan kapasitas pemanggilan model dengan Provisioned Throughput di Amazon Bedrock

Ketika Anda membeli Provisioned Throughput by Model Units untuk model, Anda menentukan tingkat komitmen untuk itu dan jumlah unit model (MUs) yang akan dialokasikan. Untuk kuota MU, lihat titik akhir Amazon Bedrock dan kuota di. Referensi Umum AWS Sebelum Anda dapat membeli Provisioned Throughput (dengan komitmen atau tanpa komitmen), Anda harus terlebih dahulu mengunjungi pusat AWS dukungan MUs untuk meminta akun Anda didistribusikan antara Throughput yang Disediakan. Setelah permintaan Anda dikabulkan, Anda dapat membeli Throughput yang Disediakan.

catatan

Setelah membeli Provisioned Throughput, jika dikaitkan dengan model kustom, Anda dapat mengubah model dengan menentukan salah satu opsi berikut:

  • Model dasar dari mana model kustom disesuaikan

  • Model kustom lain yang disesuaikan dari model dasar yang sama dengan model kustom

Anda hanya dapat mengubah model terkait untuk Provisioned Throughputs yang terkait dengan model kustom.

Untuk mempelajari cara membeli Provisioned Throughput untuk model, pilih tab untuk metode pilihan Anda, lalu ikuti langkah-langkahnya:

Console

  1. Masuk ke Konsol Manajemen AWS dengan identitas IAM yang memiliki izin untuk menggunakan konsol Amazon Bedrock. Kemudian, buka konsol Amazon Bedrock di https://console.aws.amazon.com/bedrock.

  2. Pilih Provisioned Throughput dari panel navigasi kiri.

  3. Di bagian Provisioned Throughput, pilih Purchase Provisioned Throughput.

  4. Untuk bagian Detail Throughput yang Disediakan, lakukan hal berikut:

    1. Di bidang nama Provisioned Throughput, masukkan nama untuk Provisioned Throughput.

    2. Di bawah Pilih model, pilih penyedia model dasar atau kategori model kustom. Kemudian pilih model yang akan menyediakan throughput.

      catatan

      Untuk melihat model dasar yang dapat Anda beli Throughput Tertentu tanpa komitmen, lihat dokumentasi model yang didukung.

      Di AWS GovCloud (US) Region, Anda hanya dapat membeli Provisioned Throughput untuk model kustom tanpa komitmen.

    3. (Opsional) Untuk mengaitkan tag dengan Provisioned Throughput Anda, perluas bagian Tag dan pilih Tambahkan tag baru. Untuk informasi selengkapnya, lihat Menandai sumber daya Amazon Bedrock.

  5. Untuk mode Penyediaan, pilih Berdasarkan Unit Model

  6. Untuk bagian Commitment term & model units, lakukan hal berikut:

    1. Di bagian Select commitment term, pilih jumlah waktu yang ingin Anda komit untuk menggunakan Provisioned Throughput.

    2. Di bidang Unit Model, masukkan jumlah unit model yang diinginkan (MUs). Jika Anda menyediakan model dengan komitmen, Anda harus terlebih dahulu mengunjungi pusat AWS dukungan untuk meminta peningkatan jumlah MUs yang dapat Anda beli.

  7. Pilih Throughput yang Disediakan Pembelian.

  8. Tinjau catatan yang muncul dan akui durasi dan harga komitmen dengan memilih kotak centang. Kemudian pilih Konfirmasi pembelian.

  9. Konsol menampilkan halaman ikhtisar Provisioned Throughput. Status Throughput yang disediakan dalam tabel Provisioned Throughput menjadi Creating. Ketika Provisioned Throughput selesai dibuat, Status menjadi In service. Jika pembaruan gagal, Status menjadi Gagal.

API

Untuk membeli Provisioned Throughput, kirim CreateProvisionedModelThroughputpermintaan dengan titik akhir bidang kontrol Amazon Bedrock.

Untuk mempelajari lebih lanjut tentang isi isi isi permintaan dan parameter yang perlu Anda berikan untuk membuat Throughput Disediakan menurut Unit Model, lihat CreateProvisionedModelThroughputdi Referensi Amazon Bedrock API.

catatan

Untuk melihat model dasar yang dapat Anda beli Throughput Tertentu tanpa komitmen, lihat dokumentasi model yang didukung.

Di AWS GovCloud (US) Region, Anda hanya dapat membeli Provisioned Throughput untuk model kustom tanpa komitmen.

Respons mengembalikan a provisionedModelArn yang dapat Anda gunakan sebagai inferensi modelId dalam model. Untuk memeriksa kapan Provisioned Throughput siap digunakan, kirim GetProvisionedModelThroughputpermintaan dan periksa apakah statusnya. InService Jika pembaruan gagal, statusnya akanFailed, dan GetProvisionedModelThroughputresponsnya akan berisi filefailureMessage.

Lihat contoh kode