Throughput yang Disediakan - Amazon Bedrock

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Throughput yang Disediakan

Ketika Anda mengkonfigurasi Provisioned Throughput untuk model, Anda menerima tingkat throughput dengan biaya tetap.

Anda dapat menggunakan Provisioned Throughput dengan Amazon dan model dasar pihak ketiga, dan dengan model yang disesuaikan.

Harga Throughput yang disediakan bervariasi tergantung pada model yang Anda gunakan dan tingkat komitmen yang Anda pilih. Anda menerima potongan harga ketika Anda berkomitmen untuk jangka waktu yang lebih lama. Untuk detail tentang harga untuk setiap model, lihat halaman Penyedia model di konsol Amazon Bedrock.

Opsi throughput untuk model berbeda tergantung pada apakah Anda menjalankan inferensi pada model dasar atau model khusus.

catatan

Di AWS GovCloud (US) wilayah tersebut, Anda hanya dapat membeli Provisioned Throughput untuk model khusus tanpa komitmen.

Opsi harga Model dasar Model kustom
Throughput yang Disediakan, tanpa komitmen (harga per jam) Tidak tersedia Tersedia (maksimum 2 Throughput yang Disediakan per akun)
Provisioned Throughput, komitmen 1 bulan Tersedia Tersedia
Provisioned Throughput, komitmen 6 bulan Tersedia Tersedia

Anda menentukan Throughput yang Disediakan di Unit Model (MU). Unit model memberikan tingkat throughput spesifik untuk model yang ditentukan. Tingkat throughput MU untuk model Teks tertentu menentukan hal berikut:

  • Jumlah total token input per menit — Jumlah token input yang dapat diproses MU di semua permintaan dalam rentang satu menit.

  • Jumlah total token keluaran per menit — Jumlah token keluaran yang dapat dihasilkan MU di semua permintaan dalam rentang satu menit.

Kuota unit model tergantung pada tingkat komitmen yang Anda tentukan untuk Provisioned Throughput.

  • Untuk model kustom tanpa komitmen, kuota satu unit model tersedia untuk setiap Provisioned Throughput. Anda dapat membuat hingga dua Throughput yang Disediakan per akun.

  • Untuk model dasar atau kustom dengan komitmen, ada kuota default 0 unit model. Untuk meminta kenaikan, gunakan formulir peningkatan batas.

Topik