View a markdown version of this page

Kuota layanan dan pelambatan untuk Deadline Cloud - AWS Awan Batas Waktu
Throttling permintaan APIKuota untuk layanan terkait

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Kuota layanan dan pelambatan untuk Deadline Cloud

AWS Deadline Cloud menyediakan sumber daya, seperti peternakan, armada, dan antrian, yang dapat Anda gunakan untuk memproses pekerjaan. Saat Anda membuat Akun AWS, kami menetapkan kuota default pada sumber daya ini untuk masing-masing Wilayah AWS. Deadline Cloud juga membatasi tingkat permintaan API. Untuk informasi selengkapnya, lihat Throttling permintaan API.

Kuota Layanan adalah lokasi sentral tempat Anda dapat melihat dan mengelola kuota Anda untuk Layanan AWS. Anda juga dapat meminta kenaikan kuota untuk banyak sumber daya yang Anda gunakan.

Untuk melihat kuota untuk Deadline Cloud, buka konsol Kuota Layanan. Di panel navigasi, pilih Layanan AWS dan pilih Deadline Cloud.

Untuk meminta penambahan kuota, lihat Meminta penambahan kuota di Panduan Pengguna Service Quotas. Jika kuota belum tersedia di Kuota Layanan, gunakan formulir kenaikan kuota layanan.

AWS Akun Anda memiliki kuota berikut terkait Deadline Cloud.

Ku ota anggota terkait menghitung keanggotaan yang Anda tetapkan ke peternakan, armada, antrian, atau pekerjaan. Setiap hibah pengguna dan setiap hibah grup dihitung sebagai satu keanggotaan, jadi grup dihitung sebagai satu anggota tidak peduli berapa banyak pengguna yang dikandungnya. Deadline Cloud tidak membatasi jumlah pengguna dalam grup atau jumlah grup yang dimiliki pengguna; kuota untuk terapkan sebagai AWS IAM Identity Center gantinya. Untuk memberikan akses ke lebih banyak pengguna dalam kuota keanggotaan, tetapkan grup alih-alih pengguna individual. Untuk informasi selengkapnya, lihat Cara kerja izin di Deadline Cloud.

Komputasi untuk armada yang dikelola layanan dihitung terhadap kuota Deadline Cloud vCPU dan GPU dalam tabel berikut, bukan terhadap kuota layanan Amazon Elastic Compute Cloud (Amazon EC2) Anda. Untuk informasi selengkapnya, lihat Kuota untuk layanan terkait.

Tabel berikut mencakup kuota untuk volume penyimpanan persisten yang digunakan oleh armada yang dikelola layanan. Untuk informasi selengkapnya tentang penyimpanan persisten, lihatPenyimpanan persisten untuk armada yang dikelola layanan.

Nama Default Dapat disesuaikan Deskripsi
Anggota terkait per peternakan Setiap Wilayah yang didukung: 75 Tidak Jumlah maksimum kepala sekolah (pengguna atau grup) yang dapat dikaitkan dengan setiap peternakan di Wil AWS ayah saat ini. Setiap grup terkait dihitung sebagai satu anggota, terlepas dari berapa banyak pengguna yang dikandungnya.
Anggota terkait per armada Setiap Wilayah yang didukung: 75 Tidak Jumlah maksimum kepala sekolah (pengguna atau grup) yang dapat dikaitkan dengan setiap armada di Wil AWS ayah saat ini. Setiap grup terkait dihitung sebagai satu anggota, terlepas dari berapa banyak pengguna yang dikandungnya.
Anggota terkait per pekerjaan Setiap Wilayah yang didukung: 75 Tidak Jumlah maksimum kepala sekolah (pengguna atau grup) yang dapat dikaitkan dengan setiap pekerjaan di Wil AWS ayah saat ini. Setiap grup terkait dihitung sebagai satu anggota, terlepas dari berapa banyak pengguna yang dikandungnya.
Anggota terkait per antrian Setiap Wilayah yang didukung: 75 Tidak Jumlah maksimum kepala sekolah (pengguna atau grup) yang dapat dikaitkan dengan setiap antrian di Wil AWS ayah saat ini. Setiap grup terkait dihitung sebagai satu anggota, terlepas dari berapa banyak pengguna yang dikandungnya.
Anggaran per peternakan Setiap Wilayah yang didukung: 20 Ya Jumlah maksimum anggaran per peternakan di Wil AWS ayah saat ini
Peternakan per wilayah Setiap Wilayah yang didukung: 2 Ya Jumlah maksimum peternakan yang dapat dibuat di Wil AWS ayah saat ini.
Armada per peternakan Setiap Wilayah yang didukung: 5 Ya Jumlah maksimum armada yang dapat dibuat untuk setiap peternakan di Wil AWS ayah saat ini.
Pekerjaan per peternakan Setiap Wilayah yang didukung: 100.000 Ya Jumlah maksimum pekerjaan per peternakan di Wil AWS ayah saat ini.
Titik akhir lisensi per wilayah Setiap Wilayah yang didukung: 5 Ya Jumlah maksimum titik akhir lisensi di Wil AWS ayah saat ini.
Sesi lisensi per titik akhir lisensi Setiap Wilayah yang didukung: 500 Ya Jumlah maksimum sesi lisensi per titik akhir lisensi di Wil AWS ayah saat ini.
Batas per peternakan Setiap Wilayah yang didukung: 50 Ya Jumlah maksimum batas yang dapat dibuat untuk setiap peternakan di Wil AWS ayah saat ini.
Monitor per wilayah Setiap Wilayah yang didukung: 1 Tidak Jumlah maksimum monitor di Wil AWS ayah saat ini.
OnDemand GPU instans G per wilayah Setiap Wilayah yang didukung: 0 Ya Jumlah maksimum GPU instans G on-demand yang dapat disediakan di semua armada yang dikelola layanan di Wilayah saat ini. AWS
OnDemand vCPU per wilayah Setiap Wilayah yang didukung: 50 Ya Jumlah maksimum vCPU sesuai permintaan yang dapat disediakan di semua armada yang dikelola layanan di Wilayah saat ini. AWS
Lingkungan antrian per antrian Setiap Wilayah yang didukung: 10 Tidak Jumlah maksimum lingkungan antrian yang dapat dibuat untuk setiap antrian di Wil AWS ayah saat ini.
Asosiasi armada antrian per peternakan Setiap Wilayah yang didukung: 100 Ya Jumlah maksimum asosiasi armada antrian per peternakan di Wil AWS ayah saat ini
Asosiasi batas antrian per antrian Setiap Wilayah yang didukung: 10 Ya Jumlah maksimum batas yang dapat dikaitkan dengan setiap antrian di Wil AWS ayah saat ini.
Antrian per peternakan Setiap Wilayah yang didukung: 20 Ya Jumlah maksimum antrian yang dapat dibuat untuk setiap peternakan di Wil AWS ayah saat ini.
Konfigurasi sumber daya per armada Setiap Wilayah yang didukung: 1 Ya Jumlah maksimum konfigurasi sumber daya VPC Lattice yang dapat ditambahkan ke setiap armada.
Temukan GPU Instans G per wilayah Setiap Wilayah yang didukung: 0 Ya Jumlah maksimum GPU instans G spot yang dapat disediakan di semua armada yang dikelola layanan di Wilayah saat ini. AWS
Tempatkan vCPU per wilayah Setiap Wilayah yang didukung: 50 Ya Jumlah maksimum vCPU spot yang dapat disediakan di semua armada yang dikelola layanan di Wilayah saat ini. AWS
Langkah konsumen per langkah Setiap Wilayah yang didukung: 32 Ya Jumlah maksimum langkah yang dapat mendeklarasikan ketergantungan pada (mengkonsumsi) satu langkah dalam pekerjaan di Wil AWS ayah saat ini.
Ketergantungan langkah per langkah Setiap Wilayah yang didukung: 128 Ya Jumlah langkah maksimum yang dapat dinyatakan ketergantungan pada satu langkah dalam pekerjaan di Wil AWS ayah saat ini.
Langkah per pekerjaan Setiap Wilayah yang didukung: 200 Ya Jumlah langkah maksimum per pekerjaan di Wil AWS ayah saat ini.
Penyimpanan untuk volume SSD Tujuan Umum (gp3) dalam TiB Setiap Wilayah yang didukung: 1 Ya Jumlah agregat maksimum penyimpanan EBS, diukur dalam TiB, yang dapat digunakan di semua armada di Wilayah saat ini. AWS
Penyimpanan untuk volume SSD Tujuan Umum (gp3) persisten, dalam TiB Setiap Wilayah yang didukung: 4 Ya Jumlah penyimpanan agregat maksimum, dalam TiB, yang dapat disediakan di seluruh volume SSD Tujuan Umum (gp3) persisten di Wilayah saat ini. AWS
Profil penyimpanan per peternakan Setiap Wilayah yang didukung: 50 Tidak Jumlah maksimum profil penyimpanan yang dapat dibuat untuk setiap peternakan di Wil AWS ayah saat ini.
Tugas per potongan Setiap Wilayah yang didukung: 150 Tidak Jumlah maksimum tugas yang dapat digabungkan menjadi satu bagian saat mengirimkan pekerjaan.
Tugas per pekerjaan Setiap Wilayah yang didukung: 10.000 Ya Jumlah maksimum tugas per pekerjaan di Wil AWS ayah saat ini.
Tugas per langkah Setiap Wilayah yang didukung: 10.000 Ya Jumlah maksimum tugas per langkah di Wil AWS ayah saat ini.
Wait-and-save vCPU per wilayah Setiap Wilayah yang didukung: 50 Ya Jumlah maksimum vCPU tunggu dan simpan yang dapat disediakan di semua armada yang dikelola layanan di Wilayah saat ini. AWS
Pekerja per peternakan Setiap Wilayah yang didukung: 7,500 Ya Jumlah maksimum pekerja per peternakan di Wil AWS ayah saat ini.

Throttling permintaan API

Deadline Cloud membatasi tingkat permintaan API untuk masing-masing Akun AWS di masing-masing Wilayah AWS. Tarif permintaan default mendukung beban kerja dan penggunaan skala besar. Ketika permintaan Anda melebihi tingkat yang diizinkan Deadline Cloud , tolak permintaan dengan kode status HTTP 429 dan ThrottlingException kesalahan.

AWS SDK dan permintaan coba ulang secara AWS CLI otomatis membatasi menggunakan backoff eksponensial. Pelambatan sesekali diselesaikan tanpa memerlukan perubahan pada aplikasi Anda. Jika Anda mengalami pelambatan berkelanjutan, hubungi AWS Dukungan untuk meminta tarif permintaan yang lebih tinggi.

Beberapa Deadline Cloud fitur menggunakan yang lain Layanan AWS, dan kuota untuk layanan tersebut juga berlaku.

Kuota Amazon EC2 untuk armada yang dikelola pelanggan

Kuota Amazon Elastic Compute Cloud (Amazon EC2) Anda berlaku untuk armada yang dikelola pelanggan, karena pekerja tersebut berjalan pada instans di akun Anda sendiri. Menghitung untuk armada yang dikelola layanan dihitung terhadap kuota Deadline Cloud vCPU dan GPU di tabel sebelumnya sebagai gantinya.

Untuk melihat atau meningkatkan kuota Amazon EC2 Anda, buka konsol Kuota Layanan dan pilih Amazon Elastic Compute Cloud. Untuk informasi selengkapnya, lihat kuota layanan Amazon EC2 di Panduan Pengguna Amazon EC2.

Kuota Amazon Bedrock untuk Deadline Cloud asisten

Menggunakan Asisten Deadline Cloud inferensi sesuai permintaan Amazon Bedrock di akun Anda Akun AWS, sehingga kuota layanan Amazon Bedrock akun Anda berlaku. Dua kendala utama adalah:

  • Permintaan per menit (RPM) — Jumlah permintaan pemanggilan model yang diizinkan per menit.

  • Token per menit (TPM) — Jumlah total token input dan output yang diproses per menit.

Kuota default bervariasi menurut Wilayah. Beberapa Wilayah memiliki batas default yang lebih rendah, serendah 20 RPM, yang dapat mengakibatkan pelambatan selama penggunaan asisten berat. Asisten menggunakan profil inferensi lintas wilayah, yang mendukung minimal 200 RPM. Cross-regioninferensi dapat membantu mengurangi pelambatan di Wilayah dengan batas wilayah Tunggal yang lebih rendah. Jika Wilayah Anda menggunakan inferensi lintas wilayah, kuota layanan di Wilayah tujuan juga berlaku.

Jika Anda mengalami kesalahan pelambatan saat menggunakan asisten, Anda dapat meminta peningkatan kuota layanan Amazon Bedrock:

Meminta untuk penambahan Kuota

  1. Buka Konsol Service Quotas.

  2. Di panel navigasi, pilih AWS layanan, lalu pilih Amazon Bedrock.

  3. Temukan kuota untuk model yang digunakan oleh asisten (cari kuota yang terkait InvokeModelWithResponseStream dengan model yang relevan).

  4. Pilih nama kuota, lalu pilih Min ta kenaikan di tingkat akun.

  5. Masukkan nilai kuota yang Anda inginkan dan kirimkan permintaan.

Anda dapat memantau penggunaan kuota Amazon Bedrock melalui CloudWatch metrik. Siapkan CloudWatch alarm pada metrik pelambatan Amazon Bedrock untuk mengidentifikasi kapan Anda mendekati batas kuota Anda. Untuk informasi selengkapnya, lihat Memantau Amazon Bedrock di Panduan Pengguna Amazon Bedrock.