Praktik terbaik penskalaan dan throughput

Topik ini menjelaskan cara kerja batas throughput dan penjadwalan di seluruh titik akhir Amazon Bedrock dan memberikan praktik terbaik untuk menskalakan aplikasi AI generatif Anda.

Titik akhir Amazon Bedrock

Amazon Bedrock mendukung dua titik akhir untuk inferensi:

Untuk informasi selengkapnya tentang titik akhir ini dan cara memilih di antara mereka, lihatTitik akhir yang didukung oleh Amazon Bedrock.

Mengapa kedua titik akhir berperilaku berbeda

Dalam banyak layanan multi-tenant tradisional, arsitektur dirancang di sekitar kuota per akun untuk mengelola akses berbagi adil ke sumber daya bersama. Ini adalah pendekatan yang digunakan dengan bedrock-runtime.

Dengan bedrock-mantle, pendekatan yang berbeda digunakan. Titik akhir ini dirancang dengan penjadwalan lanjutan dan mekanisme antrian kerja yang memberikan distribusi pembagian yang adil sambil mendukung batas throughput awal yang lebih tinggi. Desain ini juga memungkinkan bedrock-mantle untuk menampung serangkaian model yang luas dan memberikan kemampuan lengkap yang tersedia di seluruh katalog model. Dalam kebanyakan kasus, permintaan dilayani segera. Dalam beberapa kasus, permintaan dapat diantrian sebentar sementara beban kerja dalam penerbangan selesai dan throughput tersedia. Bagian di bawah ini menjelaskan cara menangani skenario ini.

titik akhir batuan dasar mantel: throughput dan kuota

Semua model bedrock-mantle berbagi batas keras tunggal 10.000 RPM per akun per Wilayah. Ada beberapa perbedaan dalam bagaimana throughput dan kuota berperilaku untuk Claude vs. model lain seperti yang ditunjukkan di bawah ini.

* Batas TPM masukan Anda tergantung pada riwayat penggunaan Anda dengan Amazon Bedrock. Periksa halaman Kuota di konsol Amazon Bedrock untuk alokasi aktual Anda.

titik akhir bedrock-runtime: throughput dan kuota

Tabel berikut merangkum throughput dan kuota untuk. bedrock-runtime

* Kuota untuk model ini bervariasi berdasarkan penggunaan. Periksa halaman Kuota di konsol Amazon Bedrock untuk alokasi Anda.

Memahami tanggapan kesalahan HTTP

Penanganan kesalahan yang disarankan

Kesalahan sementara (sesekali 503 tanggapan)

Terapkan backoff eksponensial dengan jitter acak:

Sebagian besar AWS SDK dan pustaka HTTP populer menyediakan dukungan bawaan untuk pola ini.

import boto3
from botocore.config import Config

config = Config(retries={"total_max_attempts": 6, "mode": "standard"})
client = boto3.client("bedrock-runtime", config=config)

from openai import OpenAI

client = OpenAI(
    api_key=api_key,
    base_url=f"https://bedrock-mantle.{region}.api.aws/v1",
    max_retries=6,
    timeout=60.0,
)

import anthropic

client = anthropic.Anthropic(
    api_key=api_key,
    base_url=f"https://bedrock-mantle.{region}.api.aws",
    max_retries=6,
    timeout=60.0,
)

Kesalahan berkelanjutan (respons 503 persisten)

Jika Anda menerima kesalahan 503 berkelanjutan, mencoba lagi saja tidak akan menyelesaikan masalah. Tingkat permintaan Anda melebihi throughput yang tersedia. Lakukan langkah berikut:

Meningkatkan throughput

Saat mengkonsumsi throughput sesuai permintaan pada bedrock-mantletitik akhir, skala throughput yang tersedia dari waktu ke waktu. Tidak semua permintaan dalam kuota Anda dijamin berhasil selama periode permintaan tinggi, jadi ramping secara bertahap adalah penting.

Prosedur ramp-up yang direkomendasikan

Misalnya, jika target Anda 2.000 RPM tetapi Anda menerima 503 kesalahan, kurangi menjadi 1.000 RPM. Jika kesalahan tetap ada, kurangi hingga 500 RPM. Setelah permintaan berhasil secara konsisten pada 500 RPM, tahan selama 15 menit, kemudian skala ke 750, lalu 1.125, dan seterusnya.

Tarif ramp tidak dapat disesuaikan. Untuk meminta alokasi RPM yang lebih tinggi, gunakan konsol Service Quotas.

Praktik terbaik tambahan

Ketersediaan regional dan inferensi lintas wilayah

On-demand throughput dialokasikan di tingkat Regional dan bervariasi antar Wilayah. Jika beban kerja Anda menargetkan satu Wilayah, Anda mungkin menemukan 503 respons selama periode permintaan tinggi. Untuk memaksimalkan ketersediaan dan jika Anda menggunakan bedrock-runtime, gunakanInferensi lintas wilayah global.

Mendapatkan bantuan

Ringkasan rekomendasi