Bewährte Methoden für Skalierung und Durchsatz

In diesem Thema wird erklärt, wie Durchsatzbeschränkungen und Planung auf Amazon Bedrock-Endpunkten funktionieren, und es werden bewährte Methoden für die Skalierung Ihrer generativen KI-Anwendungen vorgestellt.

Amazon-Bedrock-Endpunkte

Amazon Bedrock unterstützt zwei Endpunkte für Inferenz:

Weitere Informationen zu diesen Endpunkten und zur Auswahl zwischen ihnen finden Sie unter. Von Amazon Bedrock unterstützte Endgeräte

Warum verhalten sich die beiden Endpunkte unterschiedlich

Bei vielen traditionellen Multi-Tenant-Diensten ist die Architektur auf Kontingenten pro Konto ausgelegt, um einen fairen Zugriff auf gemeinsam genutzte Ressourcen zu gewährleisten. Dies ist der Ansatz, der bei verwendet wird. bedrock-runtime

Bei bedrock-mantlewird ein anderer Ansatz verwendet. Dieser Endpunkt ist mit fortschrittlichen Planungs- und Warteschlangenmechanismen ausgestattet, die eine faire Verteilung ermöglichen und gleichzeitig höhere anfängliche Durchsatzgrenzen unterstützen. Dieses Design ermöglicht es auch, eine breite Palette von Modellen bedrock-mantle zu hosten und die gesamte Bandbreite der Funktionen bereitzustellen, die im gesamten Modellkatalog verfügbar sind. In den meisten Fällen werden Anfragen sofort bearbeitet. In einigen Fällen kann es vorkommen, dass eine Anfrage kurzzeitig in die Warteschlange gestellt wird, während die laufenden Arbeitslasten abgeschlossen sind und der Durchsatz verfügbar ist. In den folgenden Abschnitten wird erklärt, wie mit diesen Szenarien umgegangen werden kann.

Endpunkt im Grundgefüge: Durchsatz und Kontingente

Für alle Modelle gilt ein bedrock-mantle einheitliches festes Limit von 10.000 U/min pro Konto und Region. Es gibt einige Unterschiede im Verhalten von Durchsatz und Kontingenten bei Claude im Vergleich zu anderen Modellen, wie unten dargestellt.

* Ihr TPM-Eingabelimit hängt von Ihrer Nutzungshistorie bei Amazon Bedrock ab. Auf der Seite Kontingente in der Amazon Bedrock-Konsole finden Sie Ihre tatsächliche Zuteilung.

Bedrock-Runtime-Endpunkt: Durchsatz und Kontingente

In der folgenden Tabelle sind der Durchsatz und die Kontingente für zusammengefasst. bedrock-runtime

* Die Kontingente für diese Modelle variieren je nach Nutzung. Auf der Seite Kontingente in der Amazon Bedrock-Konsole finden Sie Ihre Zuweisungen.

Grundlegendes zu HTTP-Fehlerantworten

Empfohlene Fehlerbehandlung

Vorübergehende Fehler (gelegentlich 503-Antworten)

Implementieren Sie einen exponentiellen Backoff mit zufälligem Jitter:

Die meisten AWS SDKs und gängigen HTTP-Bibliotheken bieten integrierte Unterstützung für dieses Muster.

import boto3
from botocore.config import Config

config = Config(retries={"total_max_attempts": 6, "mode": "standard"})
client = boto3.client("bedrock-runtime", config=config)

from openai import OpenAI

client = OpenAI(
    api_key=api_key,
    base_url=f"https://bedrock-mantle.{region}.api.aws/v1",
    max_retries=6,
    timeout=60.0,
)

import anthropic

client = anthropic.Anthropic(
    api_key=api_key,
    base_url=f"https://bedrock-mantle.{region}.api.aws",
    max_retries=6,
    timeout=60.0,
)

Anhaltende Fehler (persistente 503-Antworten)

Wenn Sie anhaltende 503-Fehler erhalten, kann das Problem durch einen erneuten Versuch allein nicht behoben werden. Ihre Anforderungsrate übersteigt den verfügbaren Durchsatz. Gehen Sie dazu wie folgt vor:

Steigerung des Durchsatzes

Wenn der On-Demand-Durchsatz auf dem bedrock-mantleEndpunkt genutzt wird, steigt der verfügbare Durchsatz mit der Zeit. Es ist nicht garantiert, dass alle Anfragen innerhalb Ihres Kontingents in Zeiten hoher Nachfrage erfolgreich sind. Daher ist eine schrittweise Erhöhung wichtig.

Empfohlenes Verfahren zur Inbetriebnahme

Wenn Ihr Ziel beispielsweise 2.000 U/min ist, Sie aber 503 Fehler erhalten, reduzieren Sie es auf 1.000 U/min. Wenn die Fehler weiterhin bestehen, reduzieren Sie die Geschwindigkeit auf 500 U/min. Sobald Anfragen bei 500 U/min konsistent erfolgreich sind, halten Sie den Vorgang 15 Minuten lang gedrückt und skalieren Sie dann auf 750, dann auf 1.125 usw.

Die Rampenraten sind nicht einstellbar. Verwenden Sie die Service Quotas Quotas-Konsole, um eine höhere RPM-Zuteilung anzufordern.

Weitere bewährte Methoden

Regionale Verfügbarkeit und regionsübergreifende Inferenz

On-demand Der Durchsatz wird auf regionaler Ebene zugewiesen und ist von Region zu Region unterschiedlich. Wenn Ihr Workload auf eine einzelne Region abzielt, können Sie in Zeiten hoher Nachfrage auf 503 Antworten stoßen. Um die Verfügbarkeit zu maximieren, und wenn Sie verwenden bedrock-runtime, verwenden SieGlobale regionsübergreifende Inferenz.

Hilfe erhalten

Zusammenfassung der Empfehlungen