Meilleures pratiques en matière de mise à l'échelle et de débit

Cette rubrique explique comment les limites de débit et la planification fonctionnent sur les points de terminaison Amazon Bedrock et fournit les meilleures pratiques pour faire évoluer vos applications d'IA générative.

Points de terminaison Amazon Bedrock

Amazon Bedrock prend en charge deux points de terminaison pour l'inférence :

Pour plus d'informations sur ces points de terminaison et sur la façon de choisir entre eux, consultezPoints de terminaison pris en charge par Amazon Bedrock.

Pourquoi les deux points de terminaison se comportent différemment

Dans de nombreux services multilocataires traditionnels, l'architecture est conçue autour de quotas par compte afin de gérer un accès équitable aux ressources partagées. C'est l'approche utilisée avec bedrock-runtime.

Avec bedrock-mantle, une approche différente est utilisée. Ce point de terminaison est conçu avec des mécanismes avancés de planification et de mise en file d'attente qui assurent une distribution équitable tout en supportant des limites de débit initiales plus élevées. Cette conception permet également bedrock-mantle d'héberger un large éventail de modèles et de fournir l'ensemble des fonctionnalités disponibles dans le catalogue de modèles. Dans la plupart des cas, les demandes sont traitées immédiatement. Dans certains cas, une demande peut être brièvement mise en file d'attente pendant que les charges de travail en vol sont terminées et que le débit devient disponible. Les sections ci-dessous expliquent comment gérer ces scénarios.

point de terminaison bedrock-mantle : débit et quotas

Tous les modèles concernés bedrock-mantle partagent une seule limite stricte de 10 000 tr/min par compte et par région. Il existe certaines différences dans le comportement du débit et des quotas pour Claude par rapport aux autres modèles, comme indiqué ci-dessous.

* Votre limite de TPM saisie dépend de votre historique d'utilisation avec Amazon Bedrock. Consultez la page Quotas de la console Amazon Bedrock pour connaître votre allocation réelle.

endpoint bedrock-runtime : débit et quotas

Le tableau suivant récapitule le débit et les quotas pour. bedrock-runtime

* Les quotas pour ces modèles varient en fonction de l'utilisation. Consultez la page Quotas de la console Amazon Bedrock pour connaître vos allocations.

Comprendre les réponses aux erreurs HTTP

Gestion des erreurs recommandée

Erreurs transitoires (503 réponses occasionnelles)

Implémentez un recul exponentiel avec une instabilité aléatoire :

La plupart AWS des SDK et des bibliothèques HTTP populaires fournissent un support intégré pour ce modèle.

import boto3
from botocore.config import Config

config = Config(retries={"total_max_attempts": 6, "mode": "standard"})
client = boto3.client("bedrock-runtime", config=config)

from openai import OpenAI

client = OpenAI(
    api_key=api_key,
    base_url=f"https://bedrock-mantle.{region}.api.aws/v1",
    max_retries=6,
    timeout=60.0,
)

import anthropic

client = anthropic.Anthropic(
    api_key=api_key,
    base_url=f"https://bedrock-mantle.{region}.api.aws",
    max_retries=6,
    timeout=60.0,
)

Erreurs persistantes (503 réponses persistantes)

Si vous recevez des erreurs 503 persistantes, une nouvelle tentative ne résoudra pas le problème à elle seule. Le taux de demandes dépasse le débit disponible. Suivez les étapes suivantes:

Augmenter le débit

Lorsque vous consommez du débit à la demande sur le bedrock-mantleterminal, le débit disponible évolue au fil du temps. Le succès de toutes les demandes dans les limites de votre quota n'est pas garanti pendant les périodes de forte demande. Il est donc important de les accélérer progressivement.

Procédure de montée en puissance recommandée

Par exemple, si votre objectif est de 2 000 tr/min mais que 503 erreurs s'affichent, réduisez à 1 000 tr/min. Si les erreurs persistent, réduisez à 500 tr/min. Une fois que les demandes aboutissent régulièrement à 500 tr/min, attendez 15 minutes, puis passez à 750, puis à 1 125, et ainsi de suite.

Les tarifs de rampe ne sont pas ajustables. Pour demander une allocation de RPM plus élevée, utilisez la console Service Quotas.

Bonnes pratiques supplémentaires

Disponibilité régionale et inférence interrégionale

On-demand le débit est alloué au niveau régional et varie d'une région à l'autre. Si votre charge de travail cible une seule région, 503 réponses peuvent être reçues pendant les périodes de forte demande. Pour optimiser la disponibilité et si vous en utilisez bedrock-runtime, utilisezInférence interrégionale globale.

Obtenir de l'aide

Résumé des recommandations