Práticas recomendadas de escalabilidade e produtividade

Este tópico explica como os limites de taxa de transferência e o agendamento funcionam nos endpoints do Amazon Bedrock e fornece as melhores práticas para escalar seus aplicativos de IA generativa.

Endpoints do Amazon Bedrock

O Amazon Bedrock oferece suporte a dois endpoints para inferência:

Para obter mais informações sobre esses endpoints e como escolher entre eles, consulteEndpoints compatíveis com o Amazon Bedrock.

Por que os dois terminais se comportam de maneira diferente

Em muitos serviços tradicionais de vários locatários, a arquitetura é projetada com base em cotas por conta para gerenciar o acesso justo a recursos compartilhados. Essa é a abordagem usada com bedrock-runtime.

Com bedrock-mantle, uma abordagem diferente é usada. Esse endpoint é arquitetado com mecanismos avançados de agendamento e filas de trabalho que oferecem distribuição justa e, ao mesmo tempo, oferecem suporte a limites de taxa de transferência inicial mais altos. Esse design também permite bedrock-mantle hospedar um amplo conjunto de modelos e oferecer toda a gama de recursos disponíveis em todo o catálogo de modelos. Na maioria dos casos, as solicitações são atendidas imediatamente. Em alguns casos, uma solicitação pode ser colocada brevemente na fila enquanto as cargas de trabalho em andamento são concluídas e a taxa de transferência fica disponível. As seções abaixo explicam como lidar com esses cenários.

endpoint fundamental: taxa de transferência e cotas

Todos os modelos bedrock-mantle compartilham um único limite rígido de 10.000 RPM por conta e por região. Há algumas diferenças na forma como a taxa de transferência e as cotas se comportam para Claude em relação a outros modelos, conforme mostrado abaixo.

* Seu limite de TPM de entrada depende do seu histórico de uso com o Amazon Bedrock. Verifique a página de cotas no console do Amazon Bedrock para ver sua alocação real.

endpoint bedrock-runtime: taxa de transferência e cotas

A tabela a seguir resume a taxa de transferência e as cotas para. bedrock-runtime

* As cotas para esses modelos variam de acordo com o uso. Consulte a página de cotas no console do Amazon Bedrock para ver suas alocações.

Entendendo as respostas de erro HTTP

Tratamento de erros recomendado

Erros transitórios (503 respostas ocasionais)

Implemente o recuo exponencial com instabilidade aleatória:

A maioria dos AWS SDKs e bibliotecas HTTP populares fornece suporte integrado para esse padrão.

import boto3
from botocore.config import Config

config = Config(retries={"total_max_attempts": 6, "mode": "standard"})
client = boto3.client("bedrock-runtime", config=config)

from openai import OpenAI

client = OpenAI(
    api_key=api_key,
    base_url=f"https://bedrock-mantle.{region}.api.aws/v1",
    max_retries=6,
    timeout=60.0,
)

import anthropic

client = anthropic.Anthropic(
    api_key=api_key,
    base_url=f"https://bedrock-mantle.{region}.api.aws",
    max_retries=6,
    timeout=60.0,
)

Erros persistentes (503 respostas persistentes)

Se você receber erros 503 contínuos, tentar novamente por si só não resolverá o problema. Sua taxa de solicitação excede a taxa de transferência disponível. Siga as seguintes etapas:

Aumentando a produtividade

Ao consumir a taxa de transferência sob demanda no bedrock-mantleendpoint, a taxa de transferência disponível aumenta com o tempo. Nem todas as solicitações dentro de sua cota têm a garantia de sucesso durante períodos de alta demanda, portanto, aumentar gradualmente é importante.

Procedimento de aceleração recomendado

Por exemplo, se sua meta for 2.000 RPM, mas você receber 503 erros, reduza para 1.000 RPM. Se os erros persistirem, reduza para 500 RPM. Depois que as solicitações forem bem-sucedidas de forma consistente a 500 RPM, aguarde 15 minutos e, em seguida, escale para 750, depois 1.125 e assim por diante.

As taxas de rampa não são ajustáveis. Para solicitar uma maior alocação de RPM, use o console Service Quotas.

Melhores práticas adicionais

Disponibilidade regional e inferência entre regiões

On-demand a taxa de transferência é alocada no nível regional e varia entre as regiões. Se sua carga de trabalho for direcionada a uma única região, você poderá encontrar 503 respostas durante períodos de alta demanda. Para maximizar a disponibilidade e, se você estiver usando bedrock-runtime, useInferência global entre regiões.

Como obter ajuda

Resumo das recomendações