Mejores prácticas de escalado y rendimiento

En este tema se explica cómo funcionan los límites de rendimiento y la programación en los puntos de enlace de Amazon Bedrock y se proporcionan las prácticas recomendadas para escalar sus aplicaciones de IA generativa.

Puntos de conexión de Amazon Bedrock

Amazon Bedrock admite dos puntos de enlace para la inferencia:

Para obtener más información sobre estos puntos de conexión y cómo elegir entre ellos, consulte. Puntos de enlace compatibles con Amazon Bedrock

Por qué los dos puntos finales se comportan de forma diferente

En muchos servicios tradicionales de múltiples inquilinos, la arquitectura está diseñada en torno a cuotas por cuenta para gestionar el acceso equitativo a los recursos compartidos. Este es el enfoque que se utiliza con. bedrock-runtime

Con bedrock-mantle, se utiliza un enfoque diferente. Este punto final está diseñado con mecanismos avanzados de programación y colas de trabajo que permiten una distribución equitativa y, al mismo tiempo, admiten límites de rendimiento iniciales más altos. Este diseño también permite bedrock-mantle alojar un amplio conjunto de modelos y ofrecer toda la gama de funciones disponibles en el catálogo de modelos. En la mayoría de los casos, las solicitudes se atienden inmediatamente. En algunos casos, es posible que una solicitud quede en cola durante un breve periodo de espera mientras se completan las cargas de trabajo en vuelo y se dispone de capacidad de procesamiento. En las siguientes secciones se explica cómo gestionar estos escenarios.

punto final fundamental: rendimiento y cuotas

Todos los modelos disponibles bedrock-mantle comparten un único límite estricto de 10 000 RPM por cuenta y región. Existen algunas diferencias en el comportamiento del rendimiento y las cuotas de Claude con respecto a otros modelos, como se muestra a continuación.

* El límite de TPM de entrada depende de su historial de uso con Amazon Bedrock. Consulte la página de cuotas de la consola de Amazon Bedrock para ver su asignación real.

punto final fundamental del tiempo de ejecución: rendimiento y cuotas

En la siguiente tabla se resumen el rendimiento y las cuotas de. bedrock-runtime

* Las cuotas de estos modelos varían según el uso. Consulte las asignaciones en la página de cuotas de la consola de Amazon Bedrock.

Comprenda las respuestas a los errores de HTTP

Tratamiento de errores recomendado

Errores transitorios (503 respuestas ocasionales)

Implemente un retroceso exponencial con fluctuaciones aleatorias:

La mayoría de AWS los SDK y las bibliotecas HTTP más populares ofrecen compatibilidad integrada con este patrón.

import boto3
from botocore.config import Config

config = Config(retries={"total_max_attempts": 6, "mode": "standard"})
client = boto3.client("bedrock-runtime", config=config)

from openai import OpenAI

client = OpenAI(
    api_key=api_key,
    base_url=f"https://bedrock-mantle.{region}.api.aws/v1",
    max_retries=6,
    timeout=60.0,
)

import anthropic

client = anthropic.Anthropic(
    api_key=api_key,
    base_url=f"https://bedrock-mantle.{region}.api.aws",
    max_retries=6,
    timeout=60.0,
)

Errores sostenidos (503 respuestas persistentes)

Si recibes 503 errores continuos, volver a intentarlo por sí solo no resolverá el problema. La tasa de solicitudes supera el rendimiento disponible. Siga estos pasos:

Incrementar el rendimiento

Al consumir el rendimiento bajo demanda en el bedrock-mantlepunto final, el rendimiento disponible se amplía con el tiempo. No se garantiza que todas las solicitudes que se ajusten a su cuota se ejecuten correctamente durante los períodos de alta demanda, por lo que es importante aumentarlas gradualmente.

Procedimiento de aceleración recomendado

Por ejemplo, si tu objetivo es de 2000 RPM pero recibes 503 errores, redúcelo a 1000 RPM. Si los errores persisten, redúzcalos a 500 RPM. Una vez que las solicitudes se realicen correctamente a 500 RPM, manténgalas presionadas durante 15 minutos, luego escale a 750, luego a 1125, y así sucesivamente.

Las velocidades de rampa no son ajustables. Para solicitar una asignación de RPM más alta, utilice la consola Service Quotas.

Prácticas recomendadas adicionales

Disponibilidad regional e inferencia entre regiones

On-demand El rendimiento se asigna a nivel regional y varía de una región a otra. Si su carga de trabajo se dirige a una sola región, es posible que reciba 503 respuestas durante los períodos de alta demanda. Para maximizar la disponibilidad y, si la está utilizando bedrock-runtime, utiliceInferencia global interregional.

Obtener ayuda

Resumen de las recomendaciones