Mejores prácticas en materia de límites de tasas

Crea varios límites de tarifas con la misma clave de dimensión ($.context.jwt.subo$.context.jwt.tier) pero con entradas diferentes para cada nivel. Usa entradas exactas para los usuarios premium conocidos y una * entrada como nivel predeterminado.

Límites de velocidad de capa en múltiples granularidades. Por ejemplo, combine un límite de RPS por objetivo (protege la capacidad del backend) con un límite de RPM por persona que llama (evita el abuso individual) y un límite de token por herramienta (controla el costo).

BatchPutGatewayRateLimitsUtilícelo para administrar de forma declarativa su configuración de límite de velocidad. La colocación por lotes utiliza una semántica alterada, por lo que es seguro ejecutarla de forma repetida a partir de CI/CD oleoductos o plantillas de infraestructura.

Comience con límites de tarifas generosos y ajústelos con el tiempo en función de los patrones de tráfico observados. Antes de reducir los límites, monitoriza el atributo aws.agentcore.gateway.throttle.customer.decision OTEL y las 429 tasas de respuesta.

Usa rate: 0 las entradas para bloquear llamadas, objetivos o herramientas específicas durante un incidente. El bloqueo entra en vigor una vez que se completa la propagación (hasta 30 segundos).

La pasarela utiliza un modelo de cumplimiento basado en el presupuesto. Cuando llega una solicitud, la puerta de enlace calcula el recuento de tokens de entrada y reserva esa cantidad del presupuesto de TPM configurado. Si la estimación supera el presupuesto restante, la solicitud se rechaza con una respuesta HTTP 429 antes de llegar al modelo. Una vez que la solicitud se complete correctamente, la pasarela concilia el presupuesto sustituyendo la estimación inicial por el uso real de los tokens (tokens de entrada y salida) informado por el proveedor del modelo.

La pasarela contabiliza los tokens en función de output_tokens los valores input_tokens y que el proveedor del modelo devuelve en la respuesta de inferencia. La puerta de enlace no rastrea ni ajusta de forma independiente para almacenar en caché rápidamente. La inclusión de los tokens en caché input_tokens depende de la forma en que el proveedor de modelos informe sobre su uso; este comportamiento varía de un proveedor a otro. Consulte la documentación de su proveedor de modelos para comprender cómo el almacenamiento rápido en caché afecta al recuento de tokens registrado y al consumo efectivo de TPM.

Sí. La pasarela evalúa la estimación del tokenizador comparándola con el presupuesto restante de TPM antes de reenviar la solicitud. Si la estimación supera el presupuesto disponible, la solicitud se rechaza con una respuesta HTTP 429. La respuesta incluye un retryAfter campo que indica cuándo habrá suficiente presupuesto disponible.

No. Una vez que la pasarela acepta y reenvía una solicitud, la respuesta siempre se entrega en su totalidad. La pasarela reserva los tokens estimados en el momento de la solicitud, y las demás solicitudes se siguen evaluando en función del presupuesto restante mientras la solicitud está en trámite. Cuando se completa la respuesta, la pasarela concilia el uso real con el estimado. Si el consumo real fue mayor, se ajusta el presupuesto; esto puede provocar que las solicitudes posteriores se limiten, pero la respuesta original nunca se interrumpe.

La pasarela utiliza el fragmento de respuesta final como fuente de verdad para una reconciliación simbólica. No todos los proveedores de modelos informan sobre el uso de tokens en todos los fragmentos transmitidos; algunos los incluyen solo en el último fragmento. La pasarela espera la respuesta completa antes de conciliar el presupuesto de TPM. En el caso de la transmisión de OpenAI Chat Finations, la puerta de enlace se añade automáticamente "stream_options": {"include_usage": true} al cuerpo de la solicitud cuando hay un límite de cantidad de tokens activo y esta opción aún no está presente, lo que garantiza que haya un recuento preciso de tokens en la parte final.

Los cambios en el límite de velocidad tardan hasta 30 segundos en propagarse. Planifique este retraso durante los incidentes: la entrada de un bloque (rate: 0) no es inmediata.

Una tasa de 0 bloquea todo el tráfico coincidente. Utilízala deliberadamente para realizar bloqueos de emergencia. Double-check introduzca los valores de dimensión antes de rate: 0 configurarlos para evitar bloquear accidentalmente el tráfico legítimo.

No puedes cambiar el límite dimensionKeys de tarifa existente. Si necesitas dimensiones diferentes, elimina el límite de tarifa existente y crea uno nuevo. Planifique la estructura clave de sus dimensiones antes de crear límites de velocidad de producción.