Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Añadir límites de tarifas a una pasarela
Con los límites de frecuencia, puedes controlar la cantidad de tráfico que pueden consumir en tu puerta de enlace las personas que llaman, los objetivos o las herramientas individuales. Define las claves de dimensión que determinan cómo se agrupa el tráfico y, a continuación, establece entradas de velocidad que especifican el rendimiento permitido para cada grupo.
Usa los límites de velocidad para lograr los siguientes objetivos:
-
Proteja los modelos y herramientas de back-end de los picos de tráfico
-
Aplica cuotas por persona que llama en función de las afirmaciones de JWT o de la identidad de IAM
-
Bloquee llamadas específicas estableciendo una tasa de cero
-
Controle los tokens por minuto (TPM) para los objetivos de inferencia
-
Limite las conexiones simultáneas a los puntos finales
Temas
Cómo funcionan los límites de velocidad
Cada límite de velocidad define una o más claves de dimensión que determinan cómo la puerta de enlace agrupa el tráfico en grupos. Dentro de un límite de velocidad, creas entradas que coincidan con valores de dimensión específicos y especificas la velocidad permitida para ese segmento.
Cuando la pasarela recibe una solicitud, evalúa todos los límites de velocidad activos. Para cada límite de velocidad, la puerta de enlace resuelve las claves de dimensión del contexto de la solicitud. Busca la entrada correspondiente y comprueba si la solicitud supera la tasa permitida. Deben superarse todos los límites de velocidad para que la solicitud continúe (lógica AND).
Los cambios en el límite de velocidad se propagan al plano de datos en 30 segundos.
Relación con los límites administrados por el servicio
La pasarela impone tanto los límites de tarifas definidos por el cliente como los límites administrados por el servicio. Customer-defined los límites de tarifas no pueden superar el límite de servicio. La tarifa efectiva para cualquier solicitud es el mínimo entre el límite definido por el cliente y el límite administrado por el servicio. Para conocer los límites actuales de administración de servicios, consulta las cuotas de servicio de Gateway. https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/bedrock-agentcore-limits.html#gateway-endpoints-quotas
Componentes de límite de velocidad
| Componente | Description (Descripción) |
|---|---|
|
|
Un identificador único para el límite de velocidad (de 2 a 64 caracteres, alfanumérico con, |
|
|
Lista ordenada de 1 a 10 claves que determinan cómo se agrupa el tráfico en grupos. Las claves de dimensión son inmutables después de su creación. |
|
|
Una lista de 1 a 1000 entradas de tarifas. Cada entrada especifica los valores de las dimensiones y la tasa permitida para ese segmento. |
|
|
Una descripción textual opcional del propósito del límite de tarifa. |
Ciclo vital del estado
| Status | Description (Descripción) |
|---|---|
|
|
Se está aprovisionando el límite de velocidad. Aún no se aplica. |
|
|
El límite de velocidad está activo y se aplica en el plano de datos. |
|
|
El límite de velocidad se está actualizando. La configuración anterior se mantiene en vigor hasta que finalice la actualización. |
|
|
Se va a eliminar el límite de velocidad. La aplicación se detiene cuando se completa la eliminación. |
Límites
| Recurso | Límite |
|---|---|
|
Límites de velocidad por puerta de enlace |
50 |
|
Entradas por límite de velocidad |
1 000 |
|
Claves de dimensión por límite de velocidad |
10 |
|
Longitud máxima de la descripción |
512 caracteres |
|
Valores de dimensión de entrada |
Debe coincidir con el número de claves de dimensión |
|
Rango de valores de tasa |
De 0 a 10 000 000 (el 0 bloquea todo el tráfico coincidente) |
|
Tiempo de propagación |
≤ 30 segundos |
importante
Los límites de velocidad utilizan el comportamiento de apertura por error de forma predeterminada. Si el servicio de límite de velocidad no está disponible o no se puede resolver una dimensión, la puerta de enlace permite que la solicitud continúe. Diseñe su postura de seguridad en consecuencia y no se base únicamente en los límites de velocidad como límite de seguridad.
Errores comunes de API
Es posible que se generen los siguientes errores al administrar los límites de velocidad a través de la API del plano de control:
| Estado HTTP | Error | Description (Descripción) |
|---|---|---|
|
400 |
|
Parámetros de solicitud no válidos (por ejemplo, metric/period combinaciones no admitidas o valores de dimensión no válidos). |
|
404 |
|
La puerta de enlace o el límite de velocidad especificados no existen. |
|
409 |
|
Ya existe un límite de velocidad con las mismas claves de dimensión o la puerta de enlace se encuentra en un estado que no permite la modificación. |
