Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Aggiungere limiti di velocità a un gateway
Con i limiti di velocità, puoi controllare la quantità di traffico che singoli chiamanti, destinatari o strumenti possono consumare sul tuo gateway. Definisci le chiavi di dimensione che determinano il modo in cui il traffico viene raggruppato, quindi imposti le voci di frequenza che specificano la velocità effettiva consentita per ciascun gruppo.
Utilizza i limiti di velocità per raggiungere i seguenti obiettivi:
-
Proteggi i modelli e gli strumenti di backend dai picchi di traffico
-
Applica le quote per chiamante in base alle dichiarazioni JWT o all'identità IAM
-
Blocca chiamanti specifici impostando una frequenza pari a zero
-
Token di controllo al minuto (TPM) per gli obiettivi di inferenza
-
Limita le connessioni simultanee agli endpoint
Argomenti
Come funzionano i limiti di velocità
Ogni limite di velocità definisce una o più chiavi di dimensione che determinano il modo in cui il gateway raggruppa il traffico in bucket. Entro un limite di velocità, si creano voci che corrispondono a valori di dimensione specifici e si specifica la velocità consentita per quel bucket.
Quando il gateway riceve una richiesta, valuta tutti i limiti di velocità attivi. Per ogni limite di velocità, il gateway risolve le chiavi di dimensione dal contesto della richiesta. Trova la voce corrispondente e controlla se la richiesta supera la velocità consentita. Tutti i limiti di velocità devono superare affinché la richiesta possa procedere (logica AND).
Le modifiche ai limiti di velocità si propagano al piano dati entro 30 secondi.
Relazione con i limiti gestiti dal servizio
Il gateway applica sia i limiti tariffari definiti dal cliente sia i limiti gestiti dal servizio. Customer-defined i limiti tariffari non possono superare il massimale di servizio. La tariffa effettiva per ogni richiesta è il minimo tra il limite definito dal cliente e il limite gestito dal servizio. Per gli attuali limiti gestiti dal servizio, vedi Quote di servizio Gateway. https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/bedrock-agentcore-limits.html#gateway-endpoints-quotas
Componenti del limite di velocità
| Componente | Description |
|---|---|
|
|
Un identificatore univoco per il limite di velocità (2—64 caratteri, alfanumerici con,,). |
|
|
Un elenco ordinato da 1 a 10 chiavi che determinano il modo in cui il traffico viene raggruppato in bucket. Le chiavi di dimensione sono immutabili dopo la creazione. |
|
|
Un elenco da 1 a 1.000 voci di tariffa. Ogni voce specifica i valori delle dimensioni e la tariffa consentita per quel bucket. |
|
|
Una descrizione testuale opzionale dello scopo del limite di velocità. |
Status, ciclo di vita
| Stato | Description |
|---|---|
|
|
Il limite di velocità è in fase di accantonamento. Non è ancora stato applicato. |
|
|
Il limite di velocità è attivo e applicato sul piano dati. |
|
|
Il limite di velocità è in fase di aggiornamento. La configurazione precedente rimane applicata fino al completamento dell'aggiornamento. |
|
|
Il limite di velocità viene rimosso. L'applicazione si interrompe al termine dell'eliminazione. |
Limits
| Risorsa | Limite |
|---|---|
|
Limiti di velocità per gateway |
50 |
|
Ingressi per limite di velocità |
1.000 |
|
Chiavi di dimensione per limite di tariffa |
10 |
|
Descrizione: lunghezza massima |
512 caratteri |
|
Valori delle dimensioni di ingresso |
Deve corrispondere al numero di chiavi di dimensione |
|
Intervallo di valori tariffari |
Da 0 a 10.000.000 (0 blocca tutto il traffico corrispondente) |
|
Tempo di propagazione |
≤ 30 secondi |
Importante
Per impostazione predefinita, i limiti di velocità utilizzano un comportamento di fail-open. Se il servizio di limite di velocità non è disponibile o una dimensione non può essere risolta, il gateway consente alla richiesta di procedere. Progetta il tuo livello di sicurezza di conseguenza e non affidarti esclusivamente ai limiti di velocità come limite di sicurezza.
Errori API comuni
I seguenti errori potrebbero essere restituiti quando si gestiscono i limiti di velocità tramite l'API del piano di controllo:
| Stato HTTP | Errore | Description |
|---|---|---|
|
400 |
|
Parametri di richiesta non validi (ad esempio, metric/period combinazione non supportata, valori di dimensione non validi). |
|
404 |
|
Il gateway o il limite di velocità specificato non esiste. |
|
409 |
|
Esiste già un limite di velocità con le stesse chiavi di dimensione oppure il gateway è in uno stato che non consente modifiche. |
