Best practice relative ai limiti di velocità

Crea più limiti di tariffa con la stessa chiave ($.context.jwt.subo$.context.jwt.tier) di dimensione ma voci diverse per ogni livello. Usa le voci esatte per gli utenti premium noti e una * voce come livello predefinito.

Limiti di velocità degli strati a granularità multiple. Ad esempio, combinate un limite RPS per target (protegge la capacità del backend) con un limite RPM per chiamante (previene gli abusi individuali) e un limite per token per strumento (controlla i costi).

BatchPutGatewayRateLimitsUsalo per gestire in modo dichiarativo la configurazione del limite di velocità. Batch put utilizza una semantica upsert, che ne rende sicura l'esecuzione ripetuta da CI/CD pipeline o modelli di infrastruttura.

Inizia con limiti tariffari generosi e riducili nel tempo in base ai modelli di traffico osservati. Monitora l'attributo aws.agentcore.gateway.throttle.customer.decision OTEL span e i tassi di risposta 429 prima di ridurre i limiti.

Usa rate: 0 le voci per bloccare chiamanti, obiettivi o strumenti specifici durante un incidente. Il blocco ha effetto una volta completata la propagazione (fino a 30 secondi).

Il gateway utilizza un modello di applicazione basato sul budget. Quando arriva una richiesta, il gateway stima il numero di token di input e riserva tale importo dal budget TPM configurato. Se la stima supera il budget rimanente, la richiesta viene rifiutata con una risposta HTTP 429 prima di raggiungere il modello. Una volta completata la richiesta, il gateway riconcilia il budget sostituendo la stima iniziale con l'utilizzo effettivo dei token (token di input + output) riportato dal fornitore del modello.

Il gateway rappresenta i token in base ai output_tokens valori input_tokens e che il fornitore del modello restituisce nella risposta di inferenza. Il gateway non traccia o regola in modo indipendente la memorizzazione tempestiva nella cache. L'inclusione o meno dei token memorizzati nella cache input_tokens dipende dal modo in cui il fornitore del modello ne segnala l'utilizzo: questo comportamento varia da un provider all'altro. Consulta la documentazione del tuo fornitore di modelli per capire in che modo la memorizzazione tempestiva nella cache influisce sul conteggio dei token segnalati e sul consumo effettivo di TPM.

Sì. Il gateway valuta la stima del tokenizer rispetto al budget TPM rimanente prima di inoltrare la richiesta. Se la stima supera il budget disponibile, la richiesta viene respinta con una risposta HTTP 429. La risposta include un retryAfter campo che indica quando sarà disponibile un budget sufficiente.

No. Una volta che il gateway accetta e inoltra una richiesta, la risposta viene sempre fornita per intero. Il gateway riserva i token stimati al momento della richiesta e le altre richieste continuano a essere valutate rispetto al budget rimanente mentre la richiesta è in corso. Una volta completata la risposta, il gateway riconcilia l'utilizzo effettivo con la stima. Se il consumo effettivo è superiore, il budget viene adeguato: ciò può causare la limitazione delle richieste successive, ma la risposta originale non viene mai interrotta.

Il gateway utilizza il blocco di risposta finale come fonte di verità per la riconciliazione dei token. Non tutti i fornitori di modelli segnalano l'utilizzo dei token in ogni blocco trasmesso in streaming: alcuni lo includono solo nella parte finale. Il gateway attende la risposta completa prima di riconciliare il budget del TPM. Per lo streaming di OpenAI Chat Completions, il gateway si aggiunge automaticamente "stream_options": {"include_usage": true} al corpo della richiesta quando è attivo un limite di velocità dei token e questa opzione non è già presente, assicurando che sia disponibile un conteggio accurato dei token nel blocco finale.

La propagazione delle modifiche ai limiti di velocità richiede fino a 30 secondi. Pianifica questo ritardo durante gli incidenti: l'immissione di un blocco (rate: 0) non è immediata.

Un tasso pari a 0 blocca tutto il traffico corrispondente. Usalo deliberatamente per il blocco di emergenza. Double-check inserisci i valori delle dimensioni prima dell'impostazione rate: 0 per evitare il blocco accidentale del traffico legittimo.

Non è possibile modificare un dimensionKeys limite di tariffa esistente. Se hai bisogno di dimensioni diverse, elimina il limite di tariffa esistente e creane uno nuovo. Pianificate la struttura chiave della dimensione prima di creare limiti di velocità di produzione.