View a markdown version of this page

Dimensioni del limite di velocità - Fondamento Amazon AgentCore
Dimensioni supportateIl valore predefinito (*) Comportamento nella risoluzione delle dimensioniLimiti condivisi e limiti individuali

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Dimensioni del limite di velocità

Le chiavi di dimensione determinano il modo in cui il gateway raggruppa il traffico in bucket con limite di velocità. Ogni chiave di dimensione fa riferimento a un valore del contesto della richiesta. Il gateway risolve questi valori in fase di esecuzione per trovare la voce corrispondente al limite di velocità.

Dimensioni supportate

Chiave dimensionale Description Valore di esempio

targetName

Il nome della destinazione richiamata. Risolto dal percorso della richiesta.

my-llm-target

toolName

Il nome completo dello strumento richiamato, nel formato. targetName___toolName Disponibile per le richieste di utilizzo degli strumenti MCP.

my-mcp-target___get_weather

qualifiedModelId

L'identificatore del modello completo per gli obiettivi di inferenza.

anthropic.claude-3-sonnet-20240229-v1:0

$.context.jwt.<claim>

Un claim estratto dal token JWT del chiamante. Sostituisci <claim> con il nome del claim (ad esempio,$.context.jwt.sub). $.context.jwt.team

user-123

$.context.iam.principal

L'ARN principale IAM del chiamante.

arn:aws:iam::123456789012:role/MyRole

$.context.iam.sourceIdentity

L'identità di origine impostata dal chiamante quando assume un ruolo.

developer@example.com

Il valore predefinito (*)

Le voci relative ai limiti di velocità supportano il valore speciale * come impostazione predefinita generale per una dimensione.

  • Una voce con * per una dimensione significa «applica questa tariffa a tutti i valori di questa dimensione».

  • Se esiste una voce più specifica per il valore effettivo, la voce specifica ha la precedenza (vince la partita più specifica).

  • *crea bucket indipendenti per entità: ogni valore distinto che corrisponde ottiene il proprio bucket di tariffe alla tariffa configurata.

Trailing-only vincolo per limiti di velocità multidimensionali:

Quando un limite di velocità ha più chiavi di dimensione, può apparire solo nelle posizioni finali. Se si utilizza in posizione N, devono esserlo * anche tutte le posizioni successive.

Ad esempio, condimensionKeys: ["targetName", "toolName", "$.context.jwt.sub"]:

Dimensioni di ingresso Valida Perché

["target1", "readData", "alice"]

Sì

Tutte le posizioni sono valori specifici.

["target1", "readData", "*"]

Sì

Solo l'ultima posizione è*.

["target1", "*", "*"]

Sì

Le posizioni finali sono*.

["*", "*", "*"]

Sì

Tutte le posizioni sono * (impostazione predefinita per qualsiasi combinazione).

["*", "readData", "alice"]

No

*nella posizione 1 seguita da valori specifici.

["*", "*", "alice"]

No

*nelle posizioni 1-2 seguite da un valore specifico.

["target1", "*", "alice"]

No

*in posizione 2 seguito da un valore specifico in posizione 3.

Come funziona la corrispondenza:

Quando arriva una richiesta, il gateway risolve i valori effettivi delle dimensioni e cerca la voce corrispondente più specifica. Ad esempio, se i valori risolti sono["target1", "readData", "alice"], il gateway controlla le voci nel seguente ordine:

  1. ["target1", "readData", "alice"]— corrispondenza esatta (la più specifica)

  2. ["target1", "readData", "*"]— l'ultima dimensione utilizza l'impostazione predefinita

  3. ["target1", "*", "*"]— le ultime due dimensioni utilizzano il valore predefinito

  4. ["*", "*", "*"]— completamente predefinito (meno specifico)

La prima partita vince.

Suggerimento

Utilizza voci specifiche per entità note ad alto valore o soggette a restrizioni e le * voci come livelli tariffari predefiniti per tutto il resto.

Comportamento nella risoluzione delle dimensioni

Quando il gateway valuta un limite di velocità, risolve ogni chiave di dimensione dal contesto della richiesta:

  • Se una chiave di dimensione non può essere risolta dalla richiesta (ad esempio, toolName su una richiesta non strumentale o su un'attestazione JWT che non esiste), il gateway salta completamente tale limite di velocità. La richiesta non è limitata da tale limite di velocità.

  • Per la risoluzione viene utilizzato solo un contesto convalidato. Le attestazioni JWT vengono estratte dai token che sono stati convalidati dalla configurazione di autenticazione del gateway. Il contesto IAM è disponibile solo per le richieste. SigV4-authenticated

Limiti condivisi e limiti individuali

La combinazione di chiavi di dimensione e valori di ingresso determina se il traffico condivide un unico bucket tariffario o ogni entità riceve il proprio bucket indipendente.

Chiavi di dimensione Dimensioni di ingresso Comportamento

["targetName"]

{"targetName": "my-target"}

Tutto il traffico verso my-target condivide un bucket (limite condiviso per quella destinazione).

["targetName"]

{"targetName": "*"}

Ogni destinazione riceve il proprio bucket indipendente a questa velocità (per entità).

["$.context.jwt.sub"]

{"$.context.jwt.sub": "*"}

Ogni chiamante unico riceve il proprio bucket (limite individuale per chiamante).

["targetName", "$.context.jwt.sub"]

{"targetName": "my-target", "$.context.jwt.sub": "*"}

Ogni chiamante riceve il proprio bucket, limitato a. my-target

["targetName", "$.context.jwt.sub"]

{"targetName": "*", "$.context.jwt.sub": "*"}

Ogni combinazione unica tra destinatario e chiamante ha il proprio bucket.
avvertimento

Evita di utilizzare attestazioni JWT ad alta cardinalità o illimitate come chiavi di dimensione (ad esempio,, o ID di richiesta). $.context.jwt.jti $.context.jwt.nonce Questi creano un numero illimitato di fasce tariffarie, che potrebbero ridurre l'efficacia della limitazione delle tariffe. Utilizza invece identificatori stabili e limitati come, o. sub team tier