Práticas recomendadas de limite de taxa

Crie vários limites de taxa com a mesma chave de dimensão ($.context.jwt.subou$.context.jwt.tier), mas entradas diferentes para cada nível. Use entradas exatas para usuários premium conhecidos e uma * entrada como nível padrão.

Limites de taxa de camada em várias granularidades. Por exemplo, combine um limite de RPS por alvo (protege a capacidade de back-end) com um limite de RPM por chamador (evita abusos individuais) e um limite de token por ferramenta (controla o custo).

Use BatchPutGatewayRateLimits para gerenciar declarativamente sua configuração de limite de taxa. O batch put usa semântica aprimorada, tornando seguro executar repetidamente a partir de CI/CD pipelines ou modelos de infraestrutura.

Comece com limites de tarifas generosos e os restrinja ao longo do tempo com base nos padrões de tráfego observados. Monitore o atributo de amplitude do aws.agentcore.gateway.throttle.customer.decision OTEL e as taxas de resposta de 429 antes de reduzir os limites.

Use rate: 0 entradas para bloquear chamadores, alvos ou ferramentas específicos durante um incidente. O bloqueio entra em vigor quando a propagação é concluída (até 30 segundos).

O gateway usa um modelo de fiscalização baseado em orçamento. Quando uma solicitação chega, o gateway estima a contagem de tokens de entrada e reserva esse valor do seu orçamento de TPM configurado. Se a estimativa exceder o orçamento restante, a solicitação será rejeitada com uma resposta HTTP 429 antes de chegar ao modelo. Depois que uma solicitação bem-sucedida é concluída, o gateway reconcilia o orçamento substituindo a estimativa inicial pelo uso real do token (tokens de entrada e saída) relatado pelo provedor do modelo.

O gateway contabiliza os tokens com base nos output_tokens valores input_tokens e que o provedor do modelo retorna na resposta de inferência. O gateway não rastreia nem se ajusta de forma independente para o cache imediato. A inclusão de tokens em cache input_tokens depende de como seu provedor de modelo relata o uso — esse comportamento varia entre os provedores. Consulte a documentação do seu fornecedor de modelos para entender como o cache imediato afeta a contagem de tokens relatada e seu consumo efetivo de TPM.

Sim. O gateway avalia a estimativa do tokenizador em relação ao orçamento restante do TPM antes de encaminhar a solicitação. Se a estimativa exceder o orçamento disponível, a solicitação será rejeitada com uma resposta HTTP 429. A resposta inclui um retryAfter campo indicando quando um orçamento suficiente estará disponível.

Não. Quando o gateway aceita e encaminha uma solicitação, a resposta é sempre entregue na íntegra. O gateway reserva tokens estimados no momento da solicitação, e outras solicitações continuam sendo avaliadas em relação ao orçamento restante enquanto a solicitação está em andamento. Quando a resposta é concluída, o gateway reconcilia o uso real com a estimativa. Se o consumo real for maior, o orçamento é ajustado — isso pode fazer com que as solicitações subsequentes sejam limitadas, mas a resposta original nunca é interrompida.

O gateway usa o bloco de resposta final como a fonte da verdade para a reconciliação simbólica. Nem todos os fornecedores de modelos relatam o uso de tokens em cada trecho transmitido — alguns o incluem apenas no trecho final. O gateway aguarda a resposta completa antes de reconciliar o orçamento do TPM. Para o streaming do OpenAI Chat Completions, o gateway é adicionado automaticamente "stream_options": {"include_usage": true} ao corpo da solicitação quando um limite de taxa de token está ativo e essa opção ainda não está presente, garantindo que contagens precisas de tokens estejam disponíveis na parte final.

As mudanças no limite de taxa levam até 30 segundos para serem propagadas. Planeje esse atraso durante incidentes — uma entrada de bloqueio (rate: 0) não é imediata.

Uma taxa de 0 bloqueia todo o tráfego correspondente. Use isso deliberadamente para bloqueio de emergência. Double-check insira valores de dimensão antes da configuração rate: 0 para evitar o bloqueio acidental do tráfego legítimo.

Você não pode alterar o dimensionKeys limite de taxa existente. Se você precisar de dimensões diferentes, exclua o limite de taxa existente e crie um novo. Planeje sua estrutura de chave de dimensão antes de criar limites de taxa de produção.