View a markdown version of this page

Adicionar limites de taxa a um gateway - Base da Amazônia AgentCore

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Adicionar limites de taxa a um gateway

Com limites de taxa, você controla quanto tráfego os chamadores, alvos ou ferramentas individuais podem consumir no seu gateway. Você define chaves de dimensão que determinam como o tráfego é agrupado e, em seguida, define entradas de taxa que especificam a taxa de transferência permitida para cada grupo.

Use limites de taxa para atingir as seguintes metas:

  • Proteja modelos e ferramentas de back-end contra picos de tráfego

  • Imponha cotas por chamador com base nas declarações do JWT ou na identidade do IAM

  • Bloqueie chamadores específicos definindo uma taxa de zero

  • Tokens de controle por minuto (TPM) para alvos de inferência

  • Limitar conexões simultâneas aos endpoints

Como funcionam os limites de taxa

Cada limite de taxa define uma ou mais chaves de dimensão que determinam como o gateway agrupa o tráfego em buckets. Dentro de um limite de taxa, você cria entradas que correspondem a valores de dimensão específicos e especifica a taxa permitida para esse intervalo.

Quando o gateway recebe uma solicitação, ele avalia todos os limites de taxa ativos. Para cada limite de taxa, o gateway resolve as chaves de dimensão do contexto da solicitação. Ele encontra a entrada correspondente e verifica se a solicitação excede a taxa permitida. Todos os limites de taxa devem ser ultrapassados para que a solicitação continue (lógica AND).

As alterações do limite de taxa se propagam para o plano de dados em 30 segundos.

Relação com os limites gerenciados pelo serviço

O gateway impõe limites de taxa definidos pelo cliente e limites gerenciados pelo serviço. Customer-defined os limites de tarifa não podem exceder o teto de serviço. A taxa efetiva para qualquer solicitação é a mínima entre o limite definido pelo cliente e o limite gerenciado pelo serviço. Para os limites atuais de gerenciamento de serviços, consulte Cotas de serviço do Gateway.

Componentes do limite de taxa

Componente Description

rateLimitId

Um identificador exclusivo para o limite de taxa (2 a 64 caracteres, alfanumérico com-,_,.). Você pode especificar sua própria ID na criação ou omiti-la e o serviço gerará uma automaticamente. Aparece em respostas e métricas limitadas.

dimensionKeys

Uma lista ordenada de 1 a 10 chaves que determinam como o tráfego é agrupado em intervalos. As chaves de dimensão são imutáveis após a criação.

entries

Uma lista de 1 a 1.000 entradas de tarifas. Cada entrada especifica valores de dimensão e a taxa permitida para esse intervalo.

description

Uma descrição de texto opcional da finalidade do limite de taxa.

Ciclo de vida do status

Status Description

CREATING

O limite da taxa está sendo provisionado. Ainda não está em vigor.

ACTIVE

O limite de taxa está ativo e é aplicado no plano de dados.

UPDATING

O limite da taxa está sendo atualizado. A configuração anterior permanece em vigor até que a atualização seja concluída.

DELETING

O limite da taxa está sendo removido. A fiscalização é interrompida quando a exclusão é concluída.

Limites

Recurso Limite

Limites de taxa por gateway

50

Inscrições por limite de taxa

1.000

Teclas de dimensão por limite de taxa

10

Comprimento máximo da descrição

512 caracteres

Valores de dimensão de entrada

Deve corresponder ao número de chaves de dimensão

Intervalo do valor da taxa

0 a 10.000.000 (0 bloqueia todo o tráfego correspondente)

Tempo de propagação

≤ 30 segundos

Importante

Os limites de taxa usam o comportamento de abertura de falha por padrão. Se o serviço de limite de taxa não estiver disponível ou uma dimensão não puder ser resolvida, o gateway permitirá que a solicitação continue. Crie sua postura de segurança adequadamente e não confie apenas nos limites de taxa como limite de segurança.

Erros comuns da API

Os seguintes erros podem ser retornados ao gerenciar limites de taxa por meio da API do plano de controle:

Status HTTP Erro Description

400

ValidationException

Parâmetros de solicitação inválidos (por exemplo, metric/period combinação não suportada, valores de dimensão inválidos).

404

ResourceNotFoundException

O gateway ou limite de taxa especificado não existe.

409

ConflictException

Já existe um limite de taxa com as mesmas chaves de dimensão ou o gateway está em um estado que não permite modificações.