本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

速率限制最佳实践

本主题提供有关在网关上有效设计、部署和运行速率限制的指导。

设计模式

尺寸键选择指南

选择可生成有限、可预测数量的费率桶的维度键：

代币速率限制注意事项

由于其基于预算的执法模式，代币利率限制需要特别考虑：

代币速率限制常见问题解答

本节回答了有关每分钟代币（TPM）执法在实践中如何运作的常见问题。

运营注意事项

监控

使用以下信号监控速率限制的有效性：

受限的响应信号：

OpenTelemetry 跨度属性：

监控查询示例：

使用 CloudWatch 日志组上的亚马逊aws/spans日志见解来查询网关的 OTEL 跨度。以下示例有助于识别节流模式。

按速率限制计算受限制的请求：

filter attributes.`aws.agentcore.gateway.throttle.customer.decision` = "throttled"
| stats count(*) as throttle_count by attributes.`aws.agentcore.gateway.throttle.customer.limit_key`
| sort throttle_count desc

确定哪些来电者受到的限制最大：

filter attributes.`aws.agentcore.gateway.throttle.customer.decision` = "throttled"
| stats count(*) as throttle_count by attributes.`aws.agentcore.gateway.throttle.customer.matched_entry`
| sort throttle_count desc
| limit 20

比较一段时间内允许的请求和限制的请求：

filter ispresent(attributes.`aws.agentcore.gateway.throttle.customer.decision`)
| stats count(*) as total,
        sum(attributes.`aws.agentcore.gateway.throttle.customer.decision` = "throttled") as throttled
  by bin(5m)

如果单一速率限制导致了大多数油门事件，请考虑配置的速率是否过于严格，或者流量模式是否表明存在滥用情况。

根据速率限制跨度创建警报

您可以将速率限制 OTEL 跨度属性转换为 CloudWatch 指标和警报，以主动监控节流行为。这需要启用网关可观察性（请参阅启用 AgentCore 网关资源的可观察性）。

步骤 1：启用网关跨度

确保您的网关启用了可观察性。网关跨度导出到 CloudWatch 交易搜索 CloudWatch 和生成式 AI 可观测性页面并可在其中查看。

第 2 步：创建 CloudWatch 指标筛选条件

在aws/spans日志组上创建指标筛选器，将油门事件提取为自定义指标。以下示例创建了一个指标，该指标按速率限制对受限制的请求进行计数：

{
  "filterPattern": "{ $.attributes.aws\\.agentcore\\.gateway\\.throttle\\.customer\\.decision = \"throttled\" }",
  "metricTransformations": [
    {
      "metricName": "GatewayRateLimitThrottleCount",
      "metricNamespace": "AgentCore/Gateway/RateLimits",
      "metricValue": "1",
      "defaultValue": 0,
      "dimensions": {
        "LimitKey": "$.attributes.aws\\.agentcore\\.gateway\\.throttle\\.customer\\.limit_key"
      }
    }
  ]
}

第 3 步：创建 CloudWatch 警报

指标过滤器到位后，创建警报，当油门速率超过阈值时触发。

第 4 步：构建仪表板

创建 CloudWatch 仪表板以可视化一段时间内的油门率。以下控件配置显示按速率限制分组的油门次数：

{
  "metrics": [
    [
      "AgentCore/Gateway/RateLimits",
      "GatewayRateLimitThrottleCount",
      "LimitKey", "per-target-rps"
    ],
    [
      "AgentCore/Gateway/RateLimits",
      "GatewayRateLimitThrottleCount",
      "LimitKey", "per-caller-rpm"
    ]
  ],
  "period": 60,
  "stat": "Sum",
  "title": "Rate Limit Throttles by Limit"
}