翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

レート制限のベストプラクティス

このトピックでは、ゲートウェイで効果的に制限を設計、デプロイ、運用するためのガイダンスを提供します。

パターンの設計

ディメンションキー選択ガイダンス

制限された予測可能な数のレートバケットを生成するディメンションキーを選択します。

トークンレート制限に関する考慮事項

トークンレートの制限は、予算ベースの適用モデルであるため、特別な考慮事項が必要です。

トークンレート制限に関するよくある質問

このセクションでは、token-per-minute (TPM) の適用の実際の仕組みに関する一般的な質問に回答します。

運用上の考慮事項

モニタリング

レート制限の有効性をモニタリングするには、次のシグナルを使用します。

スロットリングされたレスポンスシグナル:

OpenTelemetry スパン属性:

モニタリングクエリの例:

aws/spans ロググループの Amazon CloudWatch Logs Insights を使用して、ゲートウェイの OTEL スパンをクエリします。次の例は、スロットリングパターンを識別するのに役立ちます。

スロットリングされたリクエストをレート制限別にカウントします。

filter attributes.`aws.agentcore.gateway.throttle.customer.decision` = "throttled"
| stats count(*) as throttle_count by attributes.`aws.agentcore.gateway.throttle.customer.limit_key`
| sort throttle_count desc

スロットリングが最も多い発信者を特定します。

filter attributes.`aws.agentcore.gateway.throttle.customer.decision` = "throttled"
| stats count(*) as throttle_count by attributes.`aws.agentcore.gateway.throttle.customer.matched_entry`
| sort throttle_count desc
| limit 20

許可リクエストとスロットリングリクエストを経時的に比較します。

filter ispresent(attributes.`aws.agentcore.gateway.throttle.customer.decision`)
| stats count(*) as total,
        sum(attributes.`aws.agentcore.gateway.throttle.customer.decision` = "throttled") as throttled
  by bin(5m)

1 つのレート制限がほとんどのスロットリングイベントを考慮する場合は、設定されたレートが過度に制限されているかどうか、またはトラフィックパターンが不正使用を示しているかどうかを検討してください。

レート制限スパンからのアラームの作成

レート制限 OTEL スパン属性を CloudWatch メトリクスとアラームに変換して、スロットリング動作をプロアクティブにモニタリングできます。これには、ゲートウェイオブザーバビリティを有効にする必要があります (AgentCore ゲートウェイリソースのオブザーバビリティを有効にする」を参照）。

ステップ 1: ゲートウェイスパンを有効にする

ゲートウェイでオブザーバビリティが有効になっていることを確認します。ゲートウェイスパンは CloudWatch にエクスポートされ、CloudWatch トランザクション検索と生成 AI オブザーバビリティページで表示できます。

ステップ 2: CloudWatch メトリクスフィルターを作成する

カスタムメトリクスとしてスロットルイベントを抽出するには、aws/spansロググループにメトリクスフィルターを作成します。次の例では、レート制限ごとにスロットリングされたリクエストをカウントするメトリクスを作成します。

{
  "filterPattern": "{ $.attributes.aws\\.agentcore\\.gateway\\.throttle\\.customer\\.decision = \"throttled\" }",
  "metricTransformations": [
    {
      "metricName": "GatewayRateLimitThrottleCount",
      "metricNamespace": "AgentCore/Gateway/RateLimits",
      "metricValue": "1",
      "defaultValue": 0,
      "dimensions": {
        "LimitKey": "$.attributes.aws\\.agentcore\\.gateway\\.throttle\\.customer\\.limit_key"
      }
    }
  ]
}

ステップ 3: CloudWatch アラームを作成する

メトリクスフィルターを設定したら、スロットルレートがしきい値を超えたときにトリガーされるアラームを作成します。

ステップ 4: ダッシュボードを構築する

CloudWatch ダッシュボードを作成して、スロットルレートを経時的に視覚化します。次のウィジェット設定は、レート制限別にグループ化されたスロットル数を示しています。

{
  "metrics": [
    [
      "AgentCore/Gateway/RateLimits",
      "GatewayRateLimitThrottleCount",
      "LimitKey", "per-target-rps"
    ],
    [
      "AgentCore/Gateway/RateLimits",
      "GatewayRateLimitThrottleCount",
      "LimitKey", "per-caller-rpm"
    ]
  ],
  "period": 60,
  "stat": "Sum",
  "title": "Rate Limit Throttles by Limit"
}