기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

속도 제한 모범 사례

이 주제에서는 게이트웨이의 효과적인 설계, 배포 및 운영 속도 제한에 대한 지침을 제공합니다.

패턴 설계

차원 키 선택 지침

제한되고 예측 가능한 비율 버킷 수를 생성하는 차원 키를 선택합니다.

토큰 속도 제한 고려 사항

토큰 속도 제한은 예산 기반 적용 모델로 인해 특별한 고려가 필요합니다.

토큰 속도 제한 FAQ

이 섹션에서는 TPM(token-per-minute) 적용이 실제로 어떻게 작동하는지에 대한 일반적인 질문에 답변합니다.

운영상의 고려 사항

모니터링

다음 신호를 사용하여 속도 제한 효과를 모니터링합니다.

제한 응답 신호:

OpenTelemetry 스팬 속성:

모니터링 쿼리의 예:

aws/spans 로그 그룹에서 Amazon CloudWatch Logs Insights를 사용하여 게이트웨이의 OTEL 범위를 쿼리합니다. 다음 예제는 제한 패턴을 식별하는 데 도움이 됩니다.

속도 제한별로 제한된 요청 수 계산:

filter attributes.`aws.agentcore.gateway.throttle.customer.decision` = "throttled"
| stats count(*) as throttle_count by attributes.`aws.agentcore.gateway.throttle.customer.limit_key`
| sort throttle_count desc

어떤 호출자가 가장 병목 현상을 겪고 있는지 식별합니다.

filter attributes.`aws.agentcore.gateway.throttle.customer.decision` = "throttled"
| stats count(*) as throttle_count by attributes.`aws.agentcore.gateway.throttle.customer.matched_entry`
| sort throttle_count desc
| limit 20

시간 경과에 따라 허용되는 요청과 제한된 요청을 비교합니다.

filter ispresent(attributes.`aws.agentcore.gateway.throttle.customer.decision`)
| stats count(*) as total,
        sum(attributes.`aws.agentcore.gateway.throttle.customer.decision` = "throttled") as throttled
  by bin(5m)

단일 속도 제한이 대부분의 스로틀 이벤트를 차지하는 경우 구성된 속도가 너무 제한적인지 또는 트래픽 패턴이 남용을 나타내는지 고려합니다.

속도 제한 범위에서 경보 생성

속도 제한 OTEL 범위 속성을 CloudWatch 지표 및 경보로 변환하여 제한 동작을 사전에 모니터링할 수 있습니다. 이를 위해서는 게이트웨이 관찰성을 활성화해야 합니다( AgentCore 게이트웨이 리소스에 대한 관찰성 활성화 참조).

1단계: 게이트웨이 범위 활성화

게이트웨이에 관찰성이 활성화되어 있는지 확인합니다. 게이트웨이 스팬은 CloudWatch로 내보내지고 CloudWatch 트랜잭션 검색 및 생성형 AI 관찰성 페이지에서 볼 수 있습니다.

2단계: CloudWatch 지표 필터 생성

aws/spans 로그 그룹에 지표 필터를 생성하여 스로틀 이벤트를 사용자 지정 지표로 추출합니다. 다음 예제에서는 속도 제한당 제한된 요청을 계산하는 지표를 생성합니다.

{
  "filterPattern": "{ $.attributes.aws\\.agentcore\\.gateway\\.throttle\\.customer\\.decision = \"throttled\" }",
  "metricTransformations": [
    {
      "metricName": "GatewayRateLimitThrottleCount",
      "metricNamespace": "AgentCore/Gateway/RateLimits",
      "metricValue": "1",
      "defaultValue": 0,
      "dimensions": {
        "LimitKey": "$.attributes.aws\\.agentcore\\.gateway\\.throttle\\.customer\\.limit_key"
      }
    }
  ]
}

3단계: CloudWatch 경보 생성

지표 필터가 배치되면 스로틀 속도가 임계값을 초과할 때 트리거되는 경보를 생성합니다.

4단계: 대시보드 구축

CloudWatch 대시보드를 생성하여 시간 경과에 따른 조절률을 시각화합니다. 다음 위젯 구성은 속도 제한별로 그룹화된 스로틀 수를 보여줍니다.

{
  "metrics": [
    [
      "AgentCore/Gateway/RateLimits",
      "GatewayRateLimitThrottleCount",
      "LimitKey", "per-target-rps"
    ],
    [
      "AgentCore/Gateway/RateLimits",
      "GatewayRateLimitThrottleCount",
      "LimitKey", "per-caller-rpm"
    ]
  ],
  "period": 60,
  "stat": "Sum",
  "title": "Rate Limit Throttles by Limit"
}