View a markdown version of this page

속도 제한 지표 - Amazon Bedrock AgentCore
요청 속도 제한토큰 속도 제한연결 속도 제한지표 제약 조건결합된 지표

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

속도 제한 지표

속도 제한 항목은 측정 대상과 적용 기간을 정의하는 하나 이상의 지표를 지정합니다. 각 지표 유형에는 지원되는 기간 및 대상 유형에 대한 특정 제약이 있습니다.

요청 속도 제한

요청 속도 제한은 기간 내에 허용되는 API 요청 수를 제어합니다.

  • 지원되는 기간: second, minute

  • 지원되는 대상 유형: 모든 대상 유형

  • 속도를 0으로 설정: 전파가 완료되면 일치하는 모든 요청을 차단합니다(최대 30초).

요청 속도 제한은 요청이 대상으로 전달되기 전에 동기적으로 평가됩니다.

토큰 속도 제한

토큰 속도 제한은 기간 내에 사용되는 토큰(입력 + 출력) 수를 제어합니다. 토큰 속도 제한은 추론 대상에만 적용됩니다.

  • 지원되는 기간: minute

  • 지원되는 대상 유형: 추론 대상만(추론 경로가 알려진 커넥터 대상 및 공급자 대상)

  • 알려진 추론 경로: /v1/chat/completions, /v1/messages, /v1/responses

토큰 속도 제한은 예산 기반 적용을 사용합니다.

  1. 게이트웨이는 요청을 전달하기 전에 입력 토큰 사용량을 추정합니다.

  2. 실제 토큰 수(입력 + 출력)는 응답이 완료된 후 기록됩니다.

  3. 응답 지연 시간으로 인해 적용이 따라잡기 전에 예산이 구성된 비율을 일시적으로 초과할 수 있습니다.

참고

스트리밍 채팅 완료 요청(/v1/chat/completions)의 경우 게이트웨이는 요청 본문"stream_options": {"include_usage": true}에를 자동으로 추가합니다. 이는 토큰 속도 제한이 활성 상태이고 옵션이 아직 없는 경우에 발생합니다. TPM 적용을 위해 스트리밍된 응답에서 정확한 토큰 수를 사용할 수 있도록 합니다.

연결 속도 제한

연결 속도 제한은 지정된 시간에 허용되는 동시 진행 중인 요청 수를 제어합니다. 각 요청은 수락부터 응답이 완료될 때까지 연결 슬롯을 차지합니다. 새 요청이 도착하고 활성 연결 수가 구성된 제한에 도달한 경우 HTTP 429 응답으로 요청이 거부됩니다.

  • 지원되는 기간: second

  • 지원되는 대상 유형: 모든 대상 유형(MCP, HTTP, 추론)

  • 측정: 최대 동시 진행 중 요청 수

지표 제약 조건

지표 지원되는 기간 지원되는 대상

requests

second, minute

모두

tokens

minute

추론 대상만(커넥터, 알려진 경로가 있는 공급자)

connections

second

모두

결합된 지표

단일 속도 제한 항목은 여러 지표를 지정할 수 있습니다. 항목에 여러 지표가 있는 경우 모든 지표가 독립적으로 평가됩니다. 단일 지표가 제한을 초과하면 요청이 제한됩니다.

다음 예제에서는 분당 요청 수와 분당 토큰 수를 모두 적용하는 속도 제한을 보여줍니다.

{
    "rateLimitId": "inference-rps-and-tpm",
    "dimensionKeys": ["targetName", "$.context.jwt.sub"],
    "entries": [
        {
            "dimensions": {
                "targetName": "my-inference-target",
                "$.context.jwt.sub": "*"
            },
            "requests": [{"rate": 300, "period": "minute"}],
            "tokens": [{"rate": 50000, "period": "minute"}]
        }
    ]
}

이 예제에서는 분당 300개의 요청 또는 분당 50,000개의 토큰 중 먼저 도달하는 제한에 도달하는 my-inference-target것을 초과하는 경우 각 호출자에게 병목 현상이 발생합니다.