View a markdown version of this page

게이트웨이에 속도 제한 추가 - Amazon Bedrock AgentCore

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

게이트웨이에 속도 제한 추가

속도 제한을 사용하면 개별 호출자, 대상 또는 도구가 게이트웨이에서 소비할 수 있는 트래픽의 양을 제어할 수 있습니다. 트래픽 그룹화 방법을 결정하는 차원 키를 정의한 다음 각 그룹에 허용되는 처리량을 지정하는 속도 항목을 설정합니다.

속도 제한을 사용하여 다음 목표를 달성합니다.

  • 트래픽 급증으로부터 백엔드 모델 및 도구 보호

  • JWT 클레임 또는 IAM 자격 증명을 기반으로 호출자당 할당량 적용

  • 속도를 0으로 설정하여 특정 호출자 차단

  • 추론 대상에 대한 분당 컨트롤 토큰(TPM)

  • 엔드포인트에 대한 동시 연결 제한

속도 제한 작동 방식

각 속도 제한은 게이트웨이가 트래픽을 버킷으로 그룹화하는 방법을 결정하는 하나 이상의 차원 키를 정의합니다. 속도 제한 내에서 특정 차원 값과 일치하는 항목을 생성하고 해당 버킷에 허용되는 속도를 지정합니다.

게이트웨이는 요청을 수신하면 모든 활성 속도 제한을 평가합니다. 게이트웨이는 각 속도 제한에 대해 요청 컨텍스트에서 차원 키를 확인합니다. 일치하는 항목을 찾아 요청이 허용된 비율을 초과하는지 확인합니다. 요청을 진행하려면 모든 속도 제한을 통과해야 합니다(AND 로직).

속도 제한 변경 사항은 30초 이내에 데이터 영역으로 전파됩니다.

서비스 관리형 한도와의 관계

게이트웨이는 고객 정의 속도 제한과 서비스 관리형 제한을 모두 적용합니다. 고객이 정의한 속도 제한은 서비스 상한을 초과할 수 없습니다. 모든 요청의 유효 비율은 고객 정의 한도와 서비스 관리 한도의 최소값입니다. 현재 서비스 관리형 한도는 게이트웨이 서비스 할당량을 참조하세요.

속도 제한 구성 요소

구성 요소 설명

rateLimitId

속도 제한의 고유 식별자(2~64자, , -,가 포함된 영숫자_.). 생성 시 자체 ID를 지정하거나 생략하면 서비스가 자동으로 ID를 생성합니다. 제한된 응답 및 지표에 표시됩니다.

dimensionKeys

트래픽을 버킷으로 그룹화하는 방법을 결정하는 1~10개 키의 정렬된 목록입니다. 차원 키는 생성 후 변경할 수 없습니다.

entries

1~1,000개의 요금 항목 목록입니다. 각 항목은 차원 값과 해당 버킷에 허용되는 속도를 지정합니다.

description

속도 제한의 용도에 대한 선택적 텍스트 설명입니다.

상태 수명 주기

Status 설명

CREATING

속도 제한이 프로비저닝되고 있습니다. 아직 적용되지 않습니다.

ACTIVE

속도 제한은 활성 상태이며 데이터 영역에 적용됩니다.

UPDATING

속도 제한이 업데이트 중입니다. 이전 구성은 업데이트가 완료될 때까지 계속 적용됩니다.

DELETING

속도 제한이 제거되고 있습니다. 삭제가 완료되면 적용이 중지됩니다.

한도

Resource 한도

게이트웨이당 속도 제한

50

속도 제한당 항목 수

1,000

속도 제한당 차원 키

10

설명 최대 길이

512자

입력 차원 값

차원 키 수와 일치해야 합니다.

속도 값 범위

0~10,000,000(0은 일치하는 모든 트래픽을 차단함)

전파 시간

≤ 30초

중요

속도 제한은 기본적으로 페일 오픈 동작을 사용합니다. 속도 제한 서비스를 사용할 수 없거나 차원을 확인할 수 없는 경우 게이트웨이는 요청을 계속 진행하도록 허용합니다. 그에 따라 보안 태세를 설계하고 보안 경계로서 속도 제한에만 의존하지 마십시오.

일반적인 API 오류

컨트롤 플레인 API를 통해 속도 제한을 관리할 때 다음 오류가 반환될 수 있습니다.

HTTP 상태 오류 설명

400

ValidationException

잘못된 요청 파라미터(예: 지원되지 않는 지표/기간 조합, 잘못된 차원 값).

404

ResourceNotFoundException

지정된 게이트웨이 또는 속도 제한이 존재하지 않습니다.

409

ConflictException

동일한 차원 키의 속도 제한이 이미 존재하거나 게이트웨이가 수정을 허용하지 않는 상태입니다.