기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

초당 출력 토큰(OTPS)을 사용하여 InvocationLatency 증가 진단

InvocationLatency 지표는 요청이 수신된 시점부터 마지막 출력 토큰이 생성된 시점까지 추론 요청의 벽시계 시간을 보고합니다. 이 지표 자체로는 지연 시간이 증가한 이유를 알 수 없습니다. 동일한 상승된 값은 두 가지 조건에서 발생할 수 있습니다.

초당 출력 토큰(OTPS)은 처리량 구성 요소를 격리하므로 출력 길이가 늘어날 때 거짓 긍정을 생성하지 않고 서비스 측 성능 저하를 경고할 수 있습니다.

InvocationLatency, TimeToFirstToken및 OTPS의 관련성

추론 요청은 모델 호스트에서 두 개의 컴퓨팅 바운드 단계를 통과합니다.

이러한 단계는 Amazon Bedrock 런타임 지표 간에 다음과 같은 관계를 생성합니다.

InvocationLatency (ms) = TimeToFirstToken (ms) + (OutputTokenCount / OTPS) * 1000

OTPS에 대한 해결은 게시된 CloudWatch 지표에서 계산할 수 있는 공식을 제공합니다.

OTPS = OutputTokenCount / (InvocationLatency - TimeToFirstToken) * 1000

시간 경과에 따른 안정적인 OTPS는 더 긴 프롬프트 또는 더 긴 응답으로 인해가 상승하더라도 모델InvocationLatency이 예상 처리량으로 생성되고 있음을 나타냅니다. OTPS의 하락은 모델 측 처리량 변경을 나타내며, 이는 일반적으로 경보하려는 신호입니다.

CloudWatch 지표 수학 표현식을 사용하여 OTPS 계산

게시된 Amazon Bedrock 런타임 지표를 지표 수학 표현식에 결합하여 CloudWatch 콘솔에서 OTPS를 그래프로 표시할 수 있습니다. 필요한 지표는 AWS/Bedrock 네임스페이스TimeToFirstToken의 InvocationLatencyOutputTokenCount, 및 입니다. 이러한 지표에 대한 자세한 설명은 Amazon Bedrock 런타임 지표 섹션을 참조하세요.

이제 그래프에 선택한 모델의 5분 기간당 p50 OTPS가 표시됩니다. 이 지표 수학 표현식을 경보의 기준으로 사용할 수 있습니다.

OTPS에서 CloudWatch 경보 생성

OTPS는 게시된 지표가 아닌 지표 수학 표현식이므로 지표 수학 경보를 생성하여 경보를 발생시킵니다. 처리량 기준이 설정되어 있는지 여부에 따라 두 가지 패턴이 유용합니다.

정적 임계값 경보

벤치마킹 또는 과거 트래픽과 같이 모델에 대해 설정된 기준 OTPS가 있는 경우 정적 임계값 경보를 사용합니다.

이상 탐지 경보

시간이 지남에 따라 워크로드 패턴이 다양하고 임계값이 자동으로 조정되도록 하려는 경우 이상 탐지 경보를 사용합니다. 이상 탐지에는 정확한 모델을 구축하기 위한 충분한 기록 데이터(최소 2주)가 필요합니다. 새 배포의 경우 정적 임계값으로 시작합니다.

AWS SDK for Python(Boto3)을 사용하여 프로그래밍 방식으로 경보 생성

다음 Python 예제에서는 Python용 AWS SDK(Boto3)를 사용하여 이전 섹션에 설명된 정적 임계값 경보를 생성합니다. MODEL_ID, OTPS_THRESHOLD및 AlarmActions를 환경에 적합한 값으로 바꿉니다.

import boto3

cw = boto3.client("cloudwatch", region_name="us-east-1")

MODEL_ID = "us.anthropic.claude-sonnet-4-5-20250929-v1:0"
ALARM_NAME = "Bedrock-OTPS-Low"
OTPS_THRESHOLD = 44  # tokens/s; set to ~80% of your expected baseline

cw.put_metric_alarm(
    AlarmName=ALARM_NAME,
    AlarmDescription="Fires when Bedrock OTPS drops below threshold, indicating model-side throughput degradation.",
    Metrics=[
        {
            "Id": "m1",
            "MetricStat": {
                "Metric": {
                    "Namespace": "AWS/Bedrock",
                    "MetricName": "InvocationLatency",
                    "Dimensions": [{"Name": "ModelId", "Value": MODEL_ID}],
                },
                "Period": 300,
                "Stat": "p50",
            },
            "ReturnData": False,
        },
        {
            "Id": "m2",
            "MetricStat": {
                "Metric": {
                    "Namespace": "AWS/Bedrock",
                    "MetricName": "OutputTokenCount",
                    "Dimensions": [{"Name": "ModelId", "Value": MODEL_ID}],
                },
                "Period": 300,
                "Stat": "p50",
            },
            "ReturnData": False,
        },
        {
            "Id": "m3",
            "MetricStat": {
                "Metric": {
                    "Namespace": "AWS/Bedrock",
                    "MetricName": "TimeToFirstToken",
                    "Dimensions": [{"Name": "ModelId", "Value": MODEL_ID}],
                },
                "Period": 300,
                "Stat": "p50",
            },
            "ReturnData": False,
        },
        {
            "Id": "otps",
            "Expression": "m2 / (m1 - m3) * 1000",
            "Label": "OTPS",
            "ReturnData": True,
        },
    ],
    ComparisonOperator="LessThanThreshold",
    Threshold=OTPS_THRESHOLD,
    EvaluationPeriods=5,
    DatapointsToAlarm=3,
    TreatMissingData="ignore",
    AlarmActions=[],  # add SNS ARN, for example "arn:aws:sns:us-east-1:123456789012:my-topic"
)

print(f"Alarm '{ALARM_NAME}' created.")