翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

1 秒あたりの出力トークン (OTPS) を使用してInvocationLatency増加を診断する

InvocationLatency メトリクスは、リクエストが受信されてから最後の出力トークンが生成されるまでの推論リクエストのウォールクロック時間を報告します。それ自体では、このメトリクスはレイテンシーが増加した理由をわかりません。同じ昇格値は、次の 2 つの異なる条件から発生する可能性があります。

1 秒あたりの出力トークン (OTPS) はスループットコンポーネントを分離するため、出力長が長くなると誤検出を発生させることなく、サービス側の劣化をアラームできます。

InvocationLatency、TimeToFirstToken、および OTPS の関係

推論リクエストは、モデルホストの 2 つのコンピューティングバウンドステージを通過します。

これらのステージは、Amazon Bedrock ランタイムメトリクス間に次の関係を生成します。

InvocationLatency (ms) = TimeToFirstToken (ms) + (OutputTokenCount / OTPS) * 1000

OTPS を解決すると、公開された CloudWatch メトリクスから計算できる式が得られます。

OTPS = OutputTokenCount / (InvocationLatency - TimeToFirstToken) * 1000

時間の経過とともに安定した OTPS は、プロンプトが長くなったりレスポンスが長くなったりした場合でも、モデルInvocationLatencyが予想スループットで生成していることを示します。OTPS の低下は、モデル側のスループットの変化を示します。これは、通常アラームを実行するシグナルです。

CloudWatch メトリクス数式を使用して OTPS を計算する

公開された Amazon Bedrock ランタイムメトリクスをメトリクス数式と組み合わせることで、CloudWatch コンソールで OTPS をグラフ化できます。必要なメトリクスは InvocationLatency、OutputTokenCount、および でTimeToFirstToken、すべて AWS/Bedrock名前空間にあります。これらのメトリクスの詳細については、「Amazon Bedrock ランタイムメトリクス」を参照してください。

グラフに、選択したモデルの 5 分ウィンドウあたりの p50 OTPS が表示されるようになりました。このメトリクス数式をアラームの基礎として使用できます。

OTPS で CloudWatch アラームを作成する

OTPS は公開されたメトリクスではなくメトリクス数式であるため、メトリクス数学アラームを作成してアラームを発します。確立されたスループットベースラインがあるかどうかに応じて、2 つのパターンが役立ちます。

静的しきい値アラーム

ベンチマークや履歴トラフィックなど、モデルのベースライン OTPS が確立されている場合は、静的しきい値アラームを使用します。

異常検出アラーム

ワークロードパターンが時間の経過とともに変化し、しきい値を自動的に調整する場合は、異常検出アラームを使用します。異常検出には、正確なモデルを構築するための十分な履歴データ (少なくとも 2 週間) が必要です。新しいデプロイの場合は、静的しきい値から開始します。

AWS SDK for Python (Boto3) を使用してプログラムでアラームを作成する

次の Python の例では、 AWS SDK for Python (Boto3) を使用して、前のセクションで説明した静的しきい値アラームを作成します。MODEL_ID、OTPS_THRESHOLD、 を環境に適した値AlarmActionsに置き換えます。

import boto3

cw = boto3.client("cloudwatch", region_name="us-east-1")

MODEL_ID = "us.anthropic.claude-sonnet-4-5-20250929-v1:0"
ALARM_NAME = "Bedrock-OTPS-Low"
OTPS_THRESHOLD = 44  # tokens/s; set to ~80% of your expected baseline

cw.put_metric_alarm(
    AlarmName=ALARM_NAME,
    AlarmDescription="Fires when Bedrock OTPS drops below threshold, indicating model-side throughput degradation.",
    Metrics=[
        {
            "Id": "m1",
            "MetricStat": {
                "Metric": {
                    "Namespace": "AWS/Bedrock",
                    "MetricName": "InvocationLatency",
                    "Dimensions": [{"Name": "ModelId", "Value": MODEL_ID}],
                },
                "Period": 300,
                "Stat": "p50",
            },
            "ReturnData": False,
        },
        {
            "Id": "m2",
            "MetricStat": {
                "Metric": {
                    "Namespace": "AWS/Bedrock",
                    "MetricName": "OutputTokenCount",
                    "Dimensions": [{"Name": "ModelId", "Value": MODEL_ID}],
                },
                "Period": 300,
                "Stat": "p50",
            },
            "ReturnData": False,
        },
        {
            "Id": "m3",
            "MetricStat": {
                "Metric": {
                    "Namespace": "AWS/Bedrock",
                    "MetricName": "TimeToFirstToken",
                    "Dimensions": [{"Name": "ModelId", "Value": MODEL_ID}],
                },
                "Period": 300,
                "Stat": "p50",
            },
            "ReturnData": False,
        },
        {
            "Id": "otps",
            "Expression": "m2 / (m1 - m3) * 1000",
            "Label": "OTPS",
            "ReturnData": True,
        },
    ],
    ComparisonOperator="LessThanThreshold",
    Threshold=OTPS_THRESHOLD,
    EvaluationPeriods=5,
    DatapointsToAlarm=3,
    TreatMissingData="ignore",
    AlarmActions=[],  # add SNS ARN, for example "arn:aws:sns:us-east-1:123456789012:my-topic"
)

print(f"Alarm '{ALARM_NAME}' created.")