Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Mendiagnosis InvocationLatencypeningkatan menggunakan token keluaran per detik (OTPS)

InvocationLatencyMetrik melaporkan waktu jam dinding dari permintaan inferensi, dari saat permintaan diterima hingga saat token keluaran terakhir diproduksi. Dengan sendirinya, metrik ini tidak dapat memberi tahu Anda mengapa latensi meningkat. Nilai tinggi yang sama dapat dihasilkan dari dua kondisi yang berbeda:

Token keluaran per detik (OTPS) mengisolasi komponen throughput, sehingga Anda dapat alarm pada degradasi sisi layanan tanpa menghasilkan positif palsu saat panjang output bertambah.

Bagaimana InvocationLatency, TimeToFirstToken, dan OTPS berhubungan

Permintaan inferensi melewati dua tahap terikat komputasi pada host model:

Tahapan ini menghasilkan hubungan berikut antara metrik runtime Amazon Bedrock:

InvocationLatency (ms) = TimeToFirstToken (ms) + (OutputTokenCount / OTPS) * 1000

Memecahkan OTPS memberikan rumus yang dapat Anda hitung dari metrik yang dipublikasikan CloudWatch :

OTPS = OutputTokenCount / (InvocationLatency - TimeToFirstToken) * 1000

OTPS yang stabil dari waktu ke waktu menunjukkan bahwa model menghasilkan pada throughput yang diharapkan, bahkan jika InvocationLatency meningkat karena permintaan yang lebih lama atau respons yang lebih lama. Penurunan OTPS menunjukkan perubahan throughput sisi model, yang merupakan sinyal yang biasanya ingin Anda aktifkan.

Hitung OTPS menggunakan ekspresi matematika CloudWatch metrik

Anda dapat membuat grafik OTPS di CloudWatch konsol dengan menggabungkan metrik runtime Amazon Bedrock yang dipublikasikan dalam ekspresi matematika metrik. Metrik yang dibutuhkan adalahInvocationLatency,, dan OutputTokenCountTimeToFirstToken, semuanya ada di AWS/Bedrock namespace. Untuk deskripsi metrik ini, lihat Metrik runtime Amazon Bedrock.

Grafik sekarang menunjukkan p50 OTPS per jendela 5 menit untuk model yang dipilih. Anda dapat menggunakan ekspresi matematika metrik ini sebagai dasar untuk alarm.

Buat CloudWatch alarm di OTPS

Karena OTPS adalah ekspresi matematika metrik daripada metrik yang diterbitkan, Anda mengkhawatirkannya dengan membuat alarm matematika metrik. Dua pola berguna, tergantung pada apakah Anda memiliki baseline throughput yang mapan.

Alarm ambang statis

Gunakan alarm ambang statis saat Anda memiliki OTPS dasar yang ditetapkan untuk model Anda, misalnya dari pembandingan atau lalu lintas historis.

Alarm deteksi anomali

Gunakan alarm deteksi anomali saat pola beban kerja bervariasi dari waktu ke waktu dan Anda ingin ambang batas beradaptasi secara otomatis. Deteksi anomali membutuhkan data historis yang cukup (setidaknya dua minggu) untuk membangun model yang akurat. Untuk penerapan baru, mulailah dengan ambang batas statis.

Buat alarm secara terprogram dengan AWS SDK untuk Python (Boto3)

Contoh Python berikut menggunakan AWS SDK for Python (Boto3) untuk membuat alarm ambang statis yang dijelaskan di bagian sebelumnya. GantiMODEL_ID,OTPS_THRESHOLD, dan AlarmActions dengan nilai-nilai yang sesuai untuk lingkungan Anda.

import boto3

cw = boto3.client("cloudwatch", region_name="us-east-1")

MODEL_ID = "us.anthropic.claude-sonnet-4-5-20250929-v1:0"
ALARM_NAME = "Bedrock-OTPS-Low"
OTPS_THRESHOLD = 44  # tokens/s; set to ~80% of your expected baseline

cw.put_metric_alarm(
    AlarmName=ALARM_NAME,
    AlarmDescription="Fires when Bedrock OTPS drops below threshold, indicating model-side throughput degradation.",
    Metrics=[
        {
            "Id": "m1",
            "MetricStat": {
                "Metric": {
                    "Namespace": "AWS/Bedrock",
                    "MetricName": "InvocationLatency",
                    "Dimensions": [{"Name": "ModelId", "Value": MODEL_ID}],
                },
                "Period": 300,
                "Stat": "p50",
            },
            "ReturnData": False,
        },
        {
            "Id": "m2",
            "MetricStat": {
                "Metric": {
                    "Namespace": "AWS/Bedrock",
                    "MetricName": "OutputTokenCount",
                    "Dimensions": [{"Name": "ModelId", "Value": MODEL_ID}],
                },
                "Period": 300,
                "Stat": "p50",
            },
            "ReturnData": False,
        },
        {
            "Id": "m3",
            "MetricStat": {
                "Metric": {
                    "Namespace": "AWS/Bedrock",
                    "MetricName": "TimeToFirstToken",
                    "Dimensions": [{"Name": "ModelId", "Value": MODEL_ID}],
                },
                "Period": 300,
                "Stat": "p50",
            },
            "ReturnData": False,
        },
        {
            "Id": "otps",
            "Expression": "m2 / (m1 - m3) * 1000",
            "Label": "OTPS",
            "ReturnData": True,
        },
    ],
    ComparisonOperator="LessThanThreshold",
    Threshold=OTPS_THRESHOLD,
    EvaluationPeriods=5,
    DatapointsToAlarm=3,
    TreatMissingData="ignore",
    AlarmActions=[],  # add SNS ARN, for example "arn:aws:sns:us-east-1:123456789012:my-topic"
)

print(f"Alarm '{ALARM_NAME}' created.")