Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Diagnostica gli InvocationLatencyaumenti utilizzando token di output al secondo (OTPS)

La InvocationLatency metrica riporta l'ora dell'orologio da parete di una richiesta di inferenza, dal momento in cui viene ricevuta la richiesta a quando viene prodotto l'ultimo token di output. Di per sé, questa metrica non può dirti perché la latenza è aumentata. Lo stesso valore elevato può derivare da due condizioni diverse:

I token di output al secondo (OTPS) isolano il componente di throughput, in modo da poter avvisare in caso di deterioramento sul lato del servizio senza produrre falsi positivi all'aumentare della lunghezza dell'output.

Come InvocationLatencye OTPS TimeToFirstTokensi relazionano

Una richiesta di inferenza passa attraverso due fasi legate al calcolo sull'host del modello:

Queste fasi producono la seguente relazione tra le metriche di runtime di Amazon Bedrock:

InvocationLatency (ms) = TimeToFirstToken (ms) + (OutputTokenCount / OTPS) * 1000

Solving for OTPS fornisce la formula che puoi calcolare in base alle metriche pubblicate: CloudWatch

OTPS = OutputTokenCount / (InvocationLatency - TimeToFirstToken) * 1000

Un OTPS stabile nel tempo indica che il modello sta generando al throughput previsto, anche se InvocationLatency è elevato a causa di richieste o risposte più lunghe. Un calo dell'OTPS indica una modifica del throughput a livello di modello, che è il segnale su cui in genere si desidera attivare l'allarme.

Calcola OTPS utilizzando un'espressione matematica metrica CloudWatch

Puoi rappresentare graficamente OTPS nella CloudWatch console combinando i parametri di runtime di Amazon Bedrock pubblicati in un'espressione matematica metrica. Le metriche necessarie sonoInvocationLatency, e OutputTokenCountTimeToFirstToken, tutte nel namespace. AWS/Bedrock Per una descrizione di questi parametri, consulta Metriche di runtime Amazon Bedrock.

Il grafico ora mostra p50 OTPS per finestra di 5 minuti per il modello selezionato. È possibile utilizzare questa espressione matematica metrica come base per un allarme.

Crea un CloudWatch allarme su OTPS

Poiché OTPS è un'espressione matematica metrica anziché una metrica pubblicata, puoi allarmarla creando un allarme matematico metrico. Sono utili due modelli, a seconda che si disponga di una linea di base di throughput stabilita.

allarme di soglia statica

Utilizza un allarme di soglia statica quando disponi di una OTPS di base stabilita per il tuo modello, ad esempio derivante dal benchmarking o dallo storico del traffico.

Allarme di rilevamento delle anomalie

Utilizza un allarme di rilevamento delle anomalie quando i modelli di carico di lavoro variano nel tempo e desideri che la soglia si adatti automaticamente. Il rilevamento delle anomalie richiede dati storici sufficienti (almeno due settimane) per creare un modello accurato. Per le nuove implementazioni, inizia con una soglia statica.

Crea l'allarme a livello di codice con AWS SDK per Python (Boto3)

Il seguente esempio di Python utilizza l' AWS SDK for Python (Boto3) per creare l'allarme di soglia statica descritto nella sezione precedente. Sostituisci e AlarmActions con MODEL_ID valori OTPS_THRESHOLD appropriati per il tuo ambiente.

import boto3

cw = boto3.client("cloudwatch", region_name="us-east-1")

MODEL_ID = "us.anthropic.claude-sonnet-4-5-20250929-v1:0"
ALARM_NAME = "Bedrock-OTPS-Low"
OTPS_THRESHOLD = 44  # tokens/s; set to ~80% of your expected baseline

cw.put_metric_alarm(
    AlarmName=ALARM_NAME,
    AlarmDescription="Fires when Bedrock OTPS drops below threshold, indicating model-side throughput degradation.",
    Metrics=[
        {
            "Id": "m1",
            "MetricStat": {
                "Metric": {
                    "Namespace": "AWS/Bedrock",
                    "MetricName": "InvocationLatency",
                    "Dimensions": [{"Name": "ModelId", "Value": MODEL_ID}],
                },
                "Period": 300,
                "Stat": "p50",
            },
            "ReturnData": False,
        },
        {
            "Id": "m2",
            "MetricStat": {
                "Metric": {
                    "Namespace": "AWS/Bedrock",
                    "MetricName": "OutputTokenCount",
                    "Dimensions": [{"Name": "ModelId", "Value": MODEL_ID}],
                },
                "Period": 300,
                "Stat": "p50",
            },
            "ReturnData": False,
        },
        {
            "Id": "m3",
            "MetricStat": {
                "Metric": {
                    "Namespace": "AWS/Bedrock",
                    "MetricName": "TimeToFirstToken",
                    "Dimensions": [{"Name": "ModelId", "Value": MODEL_ID}],
                },
                "Period": 300,
                "Stat": "p50",
            },
            "ReturnData": False,
        },
        {
            "Id": "otps",
            "Expression": "m2 / (m1 - m3) * 1000",
            "Label": "OTPS",
            "ReturnData": True,
        },
    ],
    ComparisonOperator="LessThanThreshold",
    Threshold=OTPS_THRESHOLD,
    EvaluationPeriods=5,
    DatapointsToAlarm=3,
    TreatMissingData="ignore",
    AlarmActions=[],  # add SNS ARN, for example "arn:aws:sns:us-east-1:123456789012:my-topic"
)

print(f"Alarm '{ALARM_NAME}' created.")