Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Diagnostiquez les InvocationLatencyaugmentations à l'aide de jetons de sortie par seconde (OTPS)

La InvocationLatency métrique indique l'heure d'horloge murale d'une demande d'inférence, entre le moment où la demande est reçue et le moment où le dernier jeton de sortie est produit. À elle seule, cette métrique ne permet pas de savoir pourquoi la latence a augmenté. La même valeur élevée peut résulter de deux conditions différentes :

Les jetons de sortie par seconde (OTPS) isolent le composant de débit, ce qui vous permet de déclencher une alarme en cas de dégradation côté service sans produire de faux positifs lorsque la longueur de sortie augmente.

Comment InvocationLatencyet TimeToFirstTokenOTPS sont-ils liés

Une demande d'inférence passe par deux étapes liées au calcul sur l'hôte du modèle :

Ces étapes produisent la relation suivante entre les métriques d'exécution d'Amazon Bedrock :

InvocationLatency (ms) = TimeToFirstToken (ms) + (OutputTokenCount / OTPS) * 1000

La résolution pour OTPS donne la formule que vous pouvez calculer à partir des CloudWatch métriques publiées :

OTPS = OutputTokenCount / (InvocationLatency - TimeToFirstToken) * 1000

Un OTPS stable au fil du temps indique que le modèle génère au débit attendu, même s'il InvocationLatency est élevé en raison de demandes ou de réponses plus longues. Une baisse de l'OTPS indique une modification du débit côté modèle, signal sur lequel vous souhaitez généralement déclencher une alarme.

Calculer l'OTPS à l'aide d'une CloudWatch expression mathématique métrique

Vous pouvez représenter graphiquement l'OTPS dans la CloudWatch console en combinant les métriques d'exécution Amazon Bedrock publiées dans une expression mathématique métrique. Les métriques nécessaires sontInvocationLatency, et OutputTokenCountTimeToFirstToken, toutes dans l'espace de AWS/Bedrock noms. Pour une description de ces métriques, consultez Métriques d’exécution Amazon Bedrock.

Le graphique indique désormais p50 OTPS par fenêtre de 5 minutes pour le modèle sélectionné. Vous pouvez utiliser cette expression mathématique métrique comme base pour une alarme.

Création d'une CloudWatch alarme sur OTPS

OTPS étant une expression mathématique métrique plutôt qu'une métrique publiée, vous pouvez créer une alarme mathématique métrique à son sujet. Deux modèles sont utiles, selon que vous disposez ou non d'une référence de débit établie.

Alarme de seuil statique

Utilisez une alarme de seuil statique lorsque vous disposez d'un OTPS de référence établi pour votre modèle, par exemple à partir d'une analyse comparative ou d'un historique du trafic.

Alarme de détection d'anomalie

Utilisez une alarme de détection d'anomalie lorsque les modèles de charge de travail varient dans le temps et que vous souhaitez que le seuil s'adapte automatiquement. La détection des anomalies nécessite des données historiques suffisantes (au moins deux semaines) pour créer un modèle précis. Pour les nouveaux déploiements, commencez par un seuil statique.

Créez l'alarme par programmation à l'aide du AWS Kit SDK for Python (Boto3)

L'exemple Python suivant utilise le AWS SDK pour Python (Boto3) afin de créer l'alarme de seuil statique décrite dans la section précédente. Remplacez MODEL_IDOTPS_THRESHOLD, et AlarmActions par des valeurs adaptées à votre environnement.

import boto3

cw = boto3.client("cloudwatch", region_name="us-east-1")

MODEL_ID = "us.anthropic.claude-sonnet-4-5-20250929-v1:0"
ALARM_NAME = "Bedrock-OTPS-Low"
OTPS_THRESHOLD = 44  # tokens/s; set to ~80% of your expected baseline

cw.put_metric_alarm(
    AlarmName=ALARM_NAME,
    AlarmDescription="Fires when Bedrock OTPS drops below threshold, indicating model-side throughput degradation.",
    Metrics=[
        {
            "Id": "m1",
            "MetricStat": {
                "Metric": {
                    "Namespace": "AWS/Bedrock",
                    "MetricName": "InvocationLatency",
                    "Dimensions": [{"Name": "ModelId", "Value": MODEL_ID}],
                },
                "Period": 300,
                "Stat": "p50",
            },
            "ReturnData": False,
        },
        {
            "Id": "m2",
            "MetricStat": {
                "Metric": {
                    "Namespace": "AWS/Bedrock",
                    "MetricName": "OutputTokenCount",
                    "Dimensions": [{"Name": "ModelId", "Value": MODEL_ID}],
                },
                "Period": 300,
                "Stat": "p50",
            },
            "ReturnData": False,
        },
        {
            "Id": "m3",
            "MetricStat": {
                "Metric": {
                    "Namespace": "AWS/Bedrock",
                    "MetricName": "TimeToFirstToken",
                    "Dimensions": [{"Name": "ModelId", "Value": MODEL_ID}],
                },
                "Period": 300,
                "Stat": "p50",
            },
            "ReturnData": False,
        },
        {
            "Id": "otps",
            "Expression": "m2 / (m1 - m3) * 1000",
            "Label": "OTPS",
            "ReturnData": True,
        },
    ],
    ComparisonOperator="LessThanThreshold",
    Threshold=OTPS_THRESHOLD,
    EvaluationPeriods=5,
    DatapointsToAlarm=3,
    TreatMissingData="ignore",
    AlarmActions=[],  # add SNS ARN, for example "arn:aws:sns:us-east-1:123456789012:my-topic"
)

print(f"Alarm '{ALARM_NAME}' created.")