Überwachen Sie Bedrock-Runtime-Inferenzen mithilfe von Metriken CloudWatch

InvocationLatency

Die Zeit zwischen dem Senden einer Anfrage und dem Empfang des letzten Tokens.

Informationen zum Unterschied zwischen Latenzerhöhungen, die durch dienstseitige Durchsatzänderungen verursacht werden, und Erhöhungen, die durch längere Modellantworten verursacht werden, finden Sie unterDiagnostizieren Sie InvocationLatencyZunahmen mithilfe von Output-Token pro Sekunde (OTPS).

InvocationClientErrors

Anzahl der Aufrufe, die zu clientseitigen Fehlern führen

InvocationServerErrors

Anzahl der Aufrufe, die zu serverseitigen Fehlern führen. AWS

InvocationThrottles

Anzahl der Aufrufe, die das System gedrosselt hat Gedrosselte Anforderungen und andere Aufruffehler zählen nicht als Aufrufe oder Fehler. Die Anzahl der Drosselungen, die Sie sehen, hängt von den Wiederholungseinstellungen im SDK ab. Weitere Informationen finden Sie unter Verhalten bei Wiederholungen im Referenzhandbuch für AWS SDKs und Tools.

InputTokenCount

Anzahl von Token in der Eingabe

OutputTokenCount

Anzahl von Token in der Ausgabe

OutputImageCount

Anzahl der Bilder in der Ausgabe (gilt nur für Modelle zur Bildgenerierung).

TimeToFirstToken

Zeit zwischen dem Senden einer Anfrage und dem Empfang des ersten Tokens für die ConverseStream und InvokeModelWithResponseStream Streaming-API-Operationen.

EstimatedTPMQuotaUsage

Geschätzter Kontingentverbrauch von Tokens per Minute (TPM) für die Converse-, ConverseStream InvokeModel ,- und InvokeModelWithResponseStream API-Operationen. Diese Kennzahl ist ein Näherungswert und spiegelt nicht den auf Reservierungen beruhenden Token-Verbrauch wider, der für Drosselungsentscheidungen ausschlaggebend ist. Die Drosselung basiert auf der Vorausreservierung von Eingabe-Tokens plus max_tokens (sieheSo werden Token in Amazon Bedrock gezählt), was von dieser Schätzung abweichen kann. Verwenden Sie diese Metrik nicht als alleinigen Indikator für die Kontingentnutzung oder Kapazitätsplanung.

CacheReadInputTokenCount

Anzahl der Eingabe-Token, die aus dem Prompt-Cache gelesen wurden. Diese Token werden zu einem reduzierten Tarif berechnet und zählen nicht zu Ihrem TPM-Kontingent.

CacheWriteInputTokenCount

Anzahl der Eingabe-Token, die in den Prompt-Cache geschrieben wurden. Diese Token werden auf Ihr TPM-Kontingent angerechnet.