Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Überwachen Sie die Inferenz zwischen Grundmauern und Mänteln mithilfe von Metriken CloudWatch
Der Amazon OpenAI-compatible Bedrock-Endpunkt (bedrock-mantle.) veröffentlicht kundenorientierte Kennzahlen CloudWatch unter dem region.api.awsAWS/BedrockMantle Namespace für Amazon. Verwenden Sie diese Metriken, um das Inferenzvolumen, den Token-Verbrauch und die Fehlerquoten in Ihren AWS-Konto Projekten und Modellen zu überwachen.
Wenn Ihre Anwendung Inferenz bedrock-runtime. mithilfe von Converse,, oder InvokeModelWithResponseStreamaufruft ConverseStreamInvokeModel, finden Sie stattdessen weitere Informationen unter. Amazon-Bedrock-Laufzeitmetrik region.amazonaws.com.rproxy.govskope.cabedrock-mantleDie Metriken beziehen sich nur auf Inferenzen, die über die Responses API, Chat Completions API und Anthropic Messages API auf dem Endpunkt generiert wurden. bedrock-mantle
bedrock-mantleveröffentlicht Metriken auf vier Granularitätsebenen. Jede Ebene verwendet eine andere Kombination von CloudWatch Dimensionen, wie unter beschriebenDimensionen. Alle Metriken beziehen sich auf Ihre. AWS-Konto
Inferenzmetriken
| Metrikname | Einheit | Description |
|---|---|---|
Inferences |
Anzahl | Gesamtzahl der abgeschlossenen Inferenzanfragen in den APIs „Antworten“, „Chat-Abschlüsse“ und „Nachrichten“. Veröffentlicht auf Konto-, Projekt-, Modell- und Projekt+Modellebene. |
InferenceClientErrors |
Anzahl | Anzahl der Inferenzanfragen, bei denen ein clientseitiger Fehler (4xx) aufgetreten ist. Veröffentlicht auf Account-, Projekt-, Model- und Project+Model-Ebene. |
Token-Metriken
| Metrikname | Einheit | Description |
|---|---|---|
TotalInputTokens |
Anzahl | Aggregiert abrechnungsfähige Eingabe-Token, die innerhalb des Veröffentlichungsintervalls verarbeitet wurden. Veröffentlicht auf Konto-, Projekt- und Modellebene. Wird für Summen und Ratenberechnungen verwendet. |
TotalOutputTokens |
Anzahl | Aggregiert abrechnungsfähige Ausgabetokens, die innerhalb des Veröffentlichungsintervalls generiert wurden. Veröffentlicht auf Konto-, Projekt- und Modellebene. |
InputTokens |
Anzahl | Per-inference abrechnungsfähige Eingabe-Token. Jede abgeschlossene Inferenz gibt ein Datum aus. Wird nur auf der Ebene Projekt und Modell veröffentlicht. Verwenden Sie diese Option, wenn Sie Perzentilstatistiken (p50/p90/p99) zur Tokenanzahl pro Anfrage benötigen. |
OutputTokens |
Anzahl | Per-inference abrechnungsfähige Ausgabetokens. Jede abgeschlossene Inferenz gibt ein Datum aus. Wird nur auf der Ebene Projekt und Modell veröffentlicht. |
Dimensionen
| Name der Dimension | Werte | Gilt für |
|---|---|---|
Project |
Die Projekt-ID, die der Inferenzanforderung zugeordnet ist. | Projekt, Projekt+Modell |
Model |
Die Modell-ID (zum Beispiel). anthropic.claude-opus-4-7 |
Modell, Projekt+Modell |
Account-level Metriken sind auf Ihre Bedürfnisse zugeschnitten AWS-Konto und haben keine zusätzlichen Dimensionen. Jede Granularitätsebene wird unabhängig voneinander ausgegeben, sodass eine einzige Schlussfolgerung zu allen vier Ebenen beiträgt, wenn sowohl das Projekt als auch das Modell gelöst werden können.
Auswahl der richtigen Granularitätsstufe
-
Kontoebene — Gesamtnutzung, Fehlerrate und aggregiertes Token-Volumen. Geeignet für übergeordnete Dashboards und kontoweite Alarme. Nicht für die Kostenanalyse geeignet, da die Preise je nach Modell variieren.
-
Projektebene — Rollups pro Projekt für Chargeback und Dashboards auf Teamebene.
-
Modellebene — Nutzung und Fehlerquoten pro Modell, geeignet für die Migration von Dashboards, die auf der Grundlage der vorhandenen Dimension erstellt wurden.
bedrock-runtimeModelId -
Projektebene und Modellebene — primäre Ebene für die Kostenanalyse sowie die Perzentillatenz und Tokenanalyse. Verwenden Sie diese Option, wenn Sie sowohl die Projektzuweisung als auch die Modellzuweisung für dasselbe Datum benötigen.
Unterschiede zu Basis-Runtime-Metriken
-
Separater Namespace.
bedrock-mantleMetriken werden veröffentlicht in.AWS/BedrockMantleBestehende Dashboards und Alarme, auf deren Grundlage gebaut wurde,AWS/Bedrocknehmen keinenbedrock-mantleTraffic auf. -
Benennung.
bedrock-mantleverwendetInferenceseher alsInvocations,TotalInputTokensundTotalOutputTokensstattInputTokenCountundOutputTokenCount, undInferenceClientErrorseher alsInvocationClientErrors. -
Dimension des Projekts.
bedrock-mantleMetriken haben eineProjectDimension, diebedrock-runtimeMetriken nicht haben, sodass die Kosten pro Projekt zugeordnet werden können. -
Cross-region Folgerung.
bedrock-mantleist nur in der Region. Die Metriken werden in der Region ausgegeben, die die Anfrage bearbeitet hat, und werden nicht regionsübergreifend aggregiert, so wie es beim regionenübergreifenden Inferenzverkehr (CRIS) der Fall ist.bedrock-runtime -
Metriken zur Latenz.
InvocationLatencyundTimeToFirstTokenEntsprechungen wurden noch nicht von veröffentlicht.bedrock-mantle
Metriken von Grund und Boden anzeigen
So zeigen Sie bedrock-mantle Metriken in der Konsole an: CloudWatch
-
Öffnen Sie die CloudWatch Konsole.
-
Wählen Sie im Navigationsbereich Metrics (Metriken) All metrics (Alle Metriken) aus.
-
Wählen Sie den Namespace
AWS/BedrockMantleaus. -
Wählen Sie eine Granularitätsebene aus, indem Sie den Dimensionssatz auswählen, der Ihrer Abfrage entspricht (z. B.
Project, Modelfür Projekt- und Modellaufschlüsselungen).
Sie müssen über die entsprechenden CloudWatch Berechtigungen verfügen, um Metriken lesen zu können. bedrock-mantle Weitere Informationen finden Sie unter Authentifizierung und Zugriffskontrolle für Amazon CloudWatch im CloudWatch Amazon-Benutzerhandbuch.
