Generative KI-Beobachtbarkeit - Amazon CloudWatch

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Generative KI-Beobachtbarkeit

Mit Amazon CloudWatch können Sie generative KI-Workloads, einschließlich Amazon AgentCore Bedrock-Agenten, beobachten und Einblicke in die Leistung, den Zustand und die Genauigkeit der KI gewinnen. CloudWatch bietet vorkonfigurierte Ansichten zu Latenz, Nutzung und Fehlern Ihrer KI-Workloads, sodass Sie Probleme in Komponenten wie Modellen und Agenten schneller erkennen können. End-to-endPrompt Tracing hilft Ihnen dabei, Probleme in Komponenten wie Wissensdatenbanken, Tools und Modellen schnell zu identifizieren. CloudWatchDie KI-Überwachungsfunktionen sind mit gängigen Frameworks zur generativen KI-Orchestrierung wie AWS Strands und kompatibel und LangGraph bieten Flexibilität bei der Wahl des Frameworks. LangChain

CloudWatch Die generative KI-Observability ermöglicht Ihnen:

CloudWatch generative KI-Observability bietet zwei vorgefertigte Dashboards:

Anmerkung

Sie müssen Amazon Bedrock aktivieren, um das Model Invocation-Dashboard anzeigen zu können.

  • Model Invocations — Detaillierte Kennzahlen zur Modellnutzung, zum Token-Verbrauch und zu den Kosten

  • Amazon AgentCore Bedrock-Agenten — Leistungs- und Entscheidungsmetriken für die Amazon Bedrock-Agenten

Zu den wichtigsten Kennzahlen, die in diesen Dashboards verfügbar sind, gehören:

  • Gesamtzahl und Durchschnitt der Aufrufe

  • Token-Nutzung (insgesamt, Durchschnitt pro Abfrage, Eingabe, Ausgabe)

  • Latenz (Durchschnitt, P90, P99)

  • Fehlerraten und Drosselungsereignisse

  • Kostenzuweisung nach Anwendung, Benutzerrolle oder spezifischem Benutzer