View a markdown version of this page

Beobachtbarkeit der generativen KI - Amazon CloudWatch

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Beobachtbarkeit der generativen KI

Mit Amazon CloudWatch können Sie generative KI-Workloads, einschließlich Amazon AgentCore Bedrock-Agenten, beobachten und Einblicke in die Leistung, den Zustand und die Genauigkeit der KI gewinnen. CloudWatch bietet vorkonfigurierte Ansichten zu Latenz, Nutzung und Fehlern Ihrer KI-Workloads, sodass Sie Probleme in Komponenten wie Modellen und Agenten schneller erkennen können. End-to-end Prompt Tracing hilft Ihnen, Probleme in Komponenten wie Wissensdatenbanken, Tools und Modellen schnell zu identifizieren. CloudWatchDie KI-Überwachungsfunktionen sind mit gängigen Frameworks für die generative KI-Orchestrierung wie AWS Strands kompatibel und LangGraph bieten Flexibilität bei der Wahl des Frameworks. LangChain

CloudWatch Die generative KI-Beobachtbarkeit ermöglicht Ihnen:

  • Beurteilen Sie die Qualität und Genauigkeit von KI-Anwendungen im großen Maßstab durch automatisiertes Monitoring und reduzieren Sie die Anforderungen an manuelle Überprüfungen, indem Sie Modellergebnisse, Kennzahlen zur Antwortqualität und Endbenutzerinteraktionen erfassen

  • Modellaufrufe, Agenten (verwaltet, selbst gehostet und von Drittanbietern), Wissensdatenbanken, den Integritätsschutz und Tools überwachen

  • Gehen Sie vom Experimentieren mit Agenten zur Produktion innovativer generativer KI-Anwendungen über und sorgen Sie gleichzeitig für überragende Qualität, Leistung und Zuverlässigkeit. Weitere Informationen finden Sie unter Was ist Amazon AgentCore Bedrock?

  • Schnelles Ermitteln von Fehlerquellen mithilfe der durchgängigen Nachverfolgung von Prompts, kuratierten Metriken und Protokollen

  • Beheben Sie Probleme in Ihrer gesamten generativen KI-Anwendung und der zugrunde liegenden Infrastruktur und nutzen Sie dabei vorhandene CloudWatch Observability-Tools wie Anwendungssignale, Alarme, Dashboards , den Schutz vertraulicher Daten und Logs Insights https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/AnalyzingLogData.html

  • Greifen Sie auf Prompt-Traces zu, während Sie Amazon Bedrock verwenden, und senden Sie mithilfe des ADOT SDK strukturierte Traces von Modellen von Drittanbietern an CloudWatch . Informationen zum Hinzufügen von Observability zu Ihrem Amazon AgentCore Bedrock-Agenten oder -Tool finden Sie unter Amazon Bedrock AgentCore

CloudWatch Generative KI-Observability bietet zwei vorgefertigte Funktionen:

Anmerkung

Sie können das Model Invocation-Dashboard verwenden, indem Sie beliebige Modelle für Inferenzen in Amazon Bedrock verwenden.

  • Model Invocations — Detailliertes Metrik-Dashboard zur Modellnutzung und Token-Nutzung sowie eine kuratierte Tabelle mit Aufrufprotokollen, in der detaillierte Eingabe- und Ausgabeinhalte von Modellinferenzen angezeigt werden

  • Amazon AgentCore Bedrock-Agenten — Leistungs- und Entscheidungsmetriken für grundlegende Funktionen von Amazon Bedrock AgentCore wie Agenten, Speicher, Tools, Gateways und Identität Built-in

Zu den wichtigsten in diesen Dashboards verfügbaren Metriken zählen:

  • Gesamtzahl und durchschnittliche Aufrufe

  • Token-Nutzung (gesamt, Durchschnitt pro Abfrage, Eingabe, Ausgabe)

  • Latenz (durchschnittlich, P90, P99)

  • Fehlerraten und Ereignisse, die zur Drosselung führen

  • Kostenzuweisung nach Anwendung, Benutzerrolle oder spezifischem Benutzer

Themen