Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Beobachtbarkeit der generativen KI
Mit Amazon CloudWatch können Sie generative KI-Workloads, einschließlich Amazon AgentCore Bedrock-Agenten
CloudWatch Die generative KI-Observability ermöglicht Ihnen:
-
Beurteilen Sie die Qualität und Genauigkeit von KI-Anwendungen in großem Maßstab durch automatisiertes Monitoring und reduzieren Sie den Bedarf an manueller Überprüfung, indem Sie Modellergebnisse, Kennzahlen zur Antwortqualität und Interaktionen mit Endbenutzern erfassen
-
Modellaufrufe, Agenten (verwaltet, selbst gehostet und von Drittanbietern), Wissensdatenbanken, den Integritätsschutz und Tools überwachen
-
Fortschritte von der Erprobung mit Agenten bis hin zur Produktion innovativer GenAI-Anwendungen machen und zugleich für überragende Qualität, Leistung und Zuverlässigkeit sorgen. Weitere Informationen finden Sie unter Was ist Amazon Bedrock AgentCore?
-
Identifizieren Sie Fehlerquellen schnell mithilfe von end-to-end Prompt-Tracing, kuratierten Metriken und Protokollen
-
Beheben Sie Probleme in Ihrer gesamten GenAI-Anwendung und der zugrunde liegenden Infrastruktur und nutzen Sie dabei vorhandene CloudWatch Beobachtungstools wie Anwendungssignale, Alarme, Dashboards, den Schutz sensibler Daten und Logs Insights
-
Greifen Sie bei der Verwendung von Amazon Bedrock auf Prompt-Traces zu und senden Sie strukturierte Traces von Modellen von Drittanbietern an das ADOT CloudWatch SDK. Informationen zum Hinzufügen von Observability zu Ihrem Amazon AgentCore Bedrock-Agenten oder -Tool finden Sie unter Amazon Bedrock AgentCore
CloudWatch generative KI-Observability bietet zwei vorgefertigte Funktionen:
Anmerkung
Sie können das Model Invocation-Dashboard verwenden, indem Sie beliebige Modelle für Inferenz in Amazon Bedrock verwenden.
-
Model Invocations — Detailliertes Metrik-Dashboard zur Modellnutzung und zum Token-Verbrauch sowie eine kuratierte Tabelle mit Aufruf-Logs, um detaillierte Eingabe- und Ausgabeinhalte von Modellinferenzen einzusehen
-
Amazon AgentCore Bedrock-Agenten — Leistungs- und Entscheidungsmetriken für Primitive von Amazon Bedrock AgentCore wie Agenten, Arbeitsspeicher, integrierte Tools, Gateways und Identität
Zu den wichtigsten in diesen Dashboards verfügbaren Metriken zählen:
-
Gesamtzahl und durchschnittliche Aufrufe
-
Token-Nutzung (gesamt, Durchschnitt pro Abfrage, Eingabe, Ausgabe)
-
Latenz (durchschnittlich, P90, P99)
-
Fehlerraten und Ereignisse, die zur Drosselung führen
-
Kostenzuweisung nach Anwendung, Benutzerrolle oder spezifischem Benutzer
