View a markdown version of this page

Beispiel: Verwenden Sie Anwendungssignale, um Fehler bei generativen KI-Anwendungen zu beheben, die mit Amazon Bedrock -Modelle von - Amazon CloudWatch
Fine-grained Metriken und SpurenOpenTelemetry Unterstützung von GenAI-Attributen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Beispiel: Verwenden Sie Anwendungssignale, um Fehler bei generativen KI-Anwendungen zu beheben, die mit Amazon Bedrock -Modelle von

Sie können Anwendungssignale verwenden, um Fehler in Ihren generativen KI-Anwendungen zu beheben, die mit Amazon Bedrock Modellen interagieren. Application Signals optimiert diesen Prozess durch die Bereitstellung sofort einsatzbereiter Telemetriedaten. Das ermöglicht tiefere Einblicke in die Interaktionen Ihrer Anwendung mit LLM-Modellen. Das ist unter anderem für folgende Anwendungsfälle hilfreich:

  • Probleme mit der Konfiguration von Modellen

  • Kosten der Modellnutzung

  • Modell-Latenz

  • Generierung von Modellantworten wurde beendet

Wenn Sie Application Signals with LLM/GenAI Observability aktivieren, erhalten Sie in Echtzeit Einblick in die Interaktionen Ihrer Anwendung mit den Amazon Bedrock-Diensten. Application Signals generiert und korreliert automatisch Leistungskennzahlen und Traces für Amazon Bedrock API-Aufrufe.

Application Signals unterstützt derzeit die folgenden LLM-Modelle in Amazon Bedrock.

  • AI21 Jamba

  • Amazon Titan

  • Anthropic Claude

  • Cohere Command

  • Meta Llama

  • Mistral AI

  • Nova

Fine-grained Metriken und Spuren

Für jeden Amazon Bedrock API-Aufruf generiert Application Signals detaillierte Leistungskennzahlen auf Ressourcenebene, darunter:

  • Modell-ID

  • Integritätsschutz-ID

  • Wissensdatenbank-ID

  • Bedrock-Agent-ID

Darüber hinaus bieten korrelierte Trace-Spans auf derselben Ebene einen umfassenden Überblick über die Ausführung von Anforderungen und ihre Abhängigkeiten.

Leistungsmetriken unter Verwendung von Application Signals

OpenTelemetry Unterstützung von GenAI-Attributen

Application Signals generiert die folgenden generativen AI-Attribute für Amazon Bedrock API-Aufrufe mit OpenTelemetry semantischer Konvention. Diese Attribute helfen bei der Analyse der Modellnutzung, der Kosten und der Antwortqualität und können über die Transaktionssuche genutzt werden, um tiefere Einblicke zu erhalten.

  • gen_ai.system

  • gen_ai.request.model

  • gen_ai.request.max_tokens

  • gen_ai.request.temperature

  • gen_ai.request.top_p

  • gen_ai.usage.input_tokens

  • gen_ai.usage.output_tokens

  • gen_ai.response.finish_reasons

Generative KI-Attribute unter Verwendung von Anwendungssignalen.

Sie können beispielsweise die Analysefunktion von Transaction Search verwenden, um die Token-Nutzung und die Kosten verschiedener LLM-Modelle für dieselbe Aufforderung zu vergleichen und so eine kosteneffiziente Modellauswahl zu ermöglichen.

Generative KI-Attribute mithilfe von Anwendungssignalen.

Weitere Informationen finden Sie unter Verbessern der Amazon Bedrock Beobachtbarkeit mit CloudWatch Anwendungssignalen.