Beispiel: Application Signals verwenden, um Probleme mit Anwendungen mit generativer KI zu beheben, die mit Modellen von Amazon Bedrock interagieren - Amazon CloudWatch
Detaillierte Metriken und TracesOpenTelemetry-Unterstützung für GenAI-Attribute

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Beispiel: Application Signals verwenden, um Probleme mit Anwendungen mit generativer KI zu beheben, die mit Modellen von Amazon Bedrock interagieren

Sie können Application Signals verwenden, um Probleme mit Anwendungen mit generativer KI zu beheben, die mit Modellen von Amazon Bedrock interagieren. Application Signals optimiert diesen Prozess durch die Bereitstellung sofort einsatzbereiter Telemetriedaten. Das ermöglicht tiefere Einblicke in die Interaktionen Ihrer Anwendung mit LLM-Modellen. Das ist unter anderem für folgende Anwendungsfälle hilfreich:

  • Probleme mit der Konfiguration von Modellen

  • Kosten der Modellnutzung

  • Modell-Latenz

  • Generierung von Modellantworten wurde beendet

Durch die Aktivierung von Application Signals mit LLM-/GenAI-Beobachtbarkeit erhalten Sie Echtzeiteinblicke in die Interaktionen Ihrer Anwendung mit Amazon-Bedrock-Services. Application Signals generiert automatisch Leistungsmetriken und Traces für Amazon Bedrock-API-Aufrufe und korreliert diese.

Application Signals unterstützt derzeit die folgenden LLM-Modelle in Amazon Bedrock.

  • AI21 Jamba

  • Amazon Titan

  • Anthropic Claude

  • Cohere Command

  • Meta Llama

  • Mistral AI

  • Nova

Detaillierte Metriken und Traces

Für jeden Amazon Bedrock-API-Aufruf generiert Application Signals detaillierte Leistungsmetriken auf Ressourcenebene, darunter:

  • Modell-ID

  • Integritätsschutz-ID

  • Wissensdatenbank-ID

  • Bedrock-Agent-ID

Darüber hinaus bieten korrelierte Trace-Spans auf derselben Ebene einen umfassenden Überblick über die Ausführung von Anfragen und ihre Abhängigkeiten.

Leistungsmetriken unter Verwendung von Application Signals

OpenTelemetry-Unterstützung für GenAI-Attribute

Application Signals generiert die folgenden GenAI-Attribute für Amazon Bedrock-API-Aufrufe mit der semantischen OpenTelemetry-Konvention. Diese Attribute helfen bei der Analyse der Modellnutzung, der Kosten und der Antwortqualität und können über die Transaktionssuche genutzt werden, um tiefere Einblicke zu erhalten.

  • gen_ai.system

  • gen_ai.request.model

  • gen_ai.request.max_tokens

  • gen_ai.request.temperature

  • gen_ai.request.top_p

  • gen_ai.usage.input_tokens

  • gen_ai.usage.output_tokens

  • gen_ai.response.finish_reasons

GenAI-Attribute unter Verwendung von Application Signals

Sie können beispielsweise die Analysefunktionen der Transaktionssuche verwenden, um die Token-Nutzung und die Kosten verschiedener LLM-Modelle für denselben Prompt zu vergleichen, was eine kosteneffiziente Modellauswahl ermöglicht.

GenAI-Attribute unter Verwendung von Application Signals

Weitere Informationen finden Sie unter Verbessern der Beobachtbarkeit in Amazon Bedrock mit CloudWatch Application Signals.