Modellieren Sie Aufrufe - Amazon CloudWatch
Aktivieren des Modellaufrufs in Amazon Bedrock

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Modellieren Sie Aufrufe

CloudWatch Die generative KI-Observability ermöglicht es Ihnen, die Leistung von Model Invocations zu überwachen. Mithilfe von Ansichten können Sie Metriken wie die Anzahl der Aufrufe, die Token-Nutzung und Fehler verfolgen. out-of-box Um einen detaillierten Einblick in den Inhalt von Aufrufen, wie Eingaben und Ausgaben, zu erhalten, aktivieren Sie die Bedrock Invocation-Protokollierung und senden Sie die Protokolle an. CloudWatch Weitere Informationen finden Sie unter Einrichtung eines CloudWatch Protokollziels und Helfen Sie dabei, vertrauliche Protokolldaten durch Maskierung zu schützen.

Aktivieren des Modellaufrufs in Amazon Bedrock

Anmerkung

Sie müssen die Protokollierung von Model-Aufrufen in Amazon Bedrock aktivieren, um die Aufrufe anzeigen zu können.

Gehen Sie wie folgt vor, um die Protokollierung von Modellaufrufen in Amazon Bedrock zu aktivieren:

  1. Öffnen Sie die Amazon Bedrock-Konsole unter https://console.aws.amazon.com/bedrock/.

  2. Wählen Sie Einstellungen aus.

  3. Wählen Sie unter Protokollierung von Modellaufrufen die Option Protokollierung von Modellaufrufen aus.

  4. Wählen Sie die erforderlichen Datentypen aus, die in die Protokolle aufgenommen werden sollen. Wählen Sie, ob die CloudWatch Protokolle nur an Logs oder sowohl an Amazon S3 als auch an CloudWatch Logs gesendet werden sollen.

  5. Erstellen Sie unter den CloudWatch Protokollkonfigurationen den Namen der Protokollgruppe und wählen Sie die entsprechenden Servicerollen aus.

  6. Wählen Sie die erforderlichen Datentypen aus, die in die Protokolle aufgenommen werden sollen.

  7. Wählen Sie Einstellungen speichern

    Sie können die vorkonfigurierten Dashboards automatisch anzeigen, wenn Sie Amazon Bedrock-Aufrufe verwenden. Nach der Aktivierung Model Invocation logging können Sie die Standard-Dashboards anzeigen und auf die Aufruftabelle darunter zugreifen.

generative KI-Beobachtbarkeit

  • Anzahl der Aufrufe — Anzahl der erfolgreichen Anfragen an die Converse -, ConverseStreamInvokeModel, und API-Operationen InvokeModelWithResponseStream

  • Latenz bei Aufrufen — Latenz der Aufrufe

  • Token-Anzahl nach Modell — Token-Anzahl nach Modell, abgegrenzt durch die Anzahl der Eingabe-Tokens und der Anzahl der Ausgabetokens

  • Tägliche Token-Anzahl nach Model-ID — Tägliche Gesamtanzahl der Token nach Modell-ID

  • InputTokenCount, OutputTokenCount — Gesamtzahl der Tokens in der Eingabe und Ausgabe dieses Kontos für ausgewählte Modelle

  • Anfragen, gruppiert nach Eingabe-Tokens — Anzahl der Anfragen, gruppiert nach Eingabe-Token in 6 Bereichen. Jede Zeile steht für die Anzahl der Anfragen, die in einen bestimmten Bereich fallen

  • Aufrufdrosselungen — Anzahl der Aufrufe, die das System gedrosselt hat. Die Anzahl der Drosselungen, die Sie sehen, hängt von Ihren Wiederholungseinstellungen im SDK ab. Weitere Informationen finden Sie unter Verhalten bei Wiederholungsversuchen im Referenzhandbuch und im Tools-Referenzhandbuch AWS SDKs

  • Anzahl der Aufruffehler — Anzahl der Aufrufe, die zu serverseitigen und clientseitigen Fehlern führen

Gehen Sie wie folgt vor, um das Modellaufruf-Dashboard zu verwenden:

  1. Bewegen Sie den Mauszeiger über ein beliebiges Metrikdiagramm, um die Aufrufdetails anzuzeigen. Sie können das Alarmsymbol zur Einrichtung auswählen, um die Qualität und Leistung der Anwendung Alarms zu überwachen. Informationen zu Einstellungen und Alarmen finden Sie unter Alarme. Weitere Informationen zu Metriken finden Sie unter Amazon Bedrock Runtime Metrics.

  2. Im Drop-down-Menü ModelID können Sie eine Modell-ID auswählen, um die entsprechenden Metriken anzuzeigen.

  3. Wählen Sie In CloudWatch Metriken anzeigen aus, um die Dashboard-Metriken unter CloudWatch anzuzeigen.

  4. Wählen Sie Zeitraum überschreiben aus, um den Zeitrahmen der Metriken anzupassen (z. B. 1 Minute, 1 Stunde oder 6 Stunden).

  5. Wählen Sie unter Aufrufe die Option Anforderungs-ID aus, um die Details der Anfrage anzuzeigen. Sie können die Eingabe- und Ausgabedetails des Modellaufrufs im rechten Bereich anzeigen.

Modellaufruf — Ansicht der Anforderungs-ID

Wählen Sie auf der Seite „Anforderungs-ID“ im Drop-down-Menü „Aktionen“ die Option In Logs Insights anzeigen aus, um die Logs einzusehen. CloudWatch Weitere Informationen finden Sie unter Analysieren von Protokolldaten mit CloudWatch Logs Insights.