Modellaufrufe - Amazon CloudWatch
Aktivieren des Modellaufrufs in Amazon Bedrock

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Modellaufrufe

CloudWatch Die generative KI-Observability ermöglicht es Ihnen, die Leistung von Model Invocations zu überwachen. Mithilfe von Ansichten können Sie Metriken wie die Anzahl der Aufrufe, die Token-Nutzung und Fehler verfolgen. out-of-box Um einen detaillierten Einblick in den Inhalt von Aufrufen wie Eingaben und Ausgaben zu erhalten, aktivieren Sie die Bedrock Invocation-Protokollierung und senden Sie die Protokolle an. CloudWatch Weitere Informationen finden Sie unter Einrichtung eines CloudWatch Protokollziels und Helfen Sie dabei, vertrauliche Protokolldaten durch Maskierung zu schützen.

Aktivieren des Modellaufrufs in Amazon Bedrock

Anmerkung

Sie müssen die Protokollierung des Modellaufrufs in Amazon Bedrock aktivieren, um die Aufrufe ansehen zu können.

Gehen Sie wie folgt vor, um die Protokollierung von Modellaufrufen in Amazon Bedrock zu aktivieren.

  1. Öffnen Sie die Amazon Bedrock-Konsole unter https://console.aws.amazon.com/bedrock/.

  2. Wählen Sie Einstellungen aus.

  3. Wählen Sie unter Protokollierung von Modellaufrufen die Option Protokollierung von Modellaufrufen aus.

  4. Wählen Sie die erforderlichen, in die Protokolle aufzunehmenden Datentypen aus Wählen Sie, ob Sie die CloudWatch Protokolle nur an Logs oder sowohl an Amazon S3 als auch an CloudWatch Logs senden möchten, wenn Sie bereits auf Amazon S3 veröffentlichen.

  5. Erstellen Sie unter den CloudWatch Protokollkonfigurationen den Namen der Protokollgruppe und wählen Sie die entsprechenden Servicerollen aus.

  6. Wählen Sie die erforderlichen, in die Protokolle aufzunehmenden Datentypen aus

  7. Wählen Sie Einstellungen speichern aus.

    Sie können die vorkonfigurierten Dashboards automatisch aufrufen, wenn Sie Amazon-Bedrock-Aufrufe verwenden. Nach der Aktivierung von Model Invocation logging können Sie die Standard-Dashboards ansehen und auf die Aufruftabelle darunter zugreifen.

Beobachtbarkeit der generativen KI

  • Anzahl der Aufrufe — Anzahl der erfolgreichen Anfragen an die Converse -, ConverseStreamInvokeModel, und API-Operationen InvokeModelWithResponseStream

  • Aufruflatenz – Latenz der Aufrufe

  • Token-Anzahl nach Modell – Token-Anzahl nach Modell, abgegrenzt durch die Anzahl der Eingabetokens und die Anzahl der Ausgabetokens

  • Tägliche Token-Anzahl nach ModelID – Tägliche Gesamtzahl der Token nach Modell-ID

  • InputTokenCount, OutputTokenCount — Gesamtzahl der Tokens in der Eingabe und Ausgabe dieses Kontos in ausgewählten Modellen

  • Anforderungen, gruppiert nach Eingabetoken – Anzahl der Anforderungen, gruppiert nach Eingabetoken in 6 Bereiche. Jede Zeile steht für die Anzahl der Anforderungen, die in den jeweiligen Bereich fallen

  • Aufrufdrosselungen – Anzahl der Aufrufe, die das System gedrosselt hat Die Anzahl der Drosselungen, die Sie sehen, hängt von den Wiederholungseinstellungen im SDK ab. Weitere Informationen finden Sie unter Verhalten bei Wiederholungsversuchen im Referenzhandbuch AWS SDKs und im Tools-Referenzhandbuch

  • Anzahl der Aufruffehler – Anzahl der Aufrufe, die zu server- und clientseitigen Fehlern führen

Gehen Sie wie folgt vor, um das Modellaufruf-Dashboard zu verwenden.

  1. Zeigen Sie mit der Maus auf ein beliebiges Metrikdiagramm, um die Aufrufdetails anzusehen. Sie können das Alarmsymbol auswählen, um Alarms für die Überwachung der Qualität und Leistung der Anwendung zu konfigurieren.

  2. Im Drop-down-Menü ModelID können Sie eine Modell-ID zur Anzeige der entsprechenden Metriken auswählen.

  3. Wählen Sie In CloudWatch Metriken anzeigen aus, um die Dashboard-Metriken unter CloudWatch anzuzeigen.

  4. Wählen Sie Zeitraumüberschreitung aus, um den Zeitrahmen für die Metriken anzupassen (z. B. 1 Minute, 1 Stunde oder 6 Stunden).

  5. Wählen Sie unter Aufrufe die Option Anforderungs-ID aus, um die Details der Anforderung anzusehen. Sie können die Eingabe- und Ausgabedetails des Modellaufrufs im rechten Bereich ansehen.

Modellaufruf – Anforderungs-ID-Ansicht

Wählen Sie auf der Seite Anforderungs-ID im Drop-down-Menü Aktionen die Option In Logs Insights anzeigen aus, um die Logs einzusehen CloudWatch. Weitere Informationen finden Sie unter Analysieren von Protokolldaten mit CloudWatch Logs Insights.