Überwachung der Nutzung von Amazon Quick mithilfe von CloudWatch Protokollen - Amazon Quick

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Überwachung der Nutzung von Amazon Quick mithilfe von CloudWatch Protokollen

Sie können Amazon CloudWatch Logs verwenden, um Chat-Konversationen, Benutzerfeedback und agent/research Nutzungsstunden in Amazon Quick bereitzustellen, damit Sie sie analysieren können. Diese Protokolle können an mehrere Ziele gesendet werden, z. B. CloudWatch an Amazon S3 oder Amazon Data Firehose (es gelten die Standardtarife). Wir empfehlen, dass Sie kurz nach der Aktivierung der Amazon Quick AI-Funktionen Verkaufsprotokolle einrichten.

Im Folgenden finden Sie Beispiele für Aufgaben, die Sie mit Protokollen von Amazon Quick erledigen können:

  • Identifizieren Sie häufige Benutzerabfragen und Problembereiche, indem Sie den Inhalt der Chat-Nachrichten überprüfen.

  • Überwachen Sie die Qualität der Antworten, indem Sie sich Kennzahlen wie feedbackReason ansehen.

  • Analysieren Sie die Feedback-Daten, einschließlich Kommentare und Bewertungen zur Nützlichkeit, um sich ein Bild von der Stimmung und Zufriedenheit der Benutzer zu machen.

  • Generieren Sie benutzerdefinierte Dashboards und Berichte, um wichtige Kennzahlen und Trends im Laufe der Zeit zu verfolgen.

  • Identifizieren und analysieren Sie Fälle, in denen der Chat keine Antwort lieferte oder die Benutzeranfrage blockiert wurde

  • Überwachen Sie die Nutzung der Agenten und der Recherchezeiten

Wichtig

Protokolle von Konversationen können sensible oder persönlich identifizierbare Daten enthalten, die in den Chats weitergegeben wurden. Sie können diese Informationen aus Ihren Protokollen herausfiltern, wenn Sie ein Protokollabonnement einrichten. Oder Sie können diese Daten in Ihren Protokollen mithilfe von Richtlinien zur Maskierung von CloudWatch Protokollen maskieren. Weitere Informationen finden Sie unter Schützen sensibler Protokolldaten durch Maskierung.

Unterstützte Protokollziele

Amazon Quick kann Protokolle an die folgenden Ziele liefern:

  • Amazon CloudWatch Logs — Für Überwachung und Analyse in Echtzeit

  • Amazon S3 — Für Langzeitlagerung und Stapelverarbeitung

  • Amazon Data Firehose — Für Streaming-Analysen und Datentransformation

Voraussetzungen

Bevor Sie die Protokollierung aktivieren können, stellen Sie sicher, dass Sie über Folgendes verfügen:

  • Eine aktive Amazon Quick-Instance mit Enterprise- oder Professional-Abonnements

  • Entsprechende IAM-Berechtigungen zur Konfiguration der Protokollzustellung

  • Ein für Ihre Logs konfiguriertes Ziel (CloudWatch Logs, Amazon S3 S3-Bucket oder Firehose)

Konfigurieren der -Protokollierung

Um die Protokollierung für Amazon Quick Chat und Feedback zu aktivieren, müssen Sie IAM-Berechtigungen konfigurieren, eine Versandquelle und ein Versandziel erstellen und überprüfen, ob die Protokolle erfolgreich zugestellt wurden.

Einrichten von IAM-Berechtigungen

Um CloudWatch Logs für Amazon Quick einzurichten, verwenden Sie die folgenden IAM-Richtlinienbeispiele, um die erforderlichen Berechtigungen zu erteilen.

{ "Version": "2012-10-17" , "Statement": [{ "Sid": "QuicksightLogDeliveryPermissions", "Effect": "Allow", "Action": "quicksight:AllowVendedLogDeliveryForResource", "Resource": "arn:aws:quicksight:region:account-id:account/account-id" }] }

Sie müssen den delivery.logs.amazonaws.com Service Principal auch in Ihrer vom Kunden verwalteten AWS KMS Schlüsselrichtlinie zulassen.

{ "Effect": "Allow" , "Principal": { "Service": "delivery.logs.amazonaws.com" }, "Action": [ "kms:GenerateDataKey", "kms:Decrypt" ], "Resource": "*", "Condition": { "StringEquals": { "kms:EncryptionContext:SourceArn": "arn:partition:logs:region:account-id:*" } } }

Konfigurieren Sie das Protokollabonnement

Beispiele für IAM-Richtlinien mit allen erforderlichen Berechtigungen für Ihr spezifisches Protokollierungsziel finden Sie unter Aktivieren der Protokollierung von AWS Diensten im Amazon CloudWatch Logs-Benutzerhandbuch.

Erstellen Sie eine Lieferquelle mit dem PutDeliverySource CloudWatch Logs-API-Vorgang. Geben Sie der Bereitstellungsquelle einen Namen und geben Sie für resourceArn den ARN Ihrer Anwendung an. FürlogType, geben Sie anCHAT_LOGS, AGENT_HOURS_LOGS oder FEEDBACK_LOGS

{ "logType": "CHAT_LOGS", "name": "my-quick-suite-delivery-source", "resourceArn": "arn:aws:quicksight:your-region:your-account-id:account/account-id" }
{ "logType": "FEEDBACK_LOGS", "name": "my-quick-suite-delivery-source", "resourceArn": "arn:aws:quicksight:your-region:your-account-id:account/account-id" }
{ "logType": "AGENT_HOURS_LOGS", "name": "my-quick-suite-delivery-source", "resourceArn": "arn:aws:quicksight:your-region:your-account-id:account/account-id" }

Um die Protokollierung von Benutzerkonversationen mit den CloudWatch Logs-API-Vorgängen zu aktivierenPutDeliverySource, rufen Sie die CreateDelivery API-OperationenPutDeliveryDestination, und auf.

Anmerkung

Protokolle wären für die Region verfügbar, die in der PutDeliverySource Eingabe in der Ressource ARN erwähnt wird.

Überprüfen Sie die Protokollzustellung

Stellen Sie nach der Konfiguration sicher, dass die Protokolle an Ihr Ziel gesendet werden:

  • Überprüfen Sie die Einrichtung: Überprüfen Sie die Liste der Lieferungen, die im Konto erstellt wurden, mithilfe der DescribeDeliveries API in CloudWatch Logs.

  • CloudWatch Protokolle: Suchen Sie in der angegebenen Protokollgruppe nach neuen Protokollstreams.

  • Amazon S3: Überwachen Sie Ihren Bucket auf neue Protokolldateien.

  • Firehose: Stellen Sie sicher, dass Daten durch Ihren Lieferstream fließen.

Protokollschema und -format

Amazon Quick Logs folgen einem strukturierten Schema mit gemeinsamen Feldern, die für alle Protokolltypen gemeinsam genutzt werden, und spezifischen Feldern für Chat- und Feedback-Protokolle.

Gemeinsame Felder

Alle Protokollereignisse enthalten die folgenden gemeinsamen Felder:

  • resource_arn- Ressourcen-ARN Ihres Amazon Quick-Kontos (zum Beispielarn:aws:quicksight:us-east-1:111122223333:account/111122223333:)

  • event_timestamp- ISO 8601-Zeitstempel des Ereignisses (zum Beispiel) 1763532110061

  • logType- Art des Protokolls (zum Beispiel, Chat oder) Feedback

  • accountId- AWS Konto-ID (zum Beispiel123456789012)

  • user_arn— Mit dem Ereignis verknüpfter Amazon Quick-Benutzer-ARN (z. B."arn:aws:quicksight:us-west-2:111122223333:user/default/user")

Chat-Protokolle

Chat-Protokolle erfassen Konversationsinteraktionen und enthalten die folgenden Felder:

  • status_code- Status der Chat-Anfrage (zum BeispielSuccess, request_blocked, no_answer_found)

  • namespace*- Amazon Quick-Namespace für das Ereignis (zum Beispieldefault)

  • user_type- Der Amazon Quick-Benutzertyp, der mit dem Ereignis verknüpft ist (z. B.ADMIN_PRO)

  • conversation_id- Eindeutige ID für die Benutzerkonversation

  • system_message_id- Vom System generierte Nachrichten-ID

  • latency*- Latenz von Chat-Nachrichten in Millisekunden

  • time_to_first_token*- Zeit in Millisekunden des Tokens für die erste Antwort

  • message_scope- Umfang der Nachricht (zum Beispiel) all_resources, specific_resources, no_resources

  • user_message_id- Eindeutige ID der Benutzernachricht

  • user_message- Benutzernachricht in der Konversation

  • agent_id- Eindeutige ID des Chat-Agenten

  • flow_id- Eindeutige ID des Amazon Quick Flow

  • system_text_message- Systemantwort in der Konversation

  • surface_type*- Anwendung, die für die Konversation verwendet wird

  • web_search*- Websuche aktiviert oder nicht

  • user_selected_resources- Liste der vom Benutzer ausgewählten Ressourcen

  • action_connectors- Liste der Action-Konnektoren

  • cited_resource- Liste der zitierten Ressourcen

  • file_attachment- Liste der vom Benutzer angehängten Dateien

Im Folgenden finden Sie ein Beispiel für Chat-Protokolle:

{ "status_code": "success", "namespace": "default", "user_type": "ADMIN_PRO", "conversation_id": "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "system_message_id": "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "latency": "10000", "time_to_first_token": "10000", "message_scope": "all_resources", "user_message_id": "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "user_message": "Hi chat", "agent_id": "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "flow_id": "a11b2bbc-c123-3abc-a12b-12a34b5c678d?", "system_text_message": "Hello user", "surface_type": "WEB_EXPERIENCE", "web_search": "true" "user_selected_resources": [{"resource_type": "Dashboard","resource_id": "146abs-1222-534894"},{"resource_type": "Space","resource_id": "123abs-1234-534894"}], "action_connectors": [{"action_connector_id": "quicksight-website"},{"action_connector_id": "123abs-1234-534894"}] "cited_resource": [{"cited_resource_name": "Dashboard","cited_resource_id": "146abs-1222-534894","cited_resource_name": "ds1"},{"cited_resource_name": "Space","cited_resource_id": "123abs-1234-534894","cited_resource_name": "space1"}], "file_attachment": [{"file_attachmet_type": "pdf","file_attachment_name": "file1.pdf"},{"file_attachmet_type": "txt","file_attachment_name": "file2.txt"}] }

Feedback-Protokolle

Feedback-Protokolle erfassen Benutzerfeedback im Chat und enthalten die folgenden Felder:

  • status_code- Status der Durchführung der Veranstaltung

  • namespace*- Amazon Quick-Namespace für das Ereignis (zum Beispieldefault)

  • user_type- Der Amazon Quick-Benutzertyp, der mit dem Ereignis verknüpft ist (z. B.ADMIN_PRO)

  • conversation_id- Eindeutige ID der Konversation

  • system_message_id- Vom System generierte Nachrichten-ID

  • user_message_id- Eindeutige ID der Benutzernachricht

  • feedback_type- Art des Feedbacks (zum BeispielNot Useful, Useful)

  • feedback_reason- Der Grund für das Feedback wurde vom Benutzer ausgewählt

  • feedback_details- (Optional) Zusätzliche vom Benutzer bereitgestellte Informationen

Im Folgenden finden Sie ein Beispiel für Feedback-Protokolle:

{ "status_code": "success", "namespace": "default", "user_type": "ADMIN_PRO", "conversation_id": "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "system_message_id": "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "user_message_id" : "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "feedback_type" :"Not Useful / Useful" "feedback_reason" : "Too wordy,Issue with sources,Other etc." "feedback_details" : "additional text shared by user" }

Protokolle zu den Öffnungszeiten von Agenten und Recherchen

Dieser Protokolltyp erfasst die Nutzungsprotokolle für verschiedene Agenten in Ihrem Quick-Konto, die für die Preisgestaltung verwendet werden:

  • subscription_type- ENTERPRISE oder PROFESSIONAL

  • reporting_service- Service, der dem Agenten entspricht: FORSCHUNG, ABLÄUFE ODER AUTOMATISIERUNGEN

  • usage_group- Included or Extra basierend auf der Art des Abonnements und der bisherigen Nutzung

  • usage_hours— Dezimalwert, der die Nutzungsstunden für die jeweilige Protokollinstanz angibt

  • service_resource_arn- ARN des entsprechenden Agentendienstes

Im Folgenden finden Sie ein Beispiel für Agent-Stundenprotokolle:

{ "subscription_type": "ENTERPRISE", "reporting_service": "RESEARCH", "usage_group": "Included", "usage_hours": 0.3333, "service_resource_arn": "arn:aws:quicksight:eu-west-1:111222333444:research/a11b2bbc-c123-3abc-a12b-12a34b5c678d" }
Anmerkung

* Felder, die mit '*' gekennzeichnet sind, werden standardmäßig nicht zu Ihrem Protokollabonnement hinzugefügt. Diese müssen bei Bedarf beim Aufrufen CreateDelivery explizit angegeben werden.

Sicherheitsüberlegungen

  • Verschlüsselung: Verwenden Sie vom Kunden verwaltete AWS KMS Schlüssel für sensible Daten

  • Zugriffskontrolle: Implementieren Sie IAM-Richtlinien mit den geringsten Rechten

  • Datenspeicherung: Konfigurieren Sie geeignete Aufbewahrungsrichtlinien für Ihre Compliance-Anforderungen