Monitoraggio della chat e del feedback di Amazon Quick Suite tramite CloudWatch Logs - Amazon Quick Suite

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Monitoraggio della chat e del feedback di Amazon Quick Suite tramite CloudWatch Logs

Puoi utilizzare Amazon CloudWatch Logs per fornire conversazioni tra utenti e rispondere ai feedback in Amazon Quick Suite da analizzare. Questi log possono essere consegnati a più destinazioni, ad esempio CloudWatch Amazon S3 o (si applicano le tariffe standard). Ti consigliamo di configurare la registrazione delle conversazioni e dei feedback subito dopo aver creato il tuo agente di chat Amazon Quick Suite.

Di seguito sono riportati alcuni esempi di attività che puoi completare con i log delle conversazioni e il feedback di risposta in Amazon Quick Suite:

  • Identifica le domande e i punti critici più comuni degli utenti esaminando il contenuto dei messaggi di chat.

  • Monitora la qualità delle risposte esaminando metriche come. feedbackReason

  • Comprendi il sentimento e la soddisfazione degli utenti analizzando i dati di feedback, inclusi commenti e valutazioni di utilità.

  • Genera dashboard e report personalizzati per tenere traccia delle metriche e delle tendenze chiave nel tempo.

Importante

I log delle conversazioni potrebbero includere dati sensibili o di identificazione personale trasmessi nelle chat. Puoi filtrare queste informazioni dai tuoi log quando configuri l'abbonamento ai log. Oppure puoi mascherare questi dati nei tuoi registri utilizzando le politiche di mascheramento di CloudWatch Logs. Per ulteriori informazioni, consulta Aiutare a proteggere i dati di registro sensibili con il mascheramento.

Destinazioni di log supportate

Amazon Quick Suite può fornire log alle seguenti destinazioni:

  • Amazon CloudWatch Logs: per il monitoraggio e l'analisi in tempo reale

  • Amazon S3: per lo storage a lungo termine e l'elaborazione in batch

  • Amazon Data Firehose: per l'analisi in streaming e la trasformazione dei dati

Prerequisiti

Prima di abilitare la registrazione, assicurati di avere:

  • Un'istanza Amazon Quick Suite attiva con abbonamenti Enterprise o Professional

  • Autorizzazioni IAM appropriate per configurare la consegna dei log

  • Una destinazione configurata per i tuoi log (CloudWatch Logs, bucket Amazon S3 o Firehose)

Configurazione della registrazione

Per abilitare la registrazione per la chat e il feedback di Amazon Quick Suite, devi configurare le autorizzazioni IAM, creare una fonte e una destinazione di consegna e verificare che i log vengano consegnati correttamente.

Configura le autorizzazioni IAM

Per configurare CloudWatch Logs for Amazon Quick Suite, utilizza i seguenti esempi di policy IAM per concedere le autorizzazioni necessarie.

{ "Version": "2012-10-17" , "Statement": [{ "Sid": "QuicksightLogDeliveryPermissions", "Effect": "Allow", "Action": "quicksight:AllowVendedLogDeliveryForResource", "Resource": "arn:aws:quicksight:region:account-id:account/account-id" }] }

È inoltre necessario includere il responsabile del delivery.logs.amazonaws.com servizio nella politica relativa alle AWS KMS chiavi gestite dai clienti.

{ "Effect": "Allow" , "Principal": { "Service": "delivery.logs.amazonaws.com" }, "Action": [ "kms:GenerateDataKey", "kms:Decrypt" ], "Resource": "*", "Condition": { "StringEquals": { "kms:EncryptionContext:SourceArn": "arn:partition:logs:region:account-id:*" } } }

Configura l'abbonamento al registro

Ad esempio, le politiche IAM con tutte le autorizzazioni richieste per la tua destinazione di registrazione specifica, consulta Enable logging from AWS services nella Amazon CloudWatch Logs User Guide.

Crea una fonte di distribuzione con l'operazione dell'PutDeliverySource CloudWatch API Logs. Assegna un nome alla fonte di resourceArn consegna e specifica l'ARN della tua applicazione. PerlogType, specifica CHAT_LOGS o FEEDBACK_LOGS

{ "logType": "CHAT_LOGS", "name": "my-quick-suite-delivery-source", "resourceArn": "arn:aws:quicksight:your-region:your-account-id:account/account-id" }
{ "logType": "FEEDBACK_LOGS", "name": "my-quick-suite-delivery-source", "resourceArn": "arn:aws:quicksight:your-region:your-account-id:account/account-id" }

Per abilitare la registrazione delle conversazioni degli utenti con le operazioni dell'API CloudWatch Logs, chiamate le operazioni PutDeliverySourcePutDeliveryDestination, e CreateDelivery API.

Nota

I log sarebbero disponibili per la regione menzionata nella risorsa ARN PutDeliverySource in ingresso.

Verifica la consegna dei log

Una volta configurato, verifica che i log vengano consegnati a destinazione:

  • Verifica la configurazione: verifica l'elenco delle consegne che sono state create nell'account utilizzando l'DescribeDeliveriesAPI in CloudWatch Logs.

  • CloudWatch Registri: verifica la presenza di nuovi flussi di log nel gruppo di log specificato.

  • Amazon S3: monitora il tuo bucket alla ricerca di nuovi file di registro.

  • Firehose: verifica che i dati fluiscano attraverso il flusso di distribuzione.

Schema e formato del registro

I log di Amazon Quick Suite seguono uno schema strutturato con campi comuni condivisi tra tutti i tipi di log e campi specifici per i log di chat e feedback.

Campi comuni

Tutti gli eventi di registro includono questi campi comuni:

  • resourceArn- ARN di risorse del tuo account Amazon Quick Suite (ad esempio,) arn:aws:quicksight:us-east-1:111122223333:account/111122223333:

  • eventTimestamp- Timestamp ISO 8601 dell'evento (ad esempio,) 1763532110061

  • logType- Tipo di registro (ad esempio, o) Chat Feedback

  • accountId- ID AWS dell'account (ad esempio,123456789012)

  • userArn- ARN dell'utente Amazon Quick Suite associato all'evento (ad esempio,) "arn:aws:quicksight:us-west-2:111122223333:user/default/user"

  • userType- Tipo di utente Amazon Quick Suite associato all'evento (ad esempio,ADMIN_PRO)

  • nameSpace- Spazio dei nomi Amazon Quick Suite per l'evento (ad esempio,) default

  • statusCode- Stato della consegna dell'evento (ad esempio,Success,request_blocked) no_answer_found

Registri delle chat

I registri delle chat registrano le interazioni delle conversazioni e contengono i seguenti campi:

  • conversationId- ID univoco per la conversazione con l'utente

  • systemMessageId- ID del messaggio generato dal sistema

  • latency- Latenza dei messaggi di chat in millisecondi

  • timeToFirstToken- Tempo in millisecondi del token di prima risposta

  • messageScope- Ambito del messaggio

  • userMessageId- ID univoco del messaggio dell'utente

  • userMessage- messaggio dell'utente nella conversazione

  • agentId- ID univoco dell'agente di chat

  • flowId- ID univoco di Amazon Quick Suite Flow

  • systemTextMessage- Messaggio di testo nella conversazione

  • surfaceType- Applicazione utilizzata per la conversazione

  • webSearch- Ricerca sul Web richiesta o meno

  • userSelectedResources- Elenco delle risorse selezionate dall'utente

  • actionConnectors- Elenco dei connettori di azione

  • citedResource- Elenco delle risorse citate

  • fileAttachment- Elenco dei file allegati dall'utente

Di seguito è riportato un esempio di log delle chat:

{ "conversationId": "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "systemMessageId": "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "latency": "10000", "timeToFirstToken": "10000", "messageScope": "General Knowledge, ALL etc", "userMessageId": "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "userMessage": "What is the status of my project?", "agentId": "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "flowId": "a11b2bbc-c123-3abc-a12b-12a34b5c678d?", "systemTextMessage": "What is the status of my project?", "surfaceType": "Slack, WebApp etc.", "webSearch": "TRUE" "userSelectedResources": [{"resource_type": "Dashboard","resource_id": "146abs-1222-534894"},{"resource_type": "Space","resource_id": "123abs-1234-534894"}], "actionConnectors": [{"user_selected_resource_type": "Dashboard","resource_id": "146abs-1222-534894"},{"user_selected_resource_type": "Space","resource_id": "123abs-1234-534894"}] "citedResource": [{"cited_resource_name": "Dashboard","cited_resource_id": "146abs-1222-534894","cited_resource_name": "ds1"},{"cited_resource_name": "Space","cited_resource_id": "123abs-1234-534894","cited_resource_name": "space1"}], "fileAttachment": [{"file_attachmet_type": "pdf","file_attachment_name": "file1.pdf"},{"file_attachmet_type": "txt","file_attachment_name": "file2.txt"}] }

Registri di feedback

I registri di feedback raccolgono il feedback degli utenti sulla chat e contengono i seguenti campi:

  • conversationId- ID univoco della conversazione

  • researchId- ID univoco della ricerca

  • systemMessageId- ID del messaggio generato dal sistema

  • userMessageId- ID univoco del messaggio utente

  • feedback_type- Tipo di feedback

  • feedback_reason- Motivo del feedback

  • feedback_details- Messaggio di testo nel feedback

  • rating- Valutazione fornita dall'utente

Di seguito è riportato un esempio di log di feedback:

Chat Feedback: "conversationId": "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "researchId": "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "systemMessageId": "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "userMessageId" : "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "feedback_type" :"thumbsUp,thumbsDown,ease_of_use etc." "feedback_reason" : "Too wordy,Issue with sources,Other etc." "feedback_details" : "additional text shared by user" "rating" : "thumbsUp,thumbsDown,ease_of_use etc."

Considerazioni relative alla sicurezza

  • Crittografia: utilizza AWS KMS chiavi gestite dal cliente per i dati sensibili

  • Controllo degli accessi: implementazione di politiche IAM con privilegi minimi

  • Conservazione dei dati: configura politiche di conservazione appropriate per i tuoi requisiti di conformità