使用 CloudWatch Logs 監控 Amazon Quick Suite 聊天和意見回饋 - Amazon Quick Suite

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

使用 CloudWatch Logs 監控 Amazon Quick Suite 聊天和意見回饋

您可以使用 Amazon CloudWatch Logs 在 Amazon Quick Suite 中提供使用者對話和回應意見回饋,供您分析。這些日誌可以傳送到多個目的地,例如 CloudWatch、Amazon S3 或 (適用標準費率)。我們建議您在建立 Amazon Quick Suite 聊天代理程式後不久設定對話和意見回饋記錄。

以下是您可以使用 Amazon Quick Suite 中對話和回應意見回饋的日誌完成的任務範例:

  • 透過檢閱聊天訊息內容來識別常見的使用者查詢和困擾點。

  • 透過查看類似 的指標來監控回應品質feedbackReason

  • 透過分析意見回饋資料來了解使用者情緒和滿意度,包括評論和實用性評分。

  • 產生自訂儀表板和報告,以追蹤一段時間內的關鍵指標和趨勢。

重要

對話的日誌可能包含聊天中傳遞的敏感或個人身分識別資料。設定日誌訂閱時,您可以從日誌中篩選掉此資訊。或者,您可以使用 CloudWatch Logs 遮罩政策在日誌上遮罩此資料。如需詳細資訊,請參閱使用遮罩協助保護敏感日誌資料

支援的日誌目的地

Amazon Quick Suite 可以將日誌交付至下列目的地:

  • Amazon CloudWatch Logs - 用於即時監控和分析

  • Amazon S3 - 用於長期儲存和批次處理

  • Amazon Data Firehose - 用於串流分析和資料轉換

先決條件

在啟用記錄之前,請確定您有:

  • 具備企業或專業訂閱的作用中 Amazon Quick Suite 執行個體

  • 設定日誌交付的適當 IAM 許可

  • 為您的日誌設定的目的地 (CloudWatch Logs、Amazon S3 儲存貯體或 Firehose)

設定 記錄

若要啟用 Amazon Quick Suite 聊天和意見回饋的記錄,您需要設定 IAM 許可、建立交付來源和目的地,並確認日誌已成功交付。

設定 IAM 許可

若要設定 Amazon Quick Suite 的 CloudWatch Logs,請使用下列 IAM 政策範例來授予必要的許可。

{ "Version": "2012-10-17" , "Statement": [{ "Sid": "QuicksightLogDeliveryPermissions", "Effect": "Allow", "Action": "quicksight:AllowVendedLogDeliveryForResource", "Resource": "arn:aws:quicksight:region:account-id:account/account-id" }] }

您還必須在客戶受管 AWS KMS 金鑰政策中允許 delivery.logs.amazonaws.com服務主體。

{ "Effect": "Allow" , "Principal": { "Service": "delivery.logs.amazonaws.com" }, "Action": [ "kms:GenerateDataKey", "kms:Decrypt" ], "Resource": "*", "Condition": { "StringEquals": { "kms:EncryptionContext:SourceArn": "arn:partition:logs:region:account-id:*" } } }

設定日誌訂閱

如需具有特定記錄目的地所有必要許可的 IAM 政策,請參閱《Amazon CloudWatch Logs 使用者指南》中的從 AWS 服務啟用記錄

使用 PutDeliverySource CloudWatch Logs API 操作建立交付來源。為交付來源指定名稱resourceArn,並為 指定應用程式的 ARN。針對 logType,指定 CHAT_LOGSFEEDBACK_LOGS

{ "logType": "CHAT_LOGS", "name": "my-quick-suite-delivery-source", "resourceArn": "arn:aws:quicksight:your-region:your-account-id:account/account-id" }
{ "logType": "FEEDBACK_LOGS", "name": "my-quick-suite-delivery-source", "resourceArn": "arn:aws:quicksight:your-region:your-account-id:account/account-id" }

若要使用 CloudWatch Logs API 操作啟用使用者對話記錄,您可以呼叫 PutDeliverySourcePutDeliveryDestinationCreateDelivery API 操作。

注意

日誌可供PutDeliverySource輸入中資源 ARN 中提到的區域使用。

驗證日誌交付

設定完成後,請確認日誌已交付至您的目的地:

  • 驗證設定:使用 CloudWatch Logs 中的 DescribeDeliveries API 驗證已在帳戶中建立的交付清單。

  • CloudWatch Logs:檢查指定的日誌群組是否有新的日誌串流。

  • Amazon S3:監控儲存貯體是否有新的日誌檔案。

  • Firehose:確認資料正在流經您的交付串流。

日誌結構描述和格式

Amazon Quick Suite 日誌遵循結構化結構描述,其中包含所有日誌類型共用的通用欄位,以及聊天和意見回饋日誌的特定欄位。

常用欄位

所有日誌事件都包含下列常見欄位:

  • resourceArn - Amazon Quick Suite 帳戶的資源 ARN (例如 arn:aws:quicksight:us-east-1:111122223333:account/111122223333:)

  • eventTimestamp - 事件的 ISO 8601 時間戳記 (例如 1763532110061)

  • logType - 日誌類型 (例如 ChatFeedback)

  • accountId - AWS 帳戶 ID (例如 123456789012)

  • userArn - 與事件相關聯的 Amazon Quick Suite 使用者 ARN (例如 "arn:aws:quicksight:us-west-2:111122223333:user/default/user")

  • userType - 與事件相關聯的 Amazon Quick Suite 使用者類型 (例如 ADMIN_PRO)

  • nameSpace - 事件的 Amazon Quick Suite 命名空間 (例如 default)

  • statusCode - 事件交付的狀態 (例如,、Successrequest_blockedno_answer_found)

聊天日誌

聊天日誌會擷取對話互動,並包含下列欄位:

  • conversationId - 使用者對話的唯一 ID

  • systemMessageId - 系統產生的訊息 ID

  • latency - 聊天訊息延遲,以毫秒為單位

  • timeToFirstToken - 第一個回應字符的時間,以毫秒為單位

  • messageScope - 訊息的範圍

  • userMessageId - 使用者訊息的唯一 ID

  • userMessage - 對話中的使用者訊息

  • agentId - 聊天客服人員的唯一 ID

  • flowId - Amazon Quick Suite 流程的唯一 ID

  • systemTextMessage - 對話中的文字訊息

  • surfaceType - 用於對話的應用程式

  • webSearch - 是否需要 Web 搜尋

  • userSelectedResources- 使用者選取的資源清單

  • actionConnectors - 動作連接器的清單

  • citedResource - 引用的資源清單

  • fileAttachment - 使用者附加的檔案清單

以下是聊天日誌的範例:

{ "conversationId": "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "systemMessageId": "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "latency": "10000", "timeToFirstToken": "10000", "messageScope": "General Knowledge, ALL etc", "userMessageId": "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "userMessage": "What is the status of my project?", "agentId": "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "flowId": "a11b2bbc-c123-3abc-a12b-12a34b5c678d?", "systemTextMessage": "What is the status of my project?", "surfaceType": "Slack, WebApp etc.", "webSearch": "TRUE" "userSelectedResources": [{"resource_type": "Dashboard","resource_id": "146abs-1222-534894"},{"resource_type": "Space","resource_id": "123abs-1234-534894"}], "actionConnectors": [{"user_selected_resource_type": "Dashboard","resource_id": "146abs-1222-534894"},{"user_selected_resource_type": "Space","resource_id": "123abs-1234-534894"}] "citedResource": [{"cited_resource_name": "Dashboard","cited_resource_id": "146abs-1222-534894","cited_resource_name": "ds1"},{"cited_resource_name": "Space","cited_resource_id": "123abs-1234-534894","cited_resource_name": "space1"}], "fileAttachment": [{"file_attachmet_type": "pdf","file_attachment_name": "file1.pdf"},{"file_attachmet_type": "txt","file_attachment_name": "file2.txt"}] }

意見回饋日誌

意見回饋日誌會擷取使用者對聊天的意見回饋,並包含下列欄位:

  • conversationId - 對話的唯一 ID

  • researchId - 研究的唯一 ID

  • systemMessageId - 系統產生的訊息 ID

  • userMessageId - 使用者訊息的唯一 ID

  • feedback_type - 意見回饋類型

  • feedback_reason - 意見回饋的原因

  • feedback_details - 意見回饋中的文字訊息

  • rating - 使用者提供的評分

以下是意見回饋日誌的範例:

Chat Feedback: "conversationId": "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "researchId": "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "systemMessageId": "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "userMessageId" : "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "feedback_type" :"thumbsUp,thumbsDown,ease_of_use etc." "feedback_reason" : "Too wordy,Issue with sources,Other etc." "feedback_details" : "additional text shared by user" "rating" : "thumbsUp,thumbsDown,ease_of_use etc."

安全考量

  • 加密:針對敏感資料使用客戶受管 AWS KMS 金鑰

  • 存取控制:實作最低權限的 IAM 政策

  • 資料保留:為您的合規要求設定適當的保留政策