使用 CloudWatch 日志监控 Amazon Quick Suite 聊天和反馈 - Amazon Quick Suite

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

使用 CloudWatch 日志监控 Amazon Quick Suite 聊天和反馈

您可以使用 Amazon CloudWatch Logs 在 Amazon Quick Suite 中提供用户对话和回复反馈供您分析。这些日志可以传送到多个目的地 CloudWatch,例如 Amazon S3 或(适用标准费率)。我们建议您在创建 Amazon Quick Suite 聊天代理后立即设置对话和反馈日志。

以下是您可以在 Amazon Quick Suite 中使用对话日志和回复反馈完成的任务示例:

  • 通过查看聊天消息内容,找出常见的用户查询和难点。

  • 通过查看 feedbackReason 等指标来监控回复的质量。

  • 通过分析反馈数据(包括评论和有用性评级)来了解用户的情绪和满意度。

  • 生成自定义控制面板和报告,以跟踪一段时间内的关键指标和趋势。

重要

源自对话的日志可能包含聊天中传递的敏感信息或个人身份数据。在设置日志订阅时,您可以从日志中筛选出这些信息。或者,您可以使用日志屏蔽策略屏蔽 CloudWatch 日志中的这些数据。有关更多信息,请参阅 Help protect sensitive log data with masking

支持的日志目标

Amazon Quick Suite 可以将日志传送到以下目的地:

  • Amazon CloudWatch 日志-用于实时监控和分析

  • Amazon S3-用于长期存储和批处理

  • Amazon Data Firehose-用于流媒体分析和数据转换

先决条件

在启用日志记录之前,请确保您已具备以下条件:

  • 具有企业版或专业版订阅的有效 Amazon Quick Suite 实例

  • 配置日志传输的相应 IAM 权限

  • 为您的日志配置的目的地(日CloudWatch 志、Amazon S3 存储桶或 Firehose)

配置日志记录

要启用 Amazon Quick Suite 聊天和反馈的日志记录,您需要配置 IAM 权限,创建传送源和目标,并验证日志是否已成功传送。

设置 IAM 权限

要为 Amazon Quick Suite 设置 CloudWatch 日志,请使用以下 IAM 策略示例来授予必要的权限。

{ "Version": "2012-10-17" , "Statement": [{ "Sid": "QuicksightLogDeliveryPermissions", "Effect": "Allow", "Action": "quicksight:AllowVendedLogDeliveryForResource", "Resource": "arn:aws:quicksight:region:account-id:account/account-id" }] }

您还必须在客户托管 AWS KMS 密钥策略中允许delivery.logs.amazonaws.com服务主体。

{ "Effect": "Allow" , "Principal": { "Service": "delivery.logs.amazonaws.com" }, "Action": [ "kms:GenerateDataKey", "kms:Decrypt" ], "Resource": "*", "Condition": { "StringEquals": { "kms:EncryptionContext:SourceArn": "arn:partition:logs:region:account-id:*" } } }

配置日志订阅

例如,具有特定日志目标所需的所有权限的 IAM 策略,请参阅 A mazon Log CloudWatch s 用户指南中的启用 AWS 服务日志记录。

使用PutDeliverySource CloudWatch 日志 API 操作创建传送源。为传输来源命名,然后为 resourceArn 指定应用程序的 ARN。对于logType,请指定CHAT_LOGSFEEDBACK_LOGS

{ "logType": "CHAT_LOGS", "name": "my-quick-suite-delivery-source", "resourceArn": "arn:aws:quicksight:your-region:your-account-id:account/account-id" }
{ "logType": "FEEDBACK_LOGS", "name": "my-quick-suite-delivery-source", "resourceArn": "arn:aws:quicksight:your-region:your-account-id:account/account-id" }

要使用 CloudWatch 日志 API 操作启用用户对话日志记录,请调用PutDeliverySourcePutDeliveryDestination、和 CreateDelivery API 操作。

注意

将提供输入中资源 ARN 中提及的区域的日志。PutDeliverySource

验证日志传送

配置完成后,请验证日志是否已传送到您的目的地:

  • 验证设置:使用 CloudWatch 日志中的 DescribeDeliveries API 验证账户中已创建的交付列表。

  • CloudWatch 日志:检查指定的日志组中是否有新的日志流。

  • Amazon S3:监控您的存储桶中是否有新的日志文件。

  • Firehose:验证数据是否流经您的交付流。

日志架构和格式

Amazon Quick Suite 日志遵循结构化架构,所有日志类型共享公共字段,聊天和反馈日志的特定字段共享这些字段。

通用字段

所有日志事件都包含以下常用字段:

  • resourceArn-您的亚马逊 Quick Suite 账户的资源 ARN(例如,)arn:aws:quicksight:us-east-1:111122223333:account/111122223333:

  • eventTimestamp-事件的 ISO 8601 时间戳(例如,)1763532110061

  • logType-日志类型(例如,ChatFeedback

  • accountId- AWS 账户 ID(例如,123456789012

  • userArn-与活动关联的 Amazon Quick Suite 用户 ARN(例如,)"arn:aws:quicksight:us-west-2:111122223333:user/default/user"

  • userType-与事件关联的 Amazon Quick Suite 用户类型(例如,ADMIN_PRO

  • nameSpace-事件的 Amazon Quick Suite 命名空间(例如,default

  • statusCode-活动交付的状态(例如Successrequest_blockedno_answer_found

聊天日志

聊天记录会话互动并包含以下字段:

  • conversationId-用户对话的唯一 ID

  • systemMessageId-系统生成的消息 ID

  • latency-聊天消息延迟(以毫秒为单位)

  • timeToFirstToken-第一个响应令牌的时间(以毫秒为单位)

  • messageScope-消息的范围

  • userMessageId-用户消息的唯一 ID

  • userMessage-对话中的用户消息

  • agentId-聊天代理的唯一 ID

  • flowId-Amazon Quick Suite Flow 的唯一 ID

  • systemTextMessage-对话中的短信

  • surfaceType-正在使用应用程序进行对话

  • webSearch-是否需要网络搜索

  • userSelectedResources-用户选择的资源列表

  • actionConnectors-动作连接器列表

  • citedResource-被引资源清单

  • fileAttachment-用户附加的文件清单

以下是聊天日志的示例:

{ "conversationId": "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "systemMessageId": "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "latency": "10000", "timeToFirstToken": "10000", "messageScope": "General Knowledge, ALL etc", "userMessageId": "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "userMessage": "What is the status of my project?", "agentId": "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "flowId": "a11b2bbc-c123-3abc-a12b-12a34b5c678d?", "systemTextMessage": "What is the status of my project?", "surfaceType": "Slack, WebApp etc.", "webSearch": "TRUE" "userSelectedResources": [{"resource_type": "Dashboard","resource_id": "146abs-1222-534894"},{"resource_type": "Space","resource_id": "123abs-1234-534894"}], "actionConnectors": [{"user_selected_resource_type": "Dashboard","resource_id": "146abs-1222-534894"},{"user_selected_resource_type": "Space","resource_id": "123abs-1234-534894"}] "citedResource": [{"cited_resource_name": "Dashboard","cited_resource_id": "146abs-1222-534894","cited_resource_name": "ds1"},{"cited_resource_name": "Space","cited_resource_id": "123abs-1234-534894","cited_resource_name": "space1"}], "fileAttachment": [{"file_attachmet_type": "pdf","file_attachment_name": "file1.pdf"},{"file_attachmet_type": "txt","file_attachment_name": "file2.txt"}] }

反馈日志

反馈日志记录了用户对聊天的反馈,并包含以下字段:

  • conversationId-对话的唯一 ID

  • researchId-研究的唯一 ID

  • systemMessageId-系统生成的消息 ID

  • userMessageId-用户消息的唯一 ID

  • feedback_type-反馈类型

  • feedback_reason-反馈原因

  • feedback_details-反馈中的短信

  • rating-用户提供的评分

以下是反馈日志的示例:

Chat Feedback: "conversationId": "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "researchId": "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "systemMessageId": "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "userMessageId" : "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "feedback_type" :"thumbsUp,thumbsDown,ease_of_use etc." "feedback_reason" : "Too wordy,Issue with sources,Other etc." "feedback_details" : "additional text shared by user" "rating" : "thumbsUp,thumbsDown,ease_of_use etc."

安全性注意事项

  • 加密:对敏感数据使用客户管理的 AWS KMS 密钥

  • 访问控制:实施最低权限的 IAM 策略

  • 数据保留:根据您的合规性要求配置适当的保留策略