翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

CloudWatch Logs を使用した Amazon Quick Suite チャットとフィードバックのモニタリング

Amazon CloudWatch Logs を使用して、Amazon Quick Suite でユーザーの会話とレスポンスのフィードバックを提供して、分析できます。これらのログは、CloudWatch、Amazon S3、 などの複数の送信先に配信できます (標準料金が適用されます）。Amazon Quick Suite チャットエージェントを作成したら、すぐに会話とフィードバックのログ記録を設定することをお勧めします。

以下は、Amazon Quick Suite での会話とレスポンスのフィードバックからのログを使用して完了できるタスクの例です。

サポートされているログの送信先

Amazon Quick Suite は、次の宛先にログを配信できます。

前提条件

ログ記録を有効にする前に、以下を確認してください。

ログ記録の設定

Amazon Quick Suite のチャットとフィードバックのログ記録を有効にするには、IAM アクセス許可を設定し、配信ソースと配信先を作成し、ログが正常に配信されていることを確認する必要があります。

IAM 許可をセットアップする

Amazon Quick Suite の CloudWatch Logs を設定するには、次の IAM ポリシー例を使用して必要なアクセス許可を付与します。

{
    "Version": "2012-10-17"		 	 	 ,
    "Statement": [{
        "Sid": "QuicksightLogDeliveryPermissions",
        "Effect": "Allow",
        "Action": "quicksight:AllowVendedLogDeliveryForResource",
        "Resource": "arn:aws:quicksight:region:account-id:account/account-id"
    }]
}

また、カスタマーマネージド AWS KMS キーポリシーでdelivery.logs.amazonaws.comサービスプリンシパルを許可する必要があります。

{
    "Effect": "Allow"		 	 	 ,
    "Principal": {
        "Service": "delivery.logs.amazonaws.com"
    },
    "Action": [
        "kms:GenerateDataKey",
        "kms:Decrypt"
    ],
    "Resource": "*",
    "Condition": {
        "StringEquals": {
            "kms:EncryptionContext:SourceArn": "arn:partition:logs:region:account-id:*"
        }
    }
}

ログサブスクリプションを設定する

特定のログ記録先に必要なすべてのアクセス許可を持つ IAM ポリシーの例については、Amazon CloudWatch Logs ユーザーガイド」の AWS 「サービスからのログ記録を有効にする」を参照してください。

PutDeliverySource CloudWatch Logs API オペレーションを使用して配信ソースを作成します。配信ソースに名前を付け、resourceArn でアプリケーションの ARN を指定します。の場合はlogType、 CHAT_LOGSまたは を指定します。 FEEDBACK_LOGS

{
    "logType": "CHAT_LOGS",
    "name": "my-quick-suite-delivery-source",
    "resourceArn": "arn:aws:quicksight:your-region:your-account-id:account/account-id"
}

{
    "logType": "FEEDBACK_LOGS",
    "name": "my-quick-suite-delivery-source",
    "resourceArn": "arn:aws:quicksight:your-region:your-account-id:account/account-id"
}

CloudWatch Logs API オペレーションでユーザー会話のログ記録を有効にするには、PutDeliverySource、PutDeliveryDestination、および CreateDelivery API オペレーションを呼び出します。

ログ配信の検証

設定したら、ログが送信先に配信されていることを確認します。

ログスキーマと形式

Amazon Quick Suite ログは、すべてのログタイプで共有される共通フィールドと、チャットログとフィードバックログの特定のフィールドを含む構造化スキーマに従います。

共通フィールド

すべてのログイベントには、次の共通フィールドが含まれます。

チャットログ

チャットログは会話のやり取りをキャプチャし、以下のフィールドを含みます。

チャットログの例を次に示します。

{
    "conversationId": "a11b2bbc-c123-3abc-a12b-12a34b5c678d",
    "systemMessageId": "a11b2bbc-c123-3abc-a12b-12a34b5c678d",
    "latency": "10000", 
    "timeToFirstToken": "10000",
    "messageScope": "General Knowledge, ALL etc",
    "userMessageId": "a11b2bbc-c123-3abc-a12b-12a34b5c678d",
    "userMessage": "What is the status of my project?",
    "agentId": "a11b2bbc-c123-3abc-a12b-12a34b5c678d",
    "flowId": "a11b2bbc-c123-3abc-a12b-12a34b5c678d?",
    "systemTextMessage": "What is the status of my project?",
    "surfaceType": "Slack, WebApp etc.",
    "webSearch": "TRUE"
    "userSelectedResources": [{"resource_type": "Dashboard","resource_id": "146abs-1222-534894"},{"resource_type": "Space","resource_id": "123abs-1234-534894"}],
    "actionConnectors": [{"user_selected_resource_type": "Dashboard","resource_id": "146abs-1222-534894"},{"user_selected_resource_type": "Space","resource_id": "123abs-1234-534894"}]
    "citedResource": [{"cited_resource_name": "Dashboard","cited_resource_id": "146abs-1222-534894","cited_resource_name": "ds1"},{"cited_resource_name": "Space","cited_resource_id": "123abs-1234-534894","cited_resource_name": "space1"}],
    "fileAttachment": [{"file_attachmet_type": "pdf","file_attachment_name": "file1.pdf"},{"file_attachmet_type": "txt","file_attachment_name": "file2.txt"}]
}

フィードバックログ

フィードバックログは、チャットに関するユーザーフィードバックをキャプチャし、以下のフィールドを含みます。

フィードバックログの例を次に示します。

Chat Feedback: 
    "conversationId": "a11b2bbc-c123-3abc-a12b-12a34b5c678d",
    "researchId": "a11b2bbc-c123-3abc-a12b-12a34b5c678d",
    "systemMessageId": "a11b2bbc-c123-3abc-a12b-12a34b5c678d",
    "userMessageId" : "a11b2bbc-c123-3abc-a12b-12a34b5c678d",
    "feedback_type" :"thumbsUp,thumbsDown,ease_of_use etc."
    "feedback_reason" : "Too wordy,Issue with sources,Other etc."
    "feedback_details" : "additional text shared by user"
    "rating" : "thumbsUp,thumbsDown,ease_of_use etc."

セキュリティに関する考慮事項