CloudWatch Logs を使用した Amazon Quick 使用状況のモニタリング - Amazon Quick

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

CloudWatch Logs を使用した Amazon Quick 使用状況のモニタリング

Amazon CloudWatch Logs を使用して、Amazon Quick でチャット会話、ユーザーフィードバック、エージェント/研究時間の使用状況を配信し、分析できます。これらのログは、CloudWatch、Amazon S3、Amazon Data Firehose などの複数の宛先に配信できます (標準料金が適用されます)。Amazon Quick AI 機能を有効にした直後に、販売ログを設定することをお勧めします。

Amazon Quick のログを使用して実行できるタスクの例を次に示します。

  • チャットメッセージの内容を確認して、一般的なユーザークエリと問題点を特定する。

  • feedbackReason などのメトリクスを確認して、応答の品質をモニタリングする。

  • コメントや有用性評価などのフィードバックデータを分析することで、ユーザーの感情と満足度を理解する。

  • カスタムダッシュボードとレポートを生成して、主要なメトリクスと傾向を経時的に追跡する。

  • チャットが応答を返さないか、ユーザークエリがブロックされたケースを特定して分析する

  • エージェントと研究時間の使用状況をモニタリングする

重要

会話のログには、チャットで渡される機密データや個人を特定できるデータが含まれる場合があります。ログサブスクリプションを設定するときに、ログからこの情報を除外できます。または、CloudWatch Logs マスキングポリシーを使用して、ログでこのデータをマスキングすることもできます。詳細については、「Help protect sensitive log data with masking」を参照してください。

サポートされているログの送信先

Amazon Quick は、次の宛先にログを配信できます。

  • Amazon CloudWatch Logs - リアルタイムのモニタリングと分析用

  • Amazon S3 - 長期ストレージとバッチ処理用

  • Amazon Data Firehose - ストリーミング分析とデータ変換用

前提条件

ログ記録を有効にする前に、以下を確認してください。

  • Enterprise または Professional サブスクリプションを使用するアクティブな Amazon Quick インスタンス

  • ログ配信を設定するための適切な IAM アクセス許可

  • ログ用に設定された送信先 (CloudWatch Logs、Amazon S3 バケット、または Firehose)

のログ記録の設定

Amazon Quick Chat とフィードバックのログ記録を有効にするには、IAM アクセス許可を設定し、配信ソースと配信先を作成し、ログが正常に配信されていることを確認する必要があります。

IAM 許可をセットアップする

Amazon Quick の CloudWatch Logs を設定するには、次の IAM ポリシー例を使用して必要なアクセス許可を付与します。

{ "Version": "2012-10-17" , "Statement": [{ "Sid": "QuicksightLogDeliveryPermissions", "Effect": "Allow", "Action": "quicksight:AllowVendedLogDeliveryForResource", "Resource": "arn:aws:quicksight:region:account-id:account/account-id" }] }

また、カスタマーマネージド AWS KMS キーポリシーでdelivery.logs.amazonaws.comサービスプリンシパルを許可する必要があります。

{ "Effect": "Allow" , "Principal": { "Service": "delivery.logs.amazonaws.com" }, "Action": [ "kms:GenerateDataKey", "kms:Decrypt" ], "Resource": "*", "Condition": { "StringEquals": { "kms:EncryptionContext:SourceArn": "arn:partition:logs:region:account-id:*" } } }

ログサブスクリプションを設定する

特定のログ記録先に必要なすべてのアクセス許可を持つ IAM ポリシーの例については、Amazon CloudWatch Logs ユーザーガイド」の AWS 「サービスからのログ記録を有効にする」を参照してください。

PutDeliverySource CloudWatch Logs API オペレーションを使用して配信ソースを作成します。配信ソースに名前を付け、resourceArn でアプリケーションの ARN を指定します。の場合はlogTypeCHAT_LOGS、、AGENT_HOURS_LOGSまたは を指定します。 FEEDBACK_LOGS

{ "logType": "CHAT_LOGS", "name": "my-quick-suite-delivery-source", "resourceArn": "arn:aws:quicksight:your-region:your-account-id:account/account-id" }
{ "logType": "FEEDBACK_LOGS", "name": "my-quick-suite-delivery-source", "resourceArn": "arn:aws:quicksight:your-region:your-account-id:account/account-id" }
{ "logType": "AGENT_HOURS_LOGS", "name": "my-quick-suite-delivery-source", "resourceArn": "arn:aws:quicksight:your-region:your-account-id:account/account-id" }

CloudWatch Logs API オペレーションでユーザー会話のログ記録を有効にするには、PutDeliverySourcePutDeliveryDestination、および CreateDelivery API オペレーションを呼び出します。

注記

ログは、PutDeliverySource入力のリソース ARN に記載されているリージョンで使用できます。

ログ配信の検証

設定したら、ログが送信先に配信されていることを確認します。

  • セットアップを確認する: CloudWatch Logs の DescribeDeliveries API を使用して、アカウントで作成された配信のリストを確認します。

  • CloudWatch Logs: 指定されたロググループで新しいログストリームを確認します。

  • Amazon S3: 新しいログファイルがないかバケットをモニタリングします。

  • Firehose: データが配信ストリームを流れることを確認します。

ログスキーマと形式

Amazon Quick Logs は、チャットログとフィードバックログのすべてのログタイプと特定のフィールドで共有される共通のフィールドを持つ構造化スキーマに従います。

共通フィールド

すべてのログイベントには、次の共通フィールドが含まれます。

  • resource_arn - Amazon Quick アカウントのリソース ARN (例: arn:aws:quicksight:us-east-1:111122223333:account/111122223333:)

  • event_timestamp - イベントの ISO 8601 タイムスタンプ (例: 1763532110061)

  • logType - ログのタイプ (例: Chatまたは Feedback)

  • accountId - AWS アカウント ID (例: 123456789012)

  • user_arn - イベントに関連付けられた Amazon Quick ユーザー ARN (例: "arn:aws:quicksight:us-west-2:111122223333:user/default/user")

チャットログ

チャットログは会話のやり取りをキャプチャし、以下のフィールドを含みます。

  • status_code - チャットリクエストのステータス (例: Success, request_blocked, no_answer_found )

  • namespace* - イベントの Amazon Quick 名前空間 (例: default)

  • user_type - イベントに関連付けられた Amazon Quick ユーザータイプ (例: ADMIN_PRO)

  • conversation_id - ユーザー会話の一意の ID

  • system_message_id - システムによって生成されたメッセージ ID

  • latency* - ミリ秒単位のチャットメッセージのレイテンシー

  • time_to_first_token* - 最初のレスポンストークンのミリ秒単位の時間

  • message_scope - メッセージの範囲 (例: all_resources, specific_resources, no_resources )

  • user_message_id - ユーザーメッセージの一意の ID

  • user_message - 会話のユーザーメッセージ

  • agent_id - チャットエージェントの一意の ID

  • flow_id - Amazon Quick Flow の一意の ID

  • system_text_message - 会話中のシステムレスポンス

  • surface_type* - 会話に使用されているアプリケーション

  • web_search* - ウェブ検索が有効かどうか

  • user_selected_resources- ユーザーによって選択されたリソースのリスト

  • action_connectors - アクションコネクタのリスト

  • cited_resource - 引用されたリソースのリスト

  • file_attachment - ユーザーによってアタッチされたファイルのリスト

チャットログの例を次に示します。

{ "status_code": "success", "namespace": "default", "user_type": "ADMIN_PRO", "conversation_id": "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "system_message_id": "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "latency": "10000", "time_to_first_token": "10000", "message_scope": "all_resources", "user_message_id": "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "user_message": "Hi chat", "agent_id": "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "flow_id": "a11b2bbc-c123-3abc-a12b-12a34b5c678d?", "system_text_message": "Hello user", "surface_type": "WEB_EXPERIENCE", "web_search": "true" "user_selected_resources": [{"resource_type": "Dashboard","resource_id": "146abs-1222-534894"},{"resource_type": "Space","resource_id": "123abs-1234-534894"}], "action_connectors": [{"action_connector_id": "quicksight-website"},{"action_connector_id": "123abs-1234-534894"}] "cited_resource": [{"cited_resource_name": "Dashboard","cited_resource_id": "146abs-1222-534894","cited_resource_name": "ds1"},{"cited_resource_name": "Space","cited_resource_id": "123abs-1234-534894","cited_resource_name": "space1"}], "file_attachment": [{"file_attachmet_type": "pdf","file_attachment_name": "file1.pdf"},{"file_attachmet_type": "txt","file_attachment_name": "file2.txt"}] }

フィードバックログ

フィードバックログは、チャットに関するユーザーフィードバックをキャプチャし、以下のフィールドを含みます。

  • status_code - イベント配信のステータス

  • namespace* - イベントの Amazon Quick 名前空間 (例: default)

  • user_type - イベントに関連付けられた Amazon Quick ユーザータイプ (例: ADMIN_PRO)

  • conversation_id - 会話の一意の ID

  • system_message_id - システムによって生成されたメッセージ ID

  • user_message_id - ユーザーメッセージの一意の ID

  • feedback_type - フィードバックのタイプ (例: Not Useful, Useful )

  • feedback_reason - ユーザーが選択したフィードバックの理由

  • feedback_details - (オプション) ユーザーが提供する追加の詳細

フィードバックログの例を次に示します。

{ "status_code": "success", "namespace": "default", "user_type": "ADMIN_PRO", "conversation_id": "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "system_message_id": "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "user_message_id" : "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "feedback_type" :"Not Useful / Useful" "feedback_reason" : "Too wordy,Issue with sources,Other etc." "feedback_details" : "additional text shared by user" }

エージェント/研究時間のログ

このログタイプは、料金に使用されるクイックアカウント内のさまざまなエージェントの使用状況ログをキャプチャします。

  • subscription_type - エンタープライズまたはプロフェッショナル

  • reporting_service - エージェントに対応するサービス: RESEARCH、FLOWS、AUTOMATIONS

  • usage_group - これまでのサブスクリプションタイプと使用状況Included or Extraに基づく

  • usage_hours - 特定のログインスタンスの使用時間を示す 10 進値

  • service_resource_arn - 対応するエージェントのサービスの ARN

エージェント時間ログの例を次に示します。

{ "subscription_type": "ENTERPRISE", "reporting_service": "RESEARCH", "usage_group": "Included", "usage_hours": 0.3333, "service_resource_arn": "arn:aws:quicksight:eu-west-1:111222333444:research/a11b2bbc-c123-3abc-a12b-12a34b5c678d" }
注記

* 「*」とマークされたフィールドは、デフォルトではログサブスクリプションに追加されません。これらは、必要に応じて CreateDelivery を呼び出すときに明示的に指定する必要があります。

セキュリティに関する考慮事項

  • 暗号化: 機密データにカスタマーマネージド AWS KMS キーを使用する

  • アクセスコントロール: 最小特権の IAM ポリシーを実装する

  • データ保持: コンプライアンス要件に適した保持ポリシーを設定する