Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Memantau obrolan dan umpan balik Amazon Quick Suite menggunakan CloudWatch Log
Anda dapat menggunakan Amazon CloudWatch Logs untuk menyampaikan percakapan pengguna dan umpan balik respons di Amazon Quick Suite untuk Anda analisis. Log ini dapat dikirimkan ke beberapa tujuan CloudWatch, seperti Amazon S3, atau (tarif standar berlaku). Kami menyarankan Anda mengatur pencatatan percakapan dan umpan balik segera setelah membuat agen obrolan Amazon Quick Suite Anda.
Berikut ini adalah contoh tugas yang dapat Anda selesaikan dengan log dari percakapan dan umpan balik respons di Amazon Quick Suite:
-
Identifikasi kueri pengguna umum dan titik nyeri dengan meninjau konten pesan obrolan.
-
Pantau kualitas respons dengan melihat metrik seperti
feedbackReason. -
Memahami sentimen dan kepuasan pengguna dengan menganalisis data umpan balik, termasuk komentar dan peringkat kegunaan.
-
Buat dasbor dan laporan khusus untuk melacak metrik dan tren utama dari waktu ke waktu.
penting
Log dari percakapan mungkin mencakup data sensitif atau dapat diidentifikasi secara pribadi yang diteruskan dalam obrolan. Anda dapat memfilter informasi ini dari log Anda saat menyiapkan langganan log. Atau Anda dapat menutupi data ini di log Anda menggunakan kebijakan penyembunyian CloudWatch Log. Untuk informasi selengkapnya, lihat Membantu melindungi data log sensitif dengan masking.
Tujuan log yang didukung
Amazon Quick Suite dapat mengirimkan log ke tujuan berikut:
-
Amazon CloudWatch Logs - Untuk pemantauan dan analisis real-time
-
Amazon S3 - Untuk penyimpanan jangka panjang dan pemrosesan batch
-
Amazon Data Firehose - Untuk analisis streaming dan transformasi data
Prasyarat
Sebelum Anda dapat mengaktifkan logging, pastikan Anda memiliki:
-
Instans Amazon Quick Suite aktif dengan langganan Enterprise atau Professional
-
Izin IAM yang sesuai untuk mengonfigurasi pengiriman log
-
Tujuan yang dikonfigurasi untuk log Anda (CloudWatch Log, bucket Amazon S3, atau Firehose)
Konfigurasikan log
Untuk mengaktifkan pencatatan obrolan dan umpan balik Amazon Quick Suite, Anda perlu mengonfigurasi izin IAM, membuat sumber dan tujuan pengiriman, dan memverifikasi bahwa log berhasil dikirim.
Siapkan izin IAM
Untuk menyiapkan CloudWatch Log untuk Amazon Quick Suite, gunakan contoh kebijakan IAM berikut untuk memberikan izin yang diperlukan.
{ "Version": "2012-10-17" , "Statement": [{ "Sid": "QuicksightLogDeliveryPermissions", "Effect": "Allow", "Action": "quicksight:AllowVendedLogDeliveryForResource", "Resource": "arn:aws:quicksight:region:account-id:account/account-id" }] }
Anda juga harus mengizinkan prinsip delivery.logs.amazonaws.com layanan dalam kebijakan AWS KMS kunci yang dikelola pelanggan Anda.
{ "Effect": "Allow" , "Principal": { "Service": "delivery.logs.amazonaws.com" }, "Action": [ "kms:GenerateDataKey", "kms:Decrypt" ], "Resource": "*", "Condition": { "StringEquals": { "kms:EncryptionContext:SourceArn": "arn:partition:logs:region:account-id:*" } } }
Konfigurasikan langganan log
Misalnya kebijakan IAM dengan semua izin yang diperlukan untuk tujuan pencatatan tertentu, lihat Mengaktifkan pencatatan dari AWS layanan di Panduan Pengguna CloudWatch Log Amazon.
Buat sumber pengiriman dengan operasi PutDeliverySource CloudWatch Logs API. Beri nama sumber pengiriman dan untukresourceArn, tentukan ARN aplikasi Anda. UntuklogType, tentukan CHAT_LOGS atau FEEDBACK_LOGS
{ "logType": "CHAT_LOGS", "name": "my-quick-suite-delivery-source", "resourceArn": "arn:aws:quicksight:your-region:your-account-id:account/account-id" }
{ "logType": "FEEDBACK_LOGS", "name": "my-quick-suite-delivery-source", "resourceArn": "arn:aws:quicksight:your-region:your-account-id:account/account-id" }
Untuk mengaktifkan pencatatan percakapan pengguna dengan operasi CloudWatch Logs API, Anda memanggil operasi PutDeliverySourcePutDeliveryDestination,, dan CreateDelivery API.
catatan
Log akan tersedia untuk wilayah yang disebutkan dalam ARN sumber daya di PutDeliverySource input.
Verifikasi pengiriman log
Setelah dikonfigurasi, verifikasi bahwa log sedang dikirim ke tujuan Anda:
-
Verifikasi penyiapan: Verifikasi daftar pengiriman yang telah dibuat di akun dengan menggunakan
DescribeDeliveriesAPI di CloudWatch Log. -
CloudWatch Log: Periksa grup log yang ditentukan untuk aliran log baru.
-
Amazon S3: Pantau bucket Anda untuk file log baru.
-
Firehose: Verifikasi data mengalir melalui aliran pengiriman Anda.
Skema log dan format
Log Amazon Quick Suite mengikuti skema terstruktur dengan bidang umum yang dibagikan di semua jenis log dan bidang tertentu untuk log obrolan dan umpan balik.
Bidang umum
Semua peristiwa log mencakup bidang umum ini:
-
resourceArn- Sumber daya ARN akun Amazon Quick Suite Anda (misalnya,)arn:aws:quicksight:us-east-1:111122223333:account/111122223333: -
eventTimestamp- Stempel waktu ISO 8601 acara (misalnya,)1763532110061 -
logType- Jenis log (misalnya,ChatatauFeedback) -
accountId- ID AWS akun (misalnya,123456789012) -
userArn- ARN pengguna Amazon Quick Suite terkait dengan acara (misalnya,)"arn:aws:quicksight:us-west-2:111122223333:user/default/user" -
userType- Jenis pengguna Amazon Quick Suite yang terkait dengan acara (misalnya,ADMIN_PRO) -
nameSpace- Namespace Amazon Quick Suite untuk acara tersebut (misalnya,)default -
statusCode- Status pengiriman acara (misalnya,Success,request_blocked,no_answer_found)
Log obrolan
Log obrolan menangkap interaksi percakapan dan berisi bidang di bawah ini:
-
conversationId- ID unik untuk percakapan pengguna -
systemMessageId- ID pesan yang dihasilkan sistem -
latency- Latensi pesan obrolan dalam milidetik -
timeToFirstToken- Waktu dalam milidetik token respons pertama -
messageScope- Lingkup pesan -
userMessageId- ID unik dari pesan pengguna -
userMessage- pesan pengguna dalam percakapan -
agentId- ID unik agen obrolan -
flowId- ID Unik dari Amazon Quick Suite Flow -
systemTextMessage- Pesan teks dalam percakapan -
surfaceType- Aplikasi yang digunakan untuk percakapan -
webSearch- Pencarian web diperlukan atau tidak -
userSelectedResources- Daftar sumber daya yang dipilih oleh pengguna -
actionConnectors- Daftar konektor aksi -
citedResource- Daftar sumber daya yang dikutip -
fileAttachment- Daftar file yang dilampirkan oleh pengguna
Berikut ini adalah contoh log obrolan:
{ "conversationId": "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "systemMessageId": "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "latency": "10000", "timeToFirstToken": "10000", "messageScope": "General Knowledge, ALL etc", "userMessageId": "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "userMessage": "What is the status of my project?", "agentId": "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "flowId": "a11b2bbc-c123-3abc-a12b-12a34b5c678d?", "systemTextMessage": "What is the status of my project?", "surfaceType": "Slack, WebApp etc.", "webSearch": "TRUE" "userSelectedResources": [{"resource_type": "Dashboard","resource_id": "146abs-1222-534894"},{"resource_type": "Space","resource_id": "123abs-1234-534894"}], "actionConnectors": [{"user_selected_resource_type": "Dashboard","resource_id": "146abs-1222-534894"},{"user_selected_resource_type": "Space","resource_id": "123abs-1234-534894"}] "citedResource": [{"cited_resource_name": "Dashboard","cited_resource_id": "146abs-1222-534894","cited_resource_name": "ds1"},{"cited_resource_name": "Space","cited_resource_id": "123abs-1234-534894","cited_resource_name": "space1"}], "fileAttachment": [{"file_attachmet_type": "pdf","file_attachment_name": "file1.pdf"},{"file_attachmet_type": "txt","file_attachment_name": "file2.txt"}] }
Log umpan balik
Log umpan balik menangkap umpan balik pengguna pada obrolan dan berisi bidang di bawah ini:
-
conversationId- ID unik percakapan -
researchId- ID unik penelitian -
systemMessageId- ID pesan yang dihasilkan sistem -
userMessageId- ID unik pesan pengguna -
feedback_type- Jenis umpan balik -
feedback_reason- Alasan umpan balik -
feedback_details- Pesan teks dalam umpan balik -
rating- Peringkat yang diberikan oleh pengguna
Berikut ini adalah contoh log umpan balik:
Chat Feedback: "conversationId": "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "researchId": "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "systemMessageId": "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "userMessageId" : "a11b2bbc-c123-3abc-a12b-12a34b5c678d", "feedback_type" :"thumbsUp,thumbsDown,ease_of_use etc." "feedback_reason" : "Too wordy,Issue with sources,Other etc." "feedback_details" : "additional text shared by user" "rating" : "thumbsUp,thumbsDown,ease_of_use etc."
Pertimbangan keamanan
-
Enkripsi: Gunakan AWS KMS kunci yang dikelola pelanggan untuk data sensitif
-
Kontrol akses: Menerapkan kebijakan IAM dengan hak istimewa paling rendah
-
Penyimpanan data: Konfigurasikan kebijakan retensi yang sesuai untuk persyaratan kepatuhan Anda