Pantau Amazon Q di Connect dengan menggunakan CloudWatch Log - Amazon Connect
Izin IAM yang diperlukanMengaktifkan pencatatanJenis log yang didukungPeriksa kuota CloudWatch LogMendokumentasikan CloudWatch Acara dengan menggunakan Interactive HandlerContoh kueri umum untuk men-debug log asisten

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Pantau Amazon Q di Connect dengan menggunakan CloudWatch Log

Untuk mendapatkan visibilitas ke rekomendasi real-time yang diberikan Amazon Q in Connect kepada agen Anda, dan maksud pelanggan yang dideteksi melalui pemahaman bahasa alami, Anda dapat melakukan kueri Log. CloudWatch CloudWatch Log memberi Anda visibilitas ke seluruh perjalanan kontak: percakapan, pemicu, maksud, rekomendasi. Anda juga dapat menggunakan informasi ini untuk debugging, atau memberikannya Dukungan ketika Anda menghubungi mereka untuk meminta bantuan.

Topik ini menjelaskan cara mengaktifkan logging untuk Amazon Q di Connect.

Izin IAM yang diperlukan

Sebelum mengaktifkan pencatatan untuk Amazon Q di Connect assistant, periksa apakah Anda memiliki AWS Identity and Access Management izin berikut. Mereka diperlukan untuk akun pengguna yang masuk ke konsol Amazon Connect:

  • wisdom:AllowVendedLogDeliveryForResource: Diperlukan untuk mengizinkan log dikirimkan ke sumber daya asisten.

Untuk melihat contoh peran IAM dengan semua izin yang diperlukan untuk tujuan pencatatan tertentu, lihat Logging yang memerlukan izin tambahan [V2]. Topik tersebut berisi contoh untuk tujuan pencatatan yang berbeda, seperti log yang dikirim ke CloudWatch Log dan log yang dikirim ke Amazon S3 Contoh menunjukkan cara mengizinkan pembaruan ke sumber daya tujuan pencatatan tertentu.

Aktifkan pencatatan untuk Amazon Q di Connect

Untuk mengaktifkan pencatatan Amazon Q di Connect, Anda menggunakan CloudWatch API. Selesaikan langkah-langkah berikut:

  1. Dapatkan ARN Amazon Q Anda di Connect assistant (juga dikenal sebagai domainnya). Setelah membuat asisten, Anda dapat memperoleh ARN dari konsol Amazon Connect atau dengan memanggil API. GetAssistant ARN mengikuti format ini:

    arn:aws:wisdom:your-region:your-account-id:assistant/assistant-id

  2. Panggilan PutDeliverySource: Gunakan CloudWatch API ini untuk membuat sumber pengiriman untuk asisten. Lewati ARN asisten sebagai. resourceArn UntuklogType, tentukan EVENT_LOGS untuk mengumpulkan log dari asisten Anda.

    {
    "logType": "EVENT_LOGS",
    "name": "your-assistant-delivery-source",
    "resourceArn": "arn:aws:wisdom:your-region:your-account-id:assistant/assistant_id
}

  3. Panggilan PutDeliveryDestination: Gunakan CloudWatch API ini untuk mengonfigurasi di mana log akan disimpan. Anda dapat memilih CloudWatch Log, Amazon S3, atau Amazon Data Firehose sebagai tujuan untuk menyimpan log. Anda harus menentukan ARN dari salah satu opsi tujuan tempat log Anda disimpan. Anda dapat memilih log untuk menjadi salah satu dari yang berikut:json,plain,w3c,raw,parquet. outputFormat

    Contoh berikut menunjukkan cara mengkonfigurasi log yang akan disimpan dalam Amazon CloudWatch Logs Group dan dalam format JSON.

    {
    "deliveryDestinationConfiguration": {
        "destinationResourceArn": "arn:aws:logs:your-region:your-account-id:log-group:your-log-group-name:*"
    },
    "name": "string",
    "outputFormat": "json",
    "tags": {
        "key": "value"
    }
}

  4. Panggilan CreateDelivery: Gunakan CloudWatch API ini untuk menautkan sumber pengiriman ke tujuan pengiriman yang Anda buat di langkah sebelumnya. Operasi API ini mengaitkan sumber pengiriman dengan tujuan akhir.

    {
    "deliveryDestinationArn": "string",
    "deliverySourceName": "string",
    "tags": {
        "string": "string"
    }
}

Jenis log yang didukung

Amazon Q in Connect mendukung jenis log berikut:

  • EVENT_LOGS: Log yang melacak peristiwa Amazon Q di asisten Connect selama panggilan, obrolan, dan email.

Periksa kuota CloudWatch Log

Sebaiknya periksa titik akhir dan kuota Amazon CloudWatch Logs untuk melihat apakah ada kuota untuk membuat panggilan API terkait pengiriman CloudWatch Log. Kuota menetapkan jumlah maksimum kali Anda dapat memanggil API atau membuat sumber daya. Melebihi batas menghasilkan ServiceQuotaExceededException kesalahan.

Mendokumentasikan CloudWatch Acara dengan menggunakan Interactive Handler

Definisi Jenis Acara

Tabel berikut menjelaskan setiap jenis acara. Perhatikan bahwa jenis acara yang berbeda berisi bidang yang berbeda. Lihat Definisi Lapangan bagian untuk informasi rinci tentang setiap bidang.

EventType Definisi
TRANSCRIPT_CREATE_SESSION Tercatat saat sesi Amazon Q in Connect baru dibuat. Ini menandai awal dari sebuah percakapan.
TRANSCRIPT_INTENT_TRIGGERING_REFERENCE Tercatat saat maksud pelanggan tertentu terdeteksi dalam percakapan, yang dapat memicu respons atau alur kerja otomatis.
TRANSCRIPT_LARGE_LANGUAGE_MODEL_INVOCATION Login ketika model bahasa besar (LLM) dipanggil untuk menghasilkan tanggapan atau memproses konten percakapan. Merekam input dan output dari LLM.
TRANSCRIPT_QUERY_ASSISTANT Tercatat saat pencarian manual atau kueri langsung dilakukan ke Amazon Q di Connect
TRANSCRIPT_REKOMENDASI Logging ketika sistem memberikan rekomendasi kepada agen atau pelanggan, yang mungkin termasuk artikel pengetahuan, tanggapan yang dihasilkan, atau tindakan yang disarankan.
TRANSCRIPT_RESULT_FEEDBACK Log ketika umpan balik diberikan tentang kegunaan atau relevansi hasil pencarian atau kueri.
TRANSCRIPT_SELF_SERVICE_MESSAGE Tercatat saat pelanggan berinteraksi dengan komponen swalayan Amazon Q di Connect
TRANSCRIPT_SESSION_POLLED Log ketika sistem mendeteksi agen terhubung ke sesi (Sesi disurvei ketika panggilan GetRecommendations API telah dilakukan)
TRANSCRIPT_TRIGGER_DETECTION_MODEL_INVOCATION Tercatat saat model deteksi pemicu dipanggil untuk menentukan apakah percakapan memiliki maksud
TRANSCRIPT_UJARAN Log ketika pesan dikirim oleh setiap peserta dalam percakapan, merekam konten percakapan yang sebenarnya.

Definisi Lapangan

Tabel berikut menjelaskan setiap bidang.

Bidang Definisi
ai_agent_id Pengidentifikasi unik untuk Amazon Q di sumber daya agen Connect AI.
asistant_id Pengidentifikasi unik untuk Amazon Q di sumber daya asisten Connect.
completion Teks penyelesaian mentah dikembalikan oleh LLM atau dihasilkan untuk pesan.
connect_user_arn Nama Sumber Daya Amazon (ARN) dari pengguna Connect yang mengakses sesi.
event_timestamp Stempel waktu Unix (dalam milidetik) saat peristiwa terjadi.
event_type Jenis peristiwa, yang menunjukkan tindakan atau proses apa yang terjadi dalam sistem.
generation_id Pengidentifikasi unik untuk respons yang dihasilkan AI tertentu.
maksud Teks maksud atau deskripsi.
intent_clicked Boolean menunjukkan apakah rekomendasi dipicu oleh maksud yang diklik.
intent_id Pengidentifikasi unik untuk maksud yang terdeteksi.
isu_probabilitas Probabilitas numerik (0,0—1,0) bahwa masalah terdeteksi dalam percakapan (Probabilitas lebih besar dari 0,5 akan memanggil pembuatan maksud)
is_recommendation_useful Boolean menunjukkan apakah pengguna menemukan hasilnya bermanfaat.
is_valid_trigger Boolean menunjukkan apakah analisis model deteksi menghasilkan pemicu yang valid.
model_id Pengidentifikasi model AI yang digunakan untuk memanggil LLM.
parsed_response processed/parsed Versi respon model bahasa, seringkali dalam format terstruktur.
cepat Prompt input digunakan untuk memanggil LLM.
prompt_type Jenis Amazon Q di prompt Connect yang digunakan untuk memproses pesan atau kueri.
usulan Konten teks rekomendasi aktual yang diberikan kepada pengguna
rekomendasi_id Pengidentifikasi unik untuk rekomendasi.
response Teks respons akhir yang dihasilkan untuk pengguna setelah diproses.
session_event_id Pengenal unik untuk acara tertentu dalam sesi.
session_event_id Daftar pengidentifikasi acara sesi.
session_id Pengidentifikasi unik untuk Amazon Q di sesi Connect.
session_message_id Pengidentifikasi unik untuk pesan swalayan dalam sesi.
session_name Nama sesi.
ucapan Teks pesan yang sebenarnya dipertukarkan dalam percakapan.

Contoh log asisten

Di bawah ini adalah contoh log peristiwa yang berbeda untuk setiap jenis acara. Lihat Definisi Jenis Acara bagian untuk penjelasan rinci dari setiap jenis acara.

CreateSession


{
    "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678",
    "event_timestamp": 1729530173612,
    "event_type": "TRANSCRIPT_CREATE_SESSION",
    "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa",
    "session_name": "nabbccdd-9999-4b23-aaee-112233445566"
}

IntentTriggeringReference


{
    "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678",
    "event_timestamp": 1729530173623,
    "event_type": "TRANSCRIPT_INTENT_TRIGGERING_REFERENCE",
    "intent": "To learn about how to autoscale DynamoDB.",
    "intent_id": "i78bc90-1234-4dce-8012-f0e1d2c3b4a5",
    "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa"
}

LargeLanguageModelInvocation

Reformulasi Kueri


{
    "ai_agent_id": "ai112233-7a85-4b3c-8def-0123456789ab",
    "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678",
    "completion": "<query>The customer is asking for information on how to autoscale DynamoDB.</query>",
    "event_timestamp": 1729530173645,
    "event_type": "TRANSCRIPT_LARGE_LANGUAGE_MODEL_INVOCATION",
    "generation_id": "gabc1234-9def-47ff-bb88-abcdefabcdef",
    "intent_id": "i78bc90-1234-4dce-8012-f0e1d2c3b4a5"
    "model_id": "us.amazon.nova-lite-v1:0",
    "parsed_response": "The customer is asking for information on how to autoscale DynamoDB.",
    "prompt": "{\"anthropic_version\":\"bedrock-2023-05-31\",\"max_tokens\":1024,\"system\":\"You are a...\"}",
    "prompt_type": "BEDROCK_KB_QUERY_REFORMULATION",
    "session_event_id": "seaa9988-2233-4f44-8899-abcabcabcabc",
    "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa"
}

Deteksi Niat


{
    "ai_agent_id": "ai112233-7a85-4b3c-8def-0123456789ab",
    "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678",
    "completion": "no</malice>\n  - Step 2. <specific>yes</specific>\n  - Step 3. <intent>To learn how to autoscale DynamoDB.</intent>",
    "event_timestamp": 1729530173645,
    "event_type": "TRANSCRIPT_LARGE_LANGUAGE_MODEL_INVOCATION",
    "generation_id": "gabc1234-9def-47ff-bb88-abcdefabcdef",
    "intent_id": "i78bc90-1234-4dce-8012-f0e1d2c3b4a5"
    "model_id": "us.amazon.nova-lite-v1:0",
    "parsed_response": "To learn how to autoscale DynamoDB.",
    "prompt": "{\"anthropic_version\":\"bedrock-2023-05-31\",\"max_tokens\":1024,\"system\":\"You are a...\"}",
    "prompt_type": "GENERATIVE_INTENT_DETECTION",
    "session_event_id": "seaa9988-2233-4f44-8899-abcabcabcabc",
    "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa"
}

Generasi Jawaban Niat


{
    "ai_agent_id": "ai112233-7a85-4b3c-8def-0123456789ab",
    "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678",
    "completion": "{\"citations\":[{\"citation\":{\"generatedResponsePart\":{\"textResponsePart\":{\"span\":{\"end\":1065,\"start\":0},\"text\":\"\\nDynamoDB auto s\"}}}}]}",
    "event_timestamp": 1729530173645,
    "event_type": "TRANSCRIPT_LARGE_LANGUAGE_MODEL_INVOCATION",
    "generation_id": "gabc1234-9def-47ff-bb88-abcdefabcdef",
    "intent_id": "i78bc90-1234-4dce-8012-f0e1d2c3b4a5",
    "model_id": "us.anthropic.claude-3-7-sonnet-20250219-v1:0",
    "parsed_response": "DynamoDB auto scaling works by creating CloudWatch alarms that monitor your table's activity. When the...",
    "prompt": "{\"input\":{\"text\":\"The customer is seeking information on how to autoscale DynamoDB. Key utterance: \\\"How can \"}}",
    "prompt_type": "BEDROCK_KB_GENERATIVE_ANSWER",
    "session_event_id": "seaa9988-2233-4f44-8899-abcabcabcabc",
    "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa"
}

Generasi Pencarian Manual


{
    "ai_agent_id": "ai112233-7a85-4b3c-8def-0123456789ab",
    "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678",
    "completion": "no</malice>\n  - Step 2. <specific>yes</specific>\n  - Step 3. <intent>To learn how to autoscale DynamoDB.</intent>",
    "event_timestamp": 1729530173645,
    "event_type": "TRANSCRIPT_LARGE_LANGUAGE_MODEL_INVOCATION",
    "generation_id": "gabc1234-9def-47ff-bb88-abcdefabcdef",
    "intent_id": "i78bc90-1234-4dce-8012-f0e1d2c3b4a5",
    "model_id": "us.anthropic.claude-3-7-sonnet-20250219-v1:0",
    "parsed_response": "DynamoDB auto scaling works by creating CloudWatch alarms that monitor...",
    "prompt": "{\"anthropic_version\":\"bedrock-2023-05-31\",\"max_tokens\":1024,\"system\":\"You are a...\"}",
    "prompt_type": "BEDROCK_KB_GENERATIVE_ANSWER",
    "session_id": "******************-*****************"
}

QueryAssistant


{
    "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678",
    "event_timestamp": 1729530173667,
    "event_type": "TRANSCRIPT_QUERY_ASSISTANT",
    "recommendation_id": "r0001112-3f4e-4fa5-9111-aabbccddeeff",
    "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa"
}

Rekomendasi


{
    "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678",
    "event_timestamp": 1729530173656,
    "event_type": "TRANSCRIPT_RECOMMENDATION",
    "intent_clicked": 1,
    "intent_id": "i78bc90-1234-4dce-8012-f0e1d2c3b4a5",
    "recommendation_id": "r0001112-3f4e-4fa5-9111-aabbccddeeff",
    "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa"
}

ResultFeedback


{
    "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678",
    "event_timestamp": 1729530173667,
    "event_type": "TRANSCRIPT_RESULT_FEEDBACK",
    "generation_id": "gabc1234-9def-47ff-bb88-abcdefabcdef",
    "is_recommendation_useful": 1,
    "recommendation_id": "r0001112-3f4e-4fa5-9111-aabbccddeeff"
}

SelfServiceMessage


{
    "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678",
    "completion": "{\"citations\":[{\"generatedResponsePart\":{\"textResponsePart\":{\"span\":{\"end\":276,\"start\":0},\"text\":\"To autoscale Amazon DynamoDB...\"}}]}",
    "event_timestamp": 1729530173678,
    "event_type": "TRANSCRIPT_SELF_SERVICE_MESSAGE",
    "model_id": "us.amazon.nova-pro-v1:0",
    "parsed_response": "To autoscale Amazon DynamoDB, follow these steps:...",
    "prompt": "{\"input\":{\"text\":\"how to autoscale dynamodb\"},\"retrieveAndGenerateConfiguration\":...}",
    "prompt_type": "SELF_SERVICE_ANSWER_GENERATION",
    "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa",
    "session_message_id": "mdee1234-5678-4eab-9333-ffeebb998877",
    "utterance": "[Customer] How can I autoscale DyanmoDB?"
}

TranscriptSessionPolled


{
    "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678",
    "connect_user_arn": "arn:aws:connect:us-east-1:204585150770:instance/seaa9988-2233-4f44-8899-abcabcabcabc/agent/agbbccdd-9999-4b23-aaee-112233445566",
    "event_timestamp": 1729530173623,
    "event_type": "TRANSCRIPT_SESSION_POLLED",
    "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa",
    "session_name": "nabbccdd-9999-4b23-aaee-112233445566"
}

TriggerDetectionModelInvocation


{
    "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678",
    "event_timestamp": 1729530173634,
    "event_type": "TRANSCRIPT_TRIGGER_DETECTION_MODEL_INVOCATION",
    "is_valid_trigger": 1,
    "issue_probability": "0.87",
    "session_event_id": "seaa9988-2233-4f44-8899-abcabcabcabc",
    "session_event_ids": ["seaa9988-2233-4f44-8899-abcabcabcabc"],
    "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa"
}

Ucapan


{
    "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678",
    "event_timestamp": 1729530173623,
    "event_type": "TRANSCRIPT_UTTERANCE",
    "session_event_id": "seaa9988-2233-4f44-8899-abcabcabcabc",
    "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa",
    "utterance": "[Customer] My laptop won't connect to WiFi after the recent update"
}

Contoh kueri umum untuk men-debug log asisten

Anda dapat berinteraksi dengan log dengan menggunakan kueri. Misalnya, Anda dapat menanyakan semua peristiwa dalam sesi dengan menggunakanSESSION_NAME.

Berikut ini adalah dua query umum untuk mengembalikan semua log yang dihasilkan untuk sesi tertentu.

  • filter session_name = "SessionName"

  • filter session_id = "SessionId"