Memantau Connect agen AI dengan menggunakan CloudWatch Log - Amazon Connect
Izin IAM yang diperlukanMengaktifkan pencatatanJenis log yang didukungPeriksa kuota CloudWatch LogMendokumentasikan CloudWatch Acara dengan menggunakan Interactive HandlerContoh kueri umum untuk men-debug log asisten

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Memantau Connect agen AI dengan menggunakan CloudWatch Log

Untuk mendapatkan visibilitas ke dalam rekomendasi real-time yang diberikan agen Connect AI kepada agen Anda, dan maksud pelanggan yang mereka deteksi melalui pemahaman bahasa alami, Anda dapat meminta CloudWatch Log. CloudWatch Log memberi Anda visibilitas ke seluruh perjalanan kontak: percakapan, pemicu, maksud, rekomendasi. Anda juga dapat menggunakan informasi ini untuk debugging, atau memberikannya Dukungan ketika Anda menghubungi mereka untuk meminta bantuan.

Topik ini menjelaskan cara mengaktifkan logging untuk agen Connect AI.

Izin IAM yang diperlukan

Sebelum mengaktifkan pencatatan untuk asisten Connect, periksa apakah Anda memiliki AWS Identity and Access Management izin berikut. Mereka diperlukan untuk akun pengguna yang masuk ke konsol Amazon Connect:

  • wisdom:AllowVendedLogDeliveryForResource: Diperlukan untuk mengizinkan log dikirimkan ke sumber daya asisten.

Untuk melihat contoh peran IAM dengan semua izin yang diperlukan untuk tujuan pencatatan tertentu, lihat Logging yang memerlukan izin tambahan [V2]. Topik tersebut berisi contoh untuk tujuan pencatatan yang berbeda, seperti log yang dikirim ke CloudWatch Log dan log yang dikirim ke Amazon S3 Contoh menunjukkan cara mengizinkan pembaruan ke sumber daya tujuan pencatatan tertentu.

Aktifkan pencatatan untuk agen Connect AI

Untuk mengaktifkan pencatatan untuk agen Connect AI, Anda menggunakan CloudWatch API. Selesaikan langkah-langkah berikut:

  1. Dapatkan ARN asisten Anda (juga dikenal sebagai domainnya). Setelah membuat asisten, Anda dapat memperoleh ARN dari konsol Amazon Connect atau dengan memanggil API. GetAssistant ARN mengikuti format ini:

    arn:aws:wisdom:your-region:your-account-id:assistant/assistant-id

  2. Panggilan PutDeliverySource: Gunakan CloudWatch API ini untuk membuat sumber pengiriman untuk asisten. Lewati ARN asisten sebagai. resourceArn UntuklogType, tentukan EVENT_LOGS untuk mengumpulkan log dari asisten Anda.

    {
    "logType": "EVENT_LOGS",
    "name": "your-assistant-delivery-source",
    "resourceArn": "arn:aws:wisdom:your-region:your-account-id:assistant/assistant_id
}

  3. Panggilan PutDeliveryDestination: Gunakan CloudWatch API ini untuk mengonfigurasi di mana log akan disimpan. Anda dapat memilih CloudWatch Log, Amazon S3, atau Amazon Data Firehose sebagai tujuan untuk menyimpan log. Anda harus menentukan ARN dari salah satu opsi tujuan tempat log Anda disimpan. Anda dapat memilih log untuk menjadi salah satu dari yang berikut:json,plain,w3c,raw,parquet. outputFormat

    Contoh berikut menunjukkan cara mengkonfigurasi log yang akan disimpan dalam Amazon CloudWatch Logs Group dan dalam format JSON.

    {
    "deliveryDestinationConfiguration": {
        "destinationResourceArn": "arn:aws:logs:your-region:your-account-id:log-group:your-log-group-name:*"
    },
    "name": "string",
    "outputFormat": "json",
    "tags": {
        "key": "value"
    }
}

  4. Panggilan CreateDelivery: Gunakan CloudWatch API ini untuk menautkan sumber pengiriman ke tujuan pengiriman yang Anda buat di langkah sebelumnya. Operasi API ini mengaitkan sumber pengiriman dengan tujuan akhir.

    {
    "deliveryDestinationArn": "string",
    "deliverySourceName": "string",
    "tags": {
        "string": "string"
    }
}

Jenis log yang didukung

Agen Connect AI mendukung jenis log berikut:

  • EVENT_LOGS: Log yang melacak peristiwa asisten Connect selama panggilan, obrolan, tugas, dan email.

Periksa kuota CloudWatch Log

Sebaiknya periksa titik akhir dan kuota Amazon CloudWatch Logs untuk melihat apakah ada kuota untuk membuat panggilan API terkait pengiriman CloudWatch Log. Kuota menetapkan jumlah maksimum kali Anda dapat memanggil API atau membuat sumber daya. Melebihi batas menghasilkan ServiceQuotaExceededException kesalahan.

Mendokumentasikan CloudWatch Acara dengan menggunakan Interactive Handler

Definisi Jenis Acara

Tabel berikut menjelaskan setiap jenis acara. Perhatikan bahwa jenis acara yang berbeda berisi bidang yang berbeda. Lihat Definisi Bidang bagian untuk informasi rinci tentang setiap bidang.

EventType Definisi
TRANSCRIPT_CREATE_SESSION Masuk saat sesi agen Connect AI baru dibuat. Ini menandai awal dari sebuah percakapan.
TRANSCRIPT_INTENT_TRIGGERING_REFERENCE Tercatat saat maksud pelanggan tertentu terdeteksi dalam percakapan, yang dapat memicu respons atau alur kerja otomatis.
TRANSCRIPT_LARGE_LANGUAGE_MODEL_INVOCATION Masuk ketika model bahasa besar (LLM) dipanggil untuk menghasilkan tanggapan atau memproses konten percakapan. Merekam input dan output dari LLM.
TRANSCRIPT_QUERY_ASSISTANT Masuk ketika salah satu agen Connect AI berikut dipanggil: AnswerRecommendation,, CaseSummarization, EmailGenerativeAnswer, EmailOverview, EmailResponse ManualSearch, NoteTaking.
TRANSCRIPT_REKOMENDASI Logging ketika sistem memberikan rekomendasi kepada agen atau pelanggan, yang mungkin termasuk artikel pengetahuan, tanggapan yang dihasilkan, atau tindakan yang disarankan.
TRANSCRIPT_RESULT_FEEDBACK Log ketika umpan balik diberikan tentang kegunaan atau relevansi hasil pencarian atau kueri.
TRANSCRIPT_SELF_SERVICE_MESSAGE Login saat pelanggan berinteraksi dengan agen SelfService Connect AI
TRANSCRIPT_SESSION_POLLED Log ketika sistem mendeteksi agen terhubung ke sesi (Sesi disurvei ketika panggilan GetRecommendations API telah dilakukan)
TRANSCRIPT_TRIGGER_DETECTION_MODEL_INVOCATION Tercatat saat model deteksi pemicu dipanggil untuk menentukan apakah percakapan memiliki maksud
TRANSCRIPT_UJARAN Masuk ketika pesan dikirim oleh setiap peserta dalam percakapan, merekam konten percakapan yang sebenarnya.

Definisi Bidang

Tabel berikut menjelaskan setiap bidang.

Bidang Definisi
ai_agent_id Pengidentifikasi unik untuk sumber daya agen Connect AI.
asistant_id Pengenal unik untuk sumber daya Connect Assistant.
completion Teks penyelesaian mentah dikembalikan oleh LLM atau dihasilkan untuk pesan.
connect_user_arn Nama Sumber Daya Amazon (ARN) dari pengguna Connect yang mengakses sesi.
event_timestamp Stempel waktu Unix (dalam milidetik) saat peristiwa terjadi.
event_type Jenis peristiwa, yang menunjukkan tindakan atau proses apa yang terjadi dalam sistem.
generation_id Pengidentifikasi unik untuk respons yang dihasilkan AI tertentu.
maksud Teks maksud atau deskripsi.
intent_clicked Boolean menunjukkan apakah rekomendasi dipicu oleh maksud yang diklik.
intent_id Pengidentifikasi unik untuk maksud yang terdeteksi.
isu_probabilitas Probabilitas numerik (0,0—1,0) bahwa masalah terdeteksi dalam percakapan (Probabilitas yang lebih besar dari 0,5 akan memanggil pembuatan maksud)
is_recommendation_useful Boolean menunjukkan apakah pengguna menemukan hasilnya bermanfaat.
is_valid_trigger Boolean menunjukkan apakah analisis model deteksi menghasilkan pemicu yang valid.
model_id Pengidentifikasi model AI yang digunakan untuk memanggil LLM.
parsed_response processed/parsed Versi respon model bahasa, seringkali dalam format terstruktur.
cepat Prompt input digunakan untuk memanggil LLM.
prompt_type Jenis prompt AI yang digunakan untuk memproses pesan atau kueri.
usulan Konten teks rekomendasi aktual yang diberikan kepada pengguna
rekomendasi_id Pengidentifikasi unik untuk rekomendasi.
response Teks respons akhir yang dihasilkan untuk pengguna setelah diproses.
session_event_id Pengidentifikasi unik untuk acara tertentu dalam sesi.
session_event_id Daftar pengidentifikasi acara sesi.
session_id Pengenal unik untuk sesi agen Connect AI.
session_message_id Pengidentifikasi unik untuk pesan swalayan dalam sesi.
session_name Nama sesi.
ucapan Teks pesan yang sebenarnya dipertukarkan dalam percakapan.

Contoh log asisten

Di bawah ini adalah contoh log peristiwa yang berbeda untuk setiap jenis acara. Lihat Definisi Jenis Acara bagian untuk penjelasan rinci dari setiap jenis acara.

CreateSession


{
    "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678",
    "event_timestamp": 1729530173612,
    "event_type": "TRANSCRIPT_CREATE_SESSION",
    "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa",
    "session_name": "nabbccdd-9999-4b23-aaee-112233445566"
}

IntentTriggeringReference


{
    "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678",
    "event_timestamp": 1729530173623,
    "event_type": "TRANSCRIPT_INTENT_TRIGGERING_REFERENCE",
    "intent": "To learn about how to autoscale DynamoDB.",
    "intent_id": "i78bc90-1234-4dce-8012-f0e1d2c3b4a5",
    "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa"
}

LargeLanguageModelInvocation

Reformulasi Kueri


{
    "ai_agent_id": "ai112233-7a85-4b3c-8def-0123456789ab",
    "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678",
    "completion": "<query>The customer is asking for information on how to autoscale DynamoDB.</query>",
    "event_timestamp": 1729530173645,
    "event_type": "TRANSCRIPT_LARGE_LANGUAGE_MODEL_INVOCATION",
    "generation_id": "gabc1234-9def-47ff-bb88-abcdefabcdef",
    "intent_id": "i78bc90-1234-4dce-8012-f0e1d2c3b4a5"
    "model_id": "us.amazon.nova-lite-v1:0",
    "parsed_response": "The customer is asking for information on how to autoscale DynamoDB.",
    "prompt": "{\"anthropic_version\":\"bedrock-2023-05-31\",\"max_tokens\":1024,\"system\":\"You are a...\"}",
    "prompt_type": "BEDROCK_KB_QUERY_REFORMULATION",
    "session_event_id": "seaa9988-2233-4f44-8899-abcabcabcabc",
    "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa"
}

Deteksi Niat


{
    "ai_agent_id": "ai112233-7a85-4b3c-8def-0123456789ab",
    "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678",
    "completion": "no</malice>\n  - Step 2. <specific>yes</specific>\n  - Step 3. <intent>To learn how to autoscale DynamoDB.</intent>",
    "event_timestamp": 1729530173645,
    "event_type": "TRANSCRIPT_LARGE_LANGUAGE_MODEL_INVOCATION",
    "generation_id": "gabc1234-9def-47ff-bb88-abcdefabcdef",
    "intent_id": "i78bc90-1234-4dce-8012-f0e1d2c3b4a5"
    "model_id": "us.amazon.nova-lite-v1:0",
    "parsed_response": "To learn how to autoscale DynamoDB.",
    "prompt": "{\"anthropic_version\":\"bedrock-2023-05-31\",\"max_tokens\":1024,\"system\":\"You are a...\"}",
    "prompt_type": "GENERATIVE_INTENT_DETECTION",
    "session_event_id": "seaa9988-2233-4f44-8899-abcabcabcabc",
    "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa"
}

Generasi Jawaban Niat


{
    "ai_agent_id": "ai112233-7a85-4b3c-8def-0123456789ab",
    "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678",
    "completion": "{\"citations\":[{\"citation\":{\"generatedResponsePart\":{\"textResponsePart\":{\"span\":{\"end\":1065,\"start\":0},\"text\":\"\\nDynamoDB auto s\"}}}}]}",
    "event_timestamp": 1729530173645,
    "event_type": "TRANSCRIPT_LARGE_LANGUAGE_MODEL_INVOCATION",
    "generation_id": "gabc1234-9def-47ff-bb88-abcdefabcdef",
    "intent_id": "i78bc90-1234-4dce-8012-f0e1d2c3b4a5",
    "model_id": "us.anthropic.claude-3-7-sonnet-20250219-v1:0",
    "parsed_response": "DynamoDB auto scaling works by creating CloudWatch alarms that monitor your table's activity. When the...",
    "prompt": "{\"input\":{\"text\":\"The customer is seeking information on how to autoscale DynamoDB. Key utterance: \\\"How can \"}}",
    "prompt_type": "BEDROCK_KB_GENERATIVE_ANSWER",
    "session_event_id": "seaa9988-2233-4f44-8899-abcabcabcabc",
    "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa"
}

Generasi Pencarian Manual


{
    "ai_agent_id": "ai112233-7a85-4b3c-8def-0123456789ab",
    "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678",
    "completion": "no</malice>\n  - Step 2. <specific>yes</specific>\n  - Step 3. <intent>To learn how to autoscale DynamoDB.</intent>",
    "event_timestamp": 1729530173645,
    "event_type": "TRANSCRIPT_LARGE_LANGUAGE_MODEL_INVOCATION",
    "generation_id": "gabc1234-9def-47ff-bb88-abcdefabcdef",
    "intent_id": "i78bc90-1234-4dce-8012-f0e1d2c3b4a5",
    "model_id": "us.anthropic.claude-3-7-sonnet-20250219-v1:0",
    "parsed_response": "DynamoDB auto scaling works by creating CloudWatch alarms that monitor...",
    "prompt": "{\"anthropic_version\":\"bedrock-2023-05-31\",\"max_tokens\":1024,\"system\":\"You are a...\"}",
    "prompt_type": "BEDROCK_KB_GENERATIVE_ANSWER",
    "session_id": "******************-*****************"
}

QueryAssistant


{
    "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678",
    "event_timestamp": 1729530173667,
    "event_type": "TRANSCRIPT_QUERY_ASSISTANT",
    "recommendation_id": "r0001112-3f4e-4fa5-9111-aabbccddeeff",
    "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa"
}

Rekomendasi


{
    "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678",
    "event_timestamp": 1729530173656,
    "event_type": "TRANSCRIPT_RECOMMENDATION",
    "intent_clicked": 1,
    "intent_id": "i78bc90-1234-4dce-8012-f0e1d2c3b4a5",
    "recommendation_id": "r0001112-3f4e-4fa5-9111-aabbccddeeff",
    "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa"
}

ResultFeedback


{
    "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678",
    "event_timestamp": 1729530173667,
    "event_type": "TRANSCRIPT_RESULT_FEEDBACK",
    "generation_id": "gabc1234-9def-47ff-bb88-abcdefabcdef",
    "is_recommendation_useful": 1,
    "recommendation_id": "r0001112-3f4e-4fa5-9111-aabbccddeeff"
}

SelfServiceMessage


{
    "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678",
    "completion": "{\"citations\":[{\"generatedResponsePart\":{\"textResponsePart\":{\"span\":{\"end\":276,\"start\":0},\"text\":\"To autoscale Amazon DynamoDB...\"}}]}",
    "event_timestamp": 1729530173678,
    "event_type": "TRANSCRIPT_SELF_SERVICE_MESSAGE",
    "model_id": "us.amazon.nova-pro-v1:0",
    "parsed_response": "To autoscale Amazon DynamoDB, follow these steps:...",
    "prompt": "{\"input\":{\"text\":\"how to autoscale dynamodb\"},\"retrieveAndGenerateConfiguration\":...}",
    "prompt_type": "SELF_SERVICE_ANSWER_GENERATION",
    "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa",
    "session_message_id": "mdee1234-5678-4eab-9333-ffeebb998877",
    "utterance": "[Customer] How can I autoscale DyanmoDB?"
}

TranscriptSessionPolled


{
    "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678",
    "connect_user_arn": "arn:aws:connect:us-east-1:204585150770:instance/seaa9988-2233-4f44-8899-abcabcabcabc/agent/agbbccdd-9999-4b23-aaee-112233445566",
    "event_timestamp": 1729530173623,
    "event_type": "TRANSCRIPT_SESSION_POLLED",
    "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa",
    "session_name": "nabbccdd-9999-4b23-aaee-112233445566"
}

TriggerDetectionModelInvocation


{
    "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678",
    "event_timestamp": 1729530173634,
    "event_type": "TRANSCRIPT_TRIGGER_DETECTION_MODEL_INVOCATION",
    "is_valid_trigger": 1,
    "issue_probability": "0.87",
    "session_event_id": "seaa9988-2233-4f44-8899-abcabcabcabc",
    "session_event_ids": ["seaa9988-2233-4f44-8899-abcabcabcabc"],
    "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa"
}

Ucapan


{
    "assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678",
    "event_timestamp": 1729530173623,
    "event_type": "TRANSCRIPT_UTTERANCE",
    "session_event_id": "seaa9988-2233-4f44-8899-abcabcabcabc",
    "session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa",
    "utterance": "[Customer] My laptop won't connect to WiFi after the recent update"
}

Contoh kueri umum untuk men-debug log asisten

Anda dapat berinteraksi dengan log dengan menggunakan kueri. Misalnya, Anda dapat menanyakan semua peristiwa dalam sesi dengan menggunakanSESSION_NAME.

Berikut ini adalah dua query umum untuk mengembalikan semua log yang dihasilkan untuk sesi tertentu.

  • filter session_name = "SessionName"

  • filter session_id = "SessionId"