View a markdown version of this page

Memantau agen AI menggunakan CloudWatch - Pelanggan Amazon Connect
Izin IAM yang diperlukanMengaktifkan pencatatanJenis log yang didukungPeriksa kuota CloudWatch LogsMendokumentasikan A CloudWatch cara dengan menggunakan Handler InteraktifContoh kueri umum untuk men-debug log asisten

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Memantau agen AI menggunakan CloudWatch

Untuk mendapatkan visibilitas ke dalam rekomendasi real-time yang diberikan agen AI kepada agen Anda, dan niat pelanggan yang mereka deteksi melalui pemahaman bahasa alami, Anda dapat menanyakan CloudWatch Log. CloudWatch Log memberi Anda visibilitas ke seluruh perjalanan kontak: percakapan, pemicu, maksud, rekomendasi. Anda juga dapat menggunakan informasi ini untuk debugging, atau memberikannya Dukungan ketika Anda menghubungi mereka untuk meminta bantuan.

Topik ini menjelaskan cara mengaktifkan logging untuk agen AI.

Izin IAM yang diperlukan

Sebelum Anda mengaktifkan logging untuk asisten Connect, periksa apakah Anda memiliki AWS Identity and Access Management izin berikut. Mereka diperlukan untuk akun pengguna yang masuk ke konsol Connect Customer:

  • wisdom:AllowVendedLogDeliveryForResource: Diperlukan untuk mengizinkan log dikirimkan untuk sumber daya asisten.

Untuk melihat contoh peran IAM dengan semua izin yang diperlukan untuk tujuan logging spesifik Anda, lihat Logging yang memerlukan izin tambahan [V2]. Topik itu berisi contoh untuk tujuan logging yang berbeda, seperti log yang dikirim ke CloudWatch Log dan log yang dikirim ke Amazon S3 Contoh menunjukkan cara mengizinkan pembaruan ke sumber daya tujuan logging spesifik Anda.

Aktifkan logging untuk agen AI

Untuk mengaktifkan logging untuk agen AI, Anda menggunakan CloudWatch API. Selesaikan langkah-langkah berikut:

  1. Dapatkan ARN asisten Anda (juga dikenal sebagai domainnya ). Setelah membuat asisten, Anda dapat memperoleh ARN dari konsol Connect Customer atau dengan memanggil GetAssistant API. ARN mengikuti format ini:

    arn:aws:wisdom:your-region:your-account-id:assistant/assistant-id

  2. Panggilan PutDeliverySource: Gunakan CloudWatch API ini untuk membuat sumber pengiriman untuk asisten. Lewati ARN asisten sebagairesourceArn. UntuklogType, tentukan EVENT_LOGS untuk mengumpulkan log dari asisten Anda.

    {
"logType": "EVENT_LOGS",
"name": "your-assistant-delivery-source",
"resourceArn": "arn:aws:wisdom:your-region:your-account-id:assistant/assistant_id
}

  3. Panggilan PutDeliveryDestination: Gunakan CloudWatch API ini untuk mengonfigurasi di mana log akan disimpan. Anda dapat memilih CloudWatch Logs, Amazon S3, atau Amazon Data Firehose sebagai tujuan untuk menyimpan log. Anda harus menentukan ARN dari salah satu opsi tujuan untuk tempat penyimpanan log Anda. Anda dapat memilih log menjadi salah satu dari berikut ini:json,plain,w3c,raw,parquet. outputFormat

    Contoh berikut menunjukkan cara mengonfigurasi log untuk disimpan dalam Amazon CloudWatch Logs Group dan dalam format JSON.

    {
"deliveryDestinationConfiguration": {
    "destinationResourceArn": "arn:aws:logs:your-region:your-account-id:log-group:your-log-group-name:*"
},
"name": "string",
"outputFormat": "json",
"tags": {
    "key": "value"
}
}

  4. Panggilan CreateDelivery: Gunakan CloudWatch API ini untuk menautkan sumber pengiriman ke tujuan pengiriman yang Anda buat pada langkah sebelumnya. Operasi API ini mengaitkan sumber pengiriman dengan tujuan akhir.

    {
"deliveryDestinationArn": "string",
"deliverySourceName": "string",
"tags": {
    "string": "string"
}
}

Contoh berikut menunjukkan cara menjalankan langkah-langkah sebelumnya sebagai urutan perintah AWS CLI. Contoh ini mengaktifkan pencatatan peristiwa untuk asisten dan mengirimkan log ke grup CloudWatch log Amazon Logs. Jalankan perintah secara berurutan, dan ganti masing-masing value dengan nama sumber daya dan ARN Anda sendiri.

  1. Buat sumber pengiriman untuk asisten. Gunakan asisten ARN sebagai sumber ARN, dan tent EVENT_LOGS ukan sebagai tipe log.

    aws logs put-delivery-source \
    --name your-assistant-delivery-source \
    --resource-arn arn:aws:wisdom:your-region:your-account-id:assistant/assistant-id \
    --log-type EVENT_LOGS

  2. Buat tujuan pengiriman yang menunjuk ke grup log Anda. Untuk mengirim log ke Amazon S3 atau Amazon Data Firehose sebagai gantinya, tentukan ARN sumber daya tersebut.

    aws logs put-delivery-destination \
    --name your-delivery-destination \
    --delivery-destination-configuration "destinationResourceArn=arn:aws:logs:your-region:your-account-id:log-group:your-log-group-name" \
    --output-format json

  3. Tautkan sumber pengiriman ke tujuan pengiriman. Gunakan ARN tujuan yang dikembalikan perintah sebelumnya.

    aws logs create-delivery \
    --delivery-source-name your-assistant-delivery-source \
    --delivery-destination-arn arn:aws:logs:your-region:your-account-id:delivery-destination:your-delivery-destination

Setelah Anda membuat pengiriman, Anda dapat melihat peristiwa yang dicatat di grup log Anda. Untuk mengonfirmasi bahwa logging berfungsi, buat aktivitas asisten, lalu kueri grup log seperti yang dijelaskan dalamContoh kueri umum untuk men-debug log asisten.

Jenis log yang didukung

Agen AI mendukung jenis log berikut:

  • EVENT_LOGS: Log yang melacak peristiwa asisten Connect selama panggilan, obrolan, tugas, dan email.

Periksa kuota CloudWatch Logs

Sebaiknya periksa titik akhir dan kuota Amazon CloudWatch Logs untuk melihat apakah ada kuota untuk membuat panggilan API terkait pengiriman CloudWatch Log. Kuota menetapkan jumlah maksimum Anda dapat memanggil API atau membuat sumber daya. Melebihi batas menghasilkan ServiceQuotaExceededException kesalahan.

Mendokumentasikan A CloudWatch cara dengan menggunakan Handler Interaktif

Definisi Jenis Acara

Tabel berikut menjelaskan setiap jenis acara. Perhatikan bahwa jenis acara yang berbeda berisi bidang yang berbeda. Lihat Definisi Bidang bagian untuk informasi terperinci tentang setiap bidang.

EventType Definisi
TRANSKRIPT_CREATE_SESSION Tercatat saat sesi agen AI baru dibuat. Ini menandai awal dari percakapan.
TRANSKRIPT_INTENT_TRIGGERING_REFERENSI Tercatat saat niat pelanggan tertentu terdeteksi dalam percakapan, yang mungkin memicu respons atau alur kerja otomatis.
TRANSKRIPSI_BAHASA_LARGE_MODEL_PEMANGGILAN Tercatat saat model bahasa besar (LLM) dipanggil untuk menghasilkan respons atau memproses konten percakapan. Merekam input dan output dari LLM.
TRANSKRIPT_QUERY_ASSISTANT Tercatat saat salah satu agen AI berikut dipanggil: AnswerRecommendation,, CaseSummarization, EmailGenerativeAnswer, EmailOverview, EmailResponse ManualSearch, NoteTaking.
TRANSKRIPT_REKOMENDASI Tercatat saat sistem memberikan rekomendasi kepada agen atau pelanggan, yang mungkin termasuk artikel pengetahuan, tanggapan yang dihasilkan, atau tindakan yang disarankan.
TRANSKRIPT_RESULT_FEEDBACK Tercatat saat umpan balik diberikan tentang kegunaan atau relevansi hasil pencarian atau kueri.
TRANSKRIPSI_SELF_LAYANAN_PESAN_LAYANAN Tercatat saat pelanggan berinteraksi dengan agen SelfService AI
TRANSKRIPT_SESSION_POLLED Tercatat saat sistem mendeteksi agen terhubung ke sesi (Sesi disurvei ketika panggilan GetRecommendations API telah dilakukan)
TRANSKRIPT_TRIGGER_DETECTION_MODEL_PEMANGGILAN Tercatat saat model deteksi pemicu dipanggil untuk menentukan apakah percakapan memiliki maksud
TRANSCRIPT_UTTERANCE Tercatat saat pesan dikirim oleh peserta mana pun dalam percakapan, merekam konten percakapan yang sebenarnya.
TRANSKRIPSI_ORKESTRASI_PESAN Dicatat untuk setiap langkah dalam loop orkestrasi, termasuk pesan pelanggan awal, respons teks bot, penalaran, permintaan penggunaan alat, dan hasil alat. Menangkap detail lengkap penalaran agen multi-putaran yang dilakukan oleh agen AI Orchestration.
TRANSKRIPT_ORCHESTRATION_ERROR Tercatat saat terjadi kesalahan selama orkestrasi, seperti melebihi jumlah maksimum iterasi orkestrasi, batasan kapasitas sistem, atau kegagalan orkestrasi umum.
TRANSKRIPT_AI_AGENT_TRACE Dicatat untuk setiap rentang eksekusi selama orkestrasi agen AI, menangkap jejak terperinci termasuk konfigurasi LLM, penggunaan token, pesan, dan hasil penilaian pagar pembatas.

Definisi Bidang

Tabel berikut menjelaskan setiap bidang.

Bidang Definisi
ai_agent_id Pengidentifikasi unik untuk sumber daya agen AI.
asistent_id Pengidentifikasi unik untuk sumber daya asisten Connect.
completion Teks penyelesaian mentah dikembalikan oleh LLM atau dihasilkan untuk pesan.
connect_user_arn Nama Sumber Daya Amazon (ARN) dari pengguna Connect yang mengakses sesi.
stempel waktu acara Stempel waktu Unix (dalam milidetik) saat peristiwa terjadi.
tipe_acara Jenis peristiwa, menunjukkan tindakan atau proses apa yang terjadi dalam sistem.
generasi_id Pengidentifikasi unik untuk AI-generated respons tertentu.
maksud Teks maksud atau deskripsi.
bermaksud diklik Boolean menunjukkan apakah rekomendasi dipicu oleh maksud yang diklik.
id_maksud Pengidentifikasi unik untuk maksud yang terdeteksi.
probabilitas masalah Probabilitas numerik (0,0-1,0) bahwa masalah terdeteksi dalam percakapan (Probabilitas lebih besar dari 0,5 akan memanggil pembuatan maksud)
is_rekomendasi_berguna Boolean menunjukkan apakah pengguna menemukan hasilnya bermanfaat.
is_valid_trigger Boolean menunjukkan apakah analisis model deteksi menghasilkan pemicu yang valid.
model_id Pengidentifikasi model AI yang digunakan untuk memanggil LLM.
respon yang diuraikan processed/parsed Versi respons model bahasa, seringkali dalam format terstruktur.
cepat Prompt input yang digunakan untuk memanggil LLM.
tipe prompt Jenis prompt AI yang digunakan untuk memproses pesan atau kueri.
usulan Konten teks rekomendasi yang sebenarnya diberikan kepada pengguna
rekomendation_id Pengidentifikasi unik untuk rekomendasi.
response Teks respons akhir yang dihasilkan untuk pengguna setelah diproses.
session_event_id Pengidentifikasi unik untuk acara tertentu dalam sesi.
session_event_ids Daftar pengidentifikasi acara sesi.
session_id Pengidentifikasi unik untuk sesi agen AI.
session_message_id Pengidentifikasi unik untuk pesan layanan mandiri dalam sesi.
nama_sesi Nama sesi.
ucapan Teks pesan yang sebenarnya dipertukarkan dalam percakapan.
orkestration_id Pengidentifikasi unik untuk menjalankan orkestrasi. Sesuai dengan ID pesan pelanggan awal yang memicu orkestrasi.
orkestrasi_iterasi Nomor iterasi dalam loop orkestrasi.
ai_agent_orchestration_use_case Kasus penggunaan orkestrator, seperti CONNECT_AGENT_ASSISTANCE atau. CONNECT_SELF_SERVICE
peserta Peran peserta untuk pesan, seperti CUSTOMER atauBOT.
values JSON-serialized daftar nilai pesan. Setiap entri memiliki tipe: text (dengan nilai teks), tool_use (dengan alatUseId, toolID, nama, dan argumen), tool_result (dengan alatUseId, toolId, nama, nilai, dan kesalahan), atau reasoning (dengan nilai teks).
pagar pembatas diblokir Boolean menunjukkan apakah respons diblokir oleh pagar pembatas AI.
orkestration_error JSON-serialized rincian kesalahan berisi errorMessage dan errorDetails objek opsional (dengan estimatedInputTokens danestimatedOutputTokens).
menjangkau JSON-serialized peta objek rentang penuh. Setiap kunci adalah snake_case. Kunci penting termasuk input_messages (riwayat percakapan dikirim ke model), output_messages (pesan respons model), guardrail_assessments (daftar hasil evaluasi pagar pembatas denganguardrailId,guardrailName, sourceaction, danpolicies), dan input_messages_truncated ("true"ketika pesan input dipotong agar sesuai dengan batas catatan 256KB). Hadir hanya ketika event_type adaTRANSCRIPT_AI_AGENT_TRACE.

Contoh log asisten

Di bawah ini adalah contoh log peristiwa yang berbeda untuk setiap jenis acara. Lihat Definisi Jenis Acara bagian untuk penjelasan rinci tentang setiap jenis acara.

CreateSession


{
"assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678",
"event_timestamp": 1729530173612,
"event_type": "TRANSCRIPT_CREATE_SESSION",
"session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa",
"session_name": "nabbccdd-9999-4b23-aaee-112233445566"
}

IntentTriggeringReference


{
"assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678",
"event_timestamp": 1729530173623,
"event_type": "TRANSCRIPT_INTENT_TRIGGERING_REFERENCE",
"intent": "To learn about how to autoscale DynamoDB.",
"intent_id": "i78bc90-1234-4dce-8012-f0e1d2c3b4a5",
"session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa"
}

LargeLanguageModelInvocation

Reformulasi Kueri


{
"ai_agent_id": "ai112233-7a85-4b3c-8def-0123456789ab",
"assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678",
"completion": "<query>The customer is asking for information on how to autoscale DynamoDB.</query>",
"event_timestamp": 1729530173645,
"event_type": "TRANSCRIPT_LARGE_LANGUAGE_MODEL_INVOCATION",
"generation_id": "gabc1234-9def-47ff-bb88-abcdefabcdef",
"intent_id": "i78bc90-1234-4dce-8012-f0e1d2c3b4a5"
"model_id": "us.amazon.nova-lite-v1:0",
"parsed_response": "The customer is asking for information on how to autoscale DynamoDB.",
"prompt": "{\"anthropic_version\":\"bedrock-2023-05-31\",\"max_tokens\":1024,\"system\":\"You are a...\"}",
"prompt_type": "BEDROCK_KB_QUERY_REFORMULATION",
"session_event_id": "seaa9988-2233-4f44-8899-abcabcabcabc",
"session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa"
}

Deteksi Maksud


{
"ai_agent_id": "ai112233-7a85-4b3c-8def-0123456789ab",
"assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678",
"completion": "no</malice>\n  - Step 2. <specific>yes</specific>\n  - Step 3. <intent>To learn how to autoscale DynamoDB.</intent>",
"event_timestamp": 1729530173645,
"event_type": "TRANSCRIPT_LARGE_LANGUAGE_MODEL_INVOCATION",
"generation_id": "gabc1234-9def-47ff-bb88-abcdefabcdef",
"intent_id": "i78bc90-1234-4dce-8012-f0e1d2c3b4a5"
"model_id": "us.amazon.nova-lite-v1:0",
"parsed_response": "To learn how to autoscale DynamoDB.",
"prompt": "{\"anthropic_version\":\"bedrock-2023-05-31\",\"max_tokens\":1024,\"system\":\"You are a...\"}",
"prompt_type": "GENERATIVE_INTENT_DETECTION",
"session_event_id": "seaa9988-2233-4f44-8899-abcabcabcabc",
"session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa"
}

Generasi Jawaban Maksud


{
"ai_agent_id": "ai112233-7a85-4b3c-8def-0123456789ab",
"assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678",
"completion": "{\"citations\":[{\"citation\":{\"generatedResponsePart\":{\"textResponsePart\":{\"span\":{\"end\":1065,\"start\":0},\"text\":\"\\nDynamoDB auto s\"}}}}]}",
"event_timestamp": 1729530173645,
"event_type": "TRANSCRIPT_LARGE_LANGUAGE_MODEL_INVOCATION",
"generation_id": "gabc1234-9def-47ff-bb88-abcdefabcdef",
"intent_id": "i78bc90-1234-4dce-8012-f0e1d2c3b4a5",
"model_id": "us.anthropic.claude-3-7-sonnet-20250219-v1:0",
"parsed_response": "DynamoDB auto scaling works by creating CloudWatch alarms that monitor your table's activity. When the...",
"prompt": "{\"input\":{\"text\":\"The customer is seeking information on how to autoscale DynamoDB. Key utterance: \\\"How can \"}}",
"prompt_type": "BEDROCK_KB_GENERATIVE_ANSWER",
"session_event_id": "seaa9988-2233-4f44-8899-abcabcabcabc",
"session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa"
}

Generasi Pencarian Manual


{
"ai_agent_id": "ai112233-7a85-4b3c-8def-0123456789ab",
"assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678",
"completion": "no</malice>\n  - Step 2. <specific>yes</specific>\n  - Step 3. <intent>To learn how to autoscale DynamoDB.</intent>",
"event_timestamp": 1729530173645,
"event_type": "TRANSCRIPT_LARGE_LANGUAGE_MODEL_INVOCATION",
"generation_id": "gabc1234-9def-47ff-bb88-abcdefabcdef",
"intent_id": "i78bc90-1234-4dce-8012-f0e1d2c3b4a5",
"model_id": "us.anthropic.claude-3-7-sonnet-20250219-v1:0",
"parsed_response": "DynamoDB auto scaling works by creating CloudWatch alarms that monitor...",
"prompt": "{\"anthropic_version\":\"bedrock-2023-05-31\",\"max_tokens\":1024,\"system\":\"You are a...\"}",
"prompt_type": "BEDROCK_KB_GENERATIVE_ANSWER",
"session_id": "******************-*****************"
}

QueryAssistant


{
"assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678",
"event_timestamp": 1729530173667,
"event_type": "TRANSCRIPT_QUERY_ASSISTANT",
"recommendation_id": "r0001112-3f4e-4fa5-9111-aabbccddeeff",
"session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa"
}

Rekomendasi


{
"assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678",
"event_timestamp": 1729530173656,
"event_type": "TRANSCRIPT_RECOMMENDATION",
"intent_clicked": 1,
"intent_id": "i78bc90-1234-4dce-8012-f0e1d2c3b4a5",
"recommendation_id": "r0001112-3f4e-4fa5-9111-aabbccddeeff",
"session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa"
}

ResultFeedback


{
"assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678",
"event_timestamp": 1729530173667,
"event_type": "TRANSCRIPT_RESULT_FEEDBACK",
"generation_id": "gabc1234-9def-47ff-bb88-abcdefabcdef",
"is_recommendation_useful": 1,
"recommendation_id": "r0001112-3f4e-4fa5-9111-aabbccddeeff"
}

SelfServiceMessage


{
"assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678",
"completion": "{\"citations\":[{\"generatedResponsePart\":{\"textResponsePart\":{\"span\":{\"end\":276,\"start\":0},\"text\":\"To autoscale Amazon DynamoDB...\"}}]}",
"event_timestamp": 1729530173678,
"event_type": "TRANSCRIPT_SELF_SERVICE_MESSAGE",
"model_id": "us.amazon.nova-pro-v1:0",
"parsed_response": "To autoscale Amazon DynamoDB, follow these steps:...",
"prompt": "{\"input\":{\"text\":\"how to autoscale dynamodb\"},\"retrieveAndGenerateConfiguration\":...}",
"prompt_type": "SELF_SERVICE_ANSWER_GENERATION",
"session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa",
"session_message_id": "mdee1234-5678-4eab-9333-ffeebb998877",
"utterance": "[Customer] How can I autoscale DyanmoDB?"
}

TranscriptSessionPolled


{
"assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678",
"connect_user_arn": "arn:aws:connect:us-east-1:204585150770:instance/seaa9988-2233-4f44-8899-abcabcabcabc/agent/agbbccdd-9999-4b23-aaee-112233445566",
"event_timestamp": 1729530173623,
"event_type": "TRANSCRIPT_SESSION_POLLED",
"session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa",
"session_name": "nabbccdd-9999-4b23-aaee-112233445566"
}

TriggerDetectionModelInvocation


{
"assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678",
"event_timestamp": 1729530173634,
"event_type": "TRANSCRIPT_TRIGGER_DETECTION_MODEL_INVOCATION",
"is_valid_trigger": 1,
"issue_probability": "0.87",
"session_event_id": "seaa9988-2233-4f44-8899-abcabcabcabc",
"session_event_ids": ["seaa9988-2233-4f44-8899-abcabcabcabc"],
"session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa"
}

Ucapan


{
"assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678",
"event_timestamp": 1729530173623,
"event_type": "TRANSCRIPT_UTTERANCE",
"session_event_id": "seaa9988-2233-4f44-8899-abcabcabcabc",
"session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa",
"utterance": "[Customer] My laptop won't connect to WiFi after the recent update"
}

OrchestrationMessage

Pesan pelanggan


{
"ai_agent_id": "ai112233-7a85-4b3c-8def-0123456789ab",
"ai_agent_orchestration_use_case": "CONNECT_AGENT_ASSISTANCE",
"assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678",
"event_timestamp": 1729530173612,
"event_type": "TRANSCRIPT_ORCHESTRATION_MESSAGE",
"model_id": "us.anthropic.claude-4-5-sonnet-20250929-v1:0",
"orchestration_id": "m1234567-abcd-4ef0-9876-aabbccddeeff",
"participant": "CUSTOMER",
"session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa",
"session_message_id": "m1234567-abcd-4ef0-9876-aabbccddeeff",
"values": "[{\"type\":\"text\",\"value\":\"How do I reset my password?\"}]"
}

Tanggapan teks bot


{
"ai_agent_id": "ai112233-7a85-4b3c-8def-0123456789ab",
"ai_agent_orchestration_use_case": "CONNECT_AGENT_ASSISTANCE",
"assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678",
"event_timestamp": 1729530174234,
"event_type": "TRANSCRIPT_ORCHESTRATION_MESSAGE",
"guardrail_blocked": false,
"model_id": "us.anthropic.claude-4-5-sonnet-20250929-v1:0",
"orchestration_id": "m1234567-abcd-4ef0-9876-aabbccddeeff",
"orchestration_iteration": 1,
"participant": "BOT",
"session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa",
"session_message_id": "mfff1234-5678-4eab-9333-112233445566",
"values": "[{\"type\":\"text\",\"value\":\"I can help you reset your password. Let me look up your account.\"}]"
}

Penggunaan alat


{
"ai_agent_id": "ai112233-7a85-4b3c-8def-0123456789ab",
"ai_agent_orchestration_use_case": "CONNECT_AGENT_ASSISTANCE",
"assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678",
"event_timestamp": 1729530174500,
"event_type": "TRANSCRIPT_ORCHESTRATION_MESSAGE",
"model_id": "us.anthropic.claude-4-5-sonnet-20250929-v1:0",
"orchestration_id": "m1234567-abcd-4ef0-9876-aabbccddeeff",
"orchestration_iteration": 1,
"participant": "BOT",
"session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa",
"session_message_id": "maaa2222-3333-4bbb-cccc-ddddeeeeffff",
"values": "[{\"type\":\"tool_use\",\"toolUseId\":\"toolu_01ABC\",\"toolId\":\"ResetPassword\",\"name\":\"ResetPassword\",\"arguments\":{\"email\":\"customer@example.com\"}}]"
}

Hasil alat


{
"ai_agent_id": "ai112233-7a85-4b3c-8def-0123456789ab",
"ai_agent_orchestration_use_case": "CONNECT_AGENT_ASSISTANCE",
"assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678",
"event_timestamp": 1729530175100,
"event_type": "TRANSCRIPT_ORCHESTRATION_MESSAGE",
"model_id": "us.anthropic.claude-4-5-sonnet-20250929-v1:0",
"orchestration_id": "m1234567-abcd-4ef0-9876-aabbccddeeff",
"orchestration_iteration": 1,
"participant": "BOT",
"session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa",
"session_message_id": "mbbb3333-4444-5ccc-dddd-eeeeffff0000",
"values": "[{\"type\":\"tool_result\",\"toolUseId\":\"toolu_01ABC\",\"toolId\":\"ResetPassword\",\"name\":\"ResetPassword\",\"values\":[{\"type\":\"text\",\"value\":\"Password reset email sent successfully.\"}],\"error\":null}]"
}

Penalaran


{
"ai_agent_id": "ai112233-7a85-4b3c-8def-0123456789ab",
"ai_agent_orchestration_use_case": "CONNECT_AGENT_ASSISTANCE",
"assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678",
"event_timestamp": 1729530175200,
"event_type": "TRANSCRIPT_ORCHESTRATION_MESSAGE",
"model_id": "us.anthropic.claude-4-5-sonnet-20250929-v1:0",
"orchestration_id": "m1234567-abcd-4ef0-9876-aabbccddeeff",
"orchestration_iteration": 1,
"participant": "BOT",
"session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa",
"session_message_id": "mccc4444-5555-6ddd-eeee-ffff00001111",
"values": "[{\"type\":\"reasoning\",\"value\":\"The password reset was successful. I should inform the customer and ask if they need further help.\"}]"
}

OrchestrationError

Iterasi orkestrasi maksimum terlampaui


{
"ai_agent_id": "ai112233-7a85-4b3c-8def-0123456789ab",
"ai_agent_orchestration_use_case": "CONNECT_AGENT_ASSISTANCE",
"assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678",
"event_timestamp": 1729530180000,
"event_type": "TRANSCRIPT_ORCHESTRATION_ERROR",
"model_id": "us.anthropic.claude-4-5-sonnet-20250929-v1:0",
"orchestration_error": "{\"errorMessage\":\"The orchestration exceeded the maximum number of iterations\"}",
"orchestration_id": "m1234567-abcd-4ef0-9876-aabbccddeeff",
"orchestration_iteration": 9,
"session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa"
}

Kendala kapasitas sistem


{
"ai_agent_id": "ai112233-7a85-4b3c-8def-0123456789ab",
"ai_agent_orchestration_use_case": "CONNECT_AGENT_ASSISTANCE",
"assistant_id": "a1c2d3e4-5b67-4a89-9abc-def012345678",
"event_timestamp": 1729530180000,
"event_type": "TRANSCRIPT_ORCHESTRATION_ERROR",
"model_id": "us.anthropic.claude-4-5-sonnet-20250929-v1:0",
"orchestration_error": "{\"errorMessage\":\"System capacity is constrained. We are actively working on scaling system to prevent such failures.\",\"errorDetails\":{\"estimatedInputTokens\":50000,\"estimatedOutputTokens\":2048}}",
"orchestration_id": "m1234567-abcd-4ef0-9876-aabbccddeeff",
"orchestration_iteration": 3,
"session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa"
}

AIAgentTrace

Rentang orkestrasi yang berhasil (tidak ada intervensi pagar pembatas)


{
"timestamp": 1729530173612,
"resource_arn": "arn:aws:wisdom:us-east-1:204585150770:assistant/a1c2d3e4-5b67-4a89-9abc-def012345678",
"event_timestamp": 1729530175612,
"event_type": "TRANSCRIPT_AI_AGENT_TRACE",
"session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa",
"ai_agent_id": "ai112233-7a85-4b3c-8def-0123456789ab",
"model_id": "us.anthropic.claude-4-5-sonnet-20250929-v1:0",
"span": {
    "span_id": "7a3f2b1c-4d5e-6f7a-8b9c-0d1e2f3a4b5c",
    "parent_span_id": "eb06e7cf-c3ba-4e75-86ef-ba761fd0ee30",
    "span_name": "inference",
    "span_type": "CLIENT",
    "start_timestamp": "1729530173612",
    "end_timestamp": "1729530175612",
    "status": "OK",
    "operation_name": "inference",
    "provider_name": "aws.bedrock",
    "session_name": "nabbccdd-9999-4b23-aaee-112233445566",
    "ai_agent_arn": "arn:aws:wisdom:us-east-1:204585150770:ai-agent/ai112233-7a85-4b3c-8def-0123456789ab",
    "ai_agent_type": "ANSWER_RECOMMENDATION",
    "ai_agent_name": "MyAgent",
    "ai_agent_version": "3",
    "ai_agent_orchestrator_use_case": "Connect.AgentAssistance",
    "request_model": "us.anthropic.claude-4-5-sonnet-20250929-v1:0",
    "request_max_tokens": "4096",
    "temperature": "1.0",
    "response_finish_reasons": "[\"end_turn\"]",
    "usage_input_tokens": "5274",
    "usage_output_tokens": "266",
    "usage_total_tokens": "5540",
    "cache_read_input_tokens": "4800",
    "cache_write_input_tokens": "0",
    "prompt_arn": "arn:aws:wisdom:us-east-1:204585150770:ai-prompt/prompt-abc:2",
    "prompt_id": "prompt-abc",
    "prompt_type": "ORCHESTRATION",
    "prompt_name": "Agent Assistance Orchestration",
    "prompt_version": "2",
    "time_to_first_token_ms": "850",
    "input_messages": "[{\"messageId\":\"msg-1\",\"participant\":\"CUSTOMER\",\"timestamp\":1729530173000,\"values\":[{\"text\":{\"value\":\"How can I autoscale DynamoDB?\"}}]}]",
    "output_messages": "[{\"messageId\":\"msg-2\",\"participant\":\"BOT\",\"timestamp\":1729530175612,\"values\":[{\"text\":{\"value\":\"DynamoDB auto scaling works by creating CloudWatch alarms that monitor your table's activity.\"}}]}]",
    "system_instructions": "[{\"messageId\":\"sys-1\",\"participant\":\"USER\",\"timestamp\":0,\"values\":[{\"text\":{\"value\":\"You are an AI assistant for contact center agents.\"}}]}]"
}
}

Guardrail memblokir output (pelanggaran kebijakan topik)


{
"timestamp": 1729530173612,
"resource_arn": "arn:aws:wisdom:us-east-1:204585150770:assistant/a1c2d3e4-5b67-4a89-9abc-def012345678",
"event_timestamp": 1729530175612,
"event_type": "TRANSCRIPT_AI_AGENT_TRACE",
"session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa",
"ai_agent_id": "ai112233-7a85-4b3c-8def-0123456789ab",
"model_id": "us.anthropic.claude-4-5-sonnet-20250929-v1:0",
"span": {
    "span_id": "8b4f3c2d-5e6f-7a8b-9c0d-1e2f3a4b5c6d",
    "parent_span_id": "eb06e7cf-c3ba-4e75-86ef-ba761fd0ee30",
    "span_name": "inference",
    "span_type": "CLIENT",
    "start_timestamp": "1729530173612",
    "end_timestamp": "1729530175612",
    "status": "OK",
    "operation_name": "inference",
    "provider_name": "aws.bedrock",
    "session_name": "nabbccdd-9999-4b23-aaee-112233445566",
    "ai_agent_arn": "arn:aws:wisdom:us-east-1:204585150770:ai-agent/ai112233-7a85-4b3c-8def-0123456789ab",
    "ai_agent_type": "ANSWER_RECOMMENDATION",
    "ai_agent_name": "MyAgent",
    "ai_agent_version": "3",
    "ai_agent_orchestrator_use_case": "Connect.AgentAssistance",
    "request_model": "us.anthropic.claude-4-5-sonnet-20250929-v1:0",
    "request_max_tokens": "4096",
    "response_finish_reasons": "[\"guardrail_intervened\"]",
    "usage_input_tokens": "3100",
    "usage_output_tokens": "150",
    "usage_total_tokens": "3250",
    "prompt_type": "ORCHESTRATION",
    "time_to_first_token_ms": "1100",
    "input_messages": "[{\"messageId\":\"seaa9988-2233-4f44-8899-abcabcabcabc\",\"participant\":\"CUSTOMER\",\"timestamp\":1729530173000,\"values\":[{\"text\":{\"value\":\"Tell me how to bypass the refund policy\"}}]}]",
    "output_messages": "[{\"messageId\":\"msg-4\",\"participant\":\"BOT\",\"timestamp\":1729530175612,\"values\":[{\"text\":{\"value\":\"I'm sorry, I can't help with that request.\"}}]}]",
    "guardrail_assessments": "[{\"guardrailId\":\"a1b2c3d4-5678-90ab-cdef-111122223333/1\",\"guardrailName\":\"Customer Support Safety Guardrail\",\"source\":\"INPUT\",\"action\":\"NONE\"},{\"guardrailId\":\"a1b2c3d4-5678-90ab-cdef-111122223333/1\",\"guardrailName\":\"Customer Support Safety Guardrail\",\"source\":\"OUTPUT\",\"action\":\"BLOCKED\",\"policies\":[{\"policyType\":\"TOPIC\",\"action\":\"BLOCKED\",\"details\":\"Policy Circumvention\"}]}]"
}
}

Pesan input terpotong (percakapan panjang)


{
"timestamp": 1729530173612,
"resource_arn": "arn:aws:wisdom:us-east-1:204585150770:assistant/a1c2d3e4-5b67-4a89-9abc-def012345678",
"event_timestamp": 1729530175612,
"event_type": "TRANSCRIPT_AI_AGENT_TRACE",
"session_id": "s9f8e7d6-1234-4cde-9abc-ffeeddccbbaa",
"ai_agent_id": "ai112233-7a85-4b3c-8def-0123456789ab",
"model_id": "us.anthropic.claude-4-5-sonnet-20250929-v1:0",
"span": {
    "span_id": "9c5f4d3e-6f7a-8b9c-0d1e-2f3a4b5c6d7e",
    "parent_span_id": "eb06e7cf-c3ba-4e75-86ef-ba761fd0ee30",
    "span_name": "inference",
    "span_type": "CLIENT",
    "start_timestamp": "1729530173612",
    "end_timestamp": "1729530175612",
    "status": "OK",
    "operation_name": "inference",
    "provider_name": "aws.bedrock",
    "session_name": "nabbccdd-9999-4b23-aaee-112233445566",
    "request_model": "us.anthropic.claude-4-5-sonnet-20250929-v1:0",
    "response_finish_reasons": "[\"end_turn\"]",
    "usage_input_tokens": "48000",
    "usage_output_tokens": "500",
    "usage_total_tokens": "48500",
    "input_messages": "[{\"messageId\":\"msg-98\",\"participant\":\"CUSTOMER\",\"timestamp\":1729530173000,\"values\":[{\"text\":{\"value\":\"What about the shipping timeline?\"}}]}]",
    "input_messages_truncated": "true",
    "output_messages": "[{\"messageId\":\"msg-99\",\"participant\":\"BOT\",\"timestamp\":1729530175612,\"values\":[{\"text\":{\"value\":\"Based on your location, delivery takes 3-5 business days after shipping.\"}}]}]",
    "guardrail_assessments": "[{\"guardrailId\":\"a1b2c3d4-5678-90ab-cdef-111122223333/1\",\"guardrailName\":\"Customer Support Safety Guardrail\",\"source\":\"INPUT\",\"action\":\"NONE\"},{\"guardrailId\":\"a1b2c3d4-5678-90ab-cdef-111122223333/1\",\"guardrailName\":\"Customer Support Safety Guardrail\",\"source\":\"OUTPUT\",\"action\":\"NONE\"}]"
}
}

Contoh kueri umum untuk men-debug log asisten

Anda dapat berinteraksi dengan log dengan menggunakan query. Misalnya, Anda dapat menanyakan semua peristiwa dalam sesi dengan menggunakanSESSION_NAME.

Berikut ini adalah dua kueri umum untuk mengembalikan semua log yang dihasilkan untuk sesi tertentu.

  • filter session_name = "SessionName"

  • filter session_id = "SessionId"