View a markdown version of this page

Cara kerjanya - Batuan Dasar Amazon AgentCore
Apa yang Anda dapatkanBagaimana analisis bekerjaSaat berjalanKategori kegagalan

Cara kerjanya

AgentCore wawasan menjawab tiga pertanyaan tentang perilaku produksi agen Anda: Mengapa gagal? Apa yang diminta pengguna? dan Bagaimana cara memecahkan masalah?

Apa yang Anda dapatkan

Saat Anda menjalankan wawasan, Anda menerima:

  • Daftar pola kegagalan yang diprioritaskan — bukan kesalahan individu, tetapi masalah berulang yang dikelompokkan berdasarkan akar penyebab. Setiap pola memberi tahu Anda apa yang salah dan mengapa. Wawasan terintegrasi dengan kemampuan AgentCore rekomendasi untuk menghasilkan perbaikan untuk pola kegagalan.

  • Peta maksud pengguna — hal paling umum yang ingin dicapai pengguna Anda, diberi peringkat berdasarkan frekuensi.

  • Ringkasan pola perilaku agen — bagaimana agen Anda biasanya mendekati masalah dan hasil apa yang dicapai.

Ini sesuai dengan tiga jenis wawasan yang dapat Anda konfigurasikan:

  • Builtin.Insight.FailureAnalysis— Deteksi pola kegagalan dan analisis akar penyebab

  • Builtin.Insight.UserIntent— Ekstraksi dan pengelompokan maksud pengguna

  • Builtin.Insight.ExecutionSummary— Ringkasan dan pengelompokan perilaku agen

Bagaimana analisis bekerja

Wawasan memeriksa jejak sesi agen Anda — catatan lengkap pesan pengguna, penalaran agen, panggilan alat, dan tanggapan — dan menghasilkan temuan pada dua tingkat:

Session-level analisis

Setiap sesi dianalisis secara individual untuk menentukan:

  • Apakah agen mengalami kegagalan selama eksekusi — termasuk kegagalan tersembunyi dalam jejak yang mungkin tidak terlihat oleh pengguna akhir bahkan ketika sesi tampak berhasil

  • Kategori kegagalan apa yang terjadi (kesalahan alat, halusinasi, pilihan alat yang salah, dll.)

  • Langkah spesifik mana dalam eksekusi agen yang menyebabkan kegagalan

  • Apa akar penyebabnya

  • Apa yang pengguna coba capai

  • Pendekatan apa yang diambil agen dan hasil akhirnya

Penemuan pola

Setelah sesi individu dianalisis, layanan mengidentifikasi pola berulang di semua sesi dengan mengelompokkan temuan serupa bersama-sama. Untuk analisis kegagalan, ini menghasilkan hierarki tiga tingkat:

  1. Kategori kegagalan: Pengelompokan luas seperti “kesalahan eksekusi,” “halusinasi,” atau “tindakan yang salah.”

  2. Subkategori: Jenis kegagalan yang lebih spesifik, seperti “pembatasan laju” atau “kesalahan skema alat.”

  3. Cluster akar penyebab: Dalam setiap subkategori, akar spesifik yang berulang menyebabkan. Setiap cluster memberi tahu Anda:

    • Apa akar penyebabnya

    • Berapa banyak sesi yang terpengaruh

    • Sesi mana yang dapat Anda periksa untuk detailnya

Untuk maksud pengguna dan ringkasan eksekusi, layanan menghasilkan cluster datar yang diberi peringkat berdasarkan frekuensi.

Saat berjalan

Anda mengontrol saat wawasan berjalan:

  • One-time: Hubungi StartBatchEvaluation dengan wawasan kapan pun Anda menginginkan analisis — misalnya, setelah penerapan, setelah lonjakan keluhan pengguna, atau sebagai bagian dari tinjauan mingguan.

  • Berulang: Konfigurasikan frekuensi pengelompokan (DAILY,WEEKLY, atauMONTHLY) dan layanan berjalan secara otomatis, memberi Anda laporan berkala tanpa intervensi manual.

Kategori kegagalan

Wawasan mengakui taksonomi luas dari jenis kegagalan agen:

Kategori Contoh

Kesalahan eksekusi

Kegagalan otentikasi, sumber daya tidak ditemukan, kesalahan layanan, pembatasan tarif, batas waktu, pelanggaran skema alat

Masalah instruksi tugas

Non-compliance dengan instruksi, kegagalan identifikasi masalah

Tindakan yang salah

Pemilihan alat yang salah, pengambilan informasi yang buruk, permintaan klarifikasi yang tidak tepat

Penanganan konteks

Kegagalan penanganan konteks secara bergantian

Halusinasi

Kemampuan fabrikasi, kesalahpahaman, penggunaan yang salah, fabrikasi sejarah, halusinasi parameter, output alat fabrikasi

Perilaku berulang

Pengulangan panggilan alat, pengulangan permintaan informasi, pengulangan langkah

Kesalahan orkestrasi

Ketidakcocokan penalaran, penyimpangan tujuan, penghentian prematur, penghentian yang tidak disadari

Masalah keluaran LLM

Output yang tidak masuk akal

Ketidakcocokan konfigurasi

Ketidakcocokan definisi alat

Coding-specific

Kelalaian kasus tepi, masalah ketergantungan