Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Dasbor kinerja Agen AI
Anda dapat menggunakan dasbor kinerja Agen AI untuk melihat kinerja Agen AI, dan mendapatkan wawasan di seluruh Agen AI dan dari waktu ke waktu.
Dasbor menyediakan satu tempat untuk melihat kinerja Agen AI agregat. Gunakan dasbor untuk melihat metrik Agen AI Anda seperti jumlah pemanggilan, latensi, dan tingkat keberhasilan.
Daftar Isi
Aktifkan akses ke dasbor
Pastikan pengguna diberi izin profil keamanan yang sesuai:
Metrik akses - Izin akses atau Dasbor - Izin akses. Untuk informasi tentang perbedaan perilaku, lihatTetapkan izin untuk melihat dasbor dan laporan di Amazon Connect.
Setidaknya satu dari izin profil keamanan berikut diperlukan untuk mengakses dasbor Kinerja Agen AI:
-
Perancang agen AI - Agen AI melihat izin
-
Perancang agen AI- Izin tampilan prompt AI
-
Perancang agen AI- Izin lihat pagar pembatas AI
-
Aplikasi agen - Izin tampilan asisten Connect
Dasbor tersedia di: Analytics and optimization > Analytics dashboard > AI Agent Performance.
Tentukan tolok ukur “Rentang waktu” dan “Bandingkan dengan”
Gunakan filter Rentang waktu untuk menentukan tanggal dan periode waktu yang ingin Anda lihat data di dasbor.
Secara default, dasbor menampilkan data selama seminggu terakhir. Anda dapat menyesuaikan rentang waktu untuk melihat data dari yang terbaru seperti 15 menit terakhir atau kembali hingga 3 bulan dalam sejarah.
Gunakan Bandingkan untuk memfilter untuk memilih periode waktu untuk membandingkan data Anda saat ini. Ini memungkinkan Anda mengidentifikasi tren dan melacak peningkatan atau masalah dari waktu ke waktu.
Ringkasan kinerja AI swalayan
Bagian ini menunjukkan kesehatan interaksi Layanan Mandiri yang dimulai agen AI Anda. Ini menampilkan metrik kunci berikut untuk periode waktu yang dipilih yang disaring oleh kasus penggunaan 'Layanan mandiri':
-
AI melibatkan kontak:
Jumlah total kontak yang ditangani di mana agen AI menyelesaikan pertanyaan pelanggan tanpa melibatkan agen manusia.
-
Agen AI aktif:
Jumlah total agen AI unik, di mana setiap agen diidentifikasi oleh kombinasi unik Nama dan Versi.
-
Tingkat penyelesaian respons:
Persentase sesi agen AI yang berhasil menanggapi permintaan yang masuk.
-
Tingkat serah terima:
Persentase kontak layanan mandiri yang ditangani oleh agen AI yang ditandai karena membutuhkan dukungan tambahan termasuk tetapi tidak terbatas pada agen manusia.
-
Tingkat keberhasilan tujuan:
Proporsi sesi di mana agen AI berhasil menyelesaikan masalah pelanggan. Nilai adalah antara 0-1, di mana 1 menunjukkan resolusi yang berhasil di semua sesi.
-
Skor kesetiaan:
Proporsi respons agen AI yang tetap setia pada konteks percakapan, termasuk pesan dan hasil panggilan alat. Nilai adalah antara 0-1, di mana 1 menunjukkan kesetiaan kontekstual yang sempurna.
Gambar berikut menunjukkan contoh bagan ringkasan kinerja AI swalayan.
Ringkasan kinerja AI bantuan agen
Widget ini menunjukkan kesehatan interaksi yang dibantu agen Anda di mana AI memberikan dukungan kepada agen manusia. Ini menampilkan metrik kunci berikut untuk periode waktu yang dipilih yang disaring oleh kasus penggunaan 'Bantuan Agen'.
-
AI melibatkan kontak:
Jumlah total kontak di mana Agen AI membantu agen manusia dalam menyelesaikan pertanyaan pelanggan.
-
Agen AI aktif:
Jumlah total agen AI unik, di mana setiap agen diidentifikasi oleh kombinasi unik Nama dan Versi.
-
Tingkat penyelesaian respons:
Persentase sesi agen AI yang berhasil menanggapi permintaan yang masuk.
-
Tingkat keterlibatan niat proaktif:
Persentase maksud proaktif yang terdeteksi diklik oleh agen manusia.
-
Skor kesetiaan:
Proporsi respons agen AI yang tetap setia pada konteks percakapan, termasuk pesan dan hasil panggilan alat. Nilai adalah antara 0-1, di mana 1 menunjukkan kesetiaan kontekstual yang sempurna.
Gambar berikut menunjukkan contoh Bagan ringkasan kinerja AI bantuan agen.
Kinerja agen AI
Tabel ini memberikan tampilan penelusuran kinerja agen AI dari kasus penggunaan hingga versi agen individual dan metrik kinerja utamanya.
Tabel menampilkan metrik kinerja pada dua tingkat:
-
Tingkat kasus penggunaan AI:
Metrik agregat di semua versi agen dalam kasus penggunaan (Layanan mandiri pelanggan akhir, bantuan Agen).
-
Tingkat versi agen AI:
Metrik kinerja individual untuk setiap versi agen.
Anda dapat memperluas atau menciutkan baris kasus penggunaan untuk menelusuri ke versi agen tertentu. Untuk melihat bagaimana setiap versi berkontribusi terhadap performa kasus penggunaan secara keseluruhan, lihat metrik individual untuk setiap baris versi agen.
Metrik yang ditampilkan:
-
Jumlah permintaan agen AI:
Total berapa kali versi agen AI dipanggil.
-
Tingkat keberhasilan pemanggilan agen AI:
Persentase pemanggilan agen AI yang berhasil dieksekusi.
-
Rata-rata. Percakapan agen AI berubah:
Rata-rata jumlah percakapan yang dilakukan agen AI untuk mencapai hasil.
-
Respon yang bermanfaat:
Hitungan saran AI dinilai bermanfaat dengan acungan jempol.
-
Tanggapan yang tidak membantu:
Hitungan saran AI dinilai tidak membantu dengan jempol ke bawah.
-
Akurasi pemanfaatan alat:
Tingkat pemanfaatan alat yang benar oleh agen AI. Nilai adalah antara 0-1, di mana 1 menunjukkan pemanfaatan yang sempurna.
-
Akurasi pemilihan alat:
Tingkat pemilihan alat yang benar oleh Agen AI. Nilai antara 0-1, di mana 1 menunjukkan seleksi optimal.
-
Akurasi parameter alat:
Tingkat pemanggilan alat di mana Agen AI memberikan parameter yang benar. Nilai antara 0-1, di mana 1 menunjukkan akurasi parameter yang sempurna.
Gambar berikut menunjukkan contoh tabel kinerja agen AI.
Agen AI dengan tingkat keberhasilan pemanggilan
Bagan tingkat keberhasilan agen AI dengan pemanggilan menampilkan tingkat keberhasilan pemanggilan untuk setiap agen AI. Anda dapat mengonfigurasi widget ini lebih lanjut dengan memfilter agen AI tertentu, jenis agen AI, kasus penggunaan AI, atau dimensi lain langsung dari bagan ini.
Gambar berikut menunjukkan contoh agen AI dengan bagan tingkat keberhasilan pemanggilan.
Penggunaan basis pengetahuan
Tabel ini memberikan pandangan menelusuri artikel basis pengetahuan yang direferensikan oleh agen AI Anda. Anda dapat memperluas berdasarkan jenis agen AI dan baris agen AI untuk menelusuri nama basis pengetahuan khusus untuk melihat berapa kali basis pengetahuan direferensikan oleh agen AI.
Metrik yang ditampilkan:
-
Jumlah referensi — Berapa kali artikel direferensikan oleh agen AI.
Gambar berikut menunjukkan contoh tabel penggunaan dasar Pengetahuan.
Tren kinerja agen AI
Tren kinerja agen AI adalah bagan deret waktu yang menampilkan tingkat keberhasilan pemanggilan agen AI (bilah biru), skor Kesetiaan (garis merah), dan akurasi pemanfaatan Alat (garis hijau) selama periode waktu tertentu yang dipecah berdasarkan interval (15 menit, harian, mingguan, bulanan). Anda dapat mengonfigurasi interval rentang waktu yang berbeda dengan menggunakan tombol “Interval” langsung di widget. Interval yang dapat Anda pilih bergantung pada filter rentang waktu tingkat halaman.
Contoh:
-
Jika Anda memiliki filter rentang waktu “Hari Ini” di bagian atas dasbor Anda, Anda hanya dapat melihat interval 15 menit selama 24 jam terakhir.
-
Jika Anda memiliki filter rentang waktu “Hari” di bagian atas dasbor Anda, Anda dapat melihat tren interval 8 hari, atau tren interval 15 menit untuk trailing 24 jam.
-
Jika Anda memiliki filter rentang waktu “Minggu” di bagian atas dasbor Anda, Anda dapat melihat tren interval harian atau mingguan.
-
Jika Anda memiliki filter rentang waktu “Bulan” di bagian atas dasbor Anda, Anda dapat melihat tren interval harian atau bulanan.
Gambar berikut menunjukkan contoh grafik tren kinerja agen AI.
Penggunaan alat AI
Tabel ini membandingkan implementasi alat (misalnya, MCP - Model Context Protocol, Return-to-Control) pada pemanggilan, latensi rata-rata dan tingkat keberhasilan pemanggilan, dan akurasi pemanfaatan alat.
Misalnya, Anda dapat memilih jenis agen AI (seperti Orkestrasi atau Rekomendasi Jawaban) dan melihat kinerja alat yang berbeda dan versinya dalam jenis agen tersebut. Anda dapat mengidentifikasi versi alat mana yang memerlukan pengoptimalan dengan menyortir kolom menggunakan jumlah pemanggilan alat AI, tingkat keberhasilan pemanggilan alat AI, atau Rata-rata. Latensi pemanggilan alat AI.
Tabel menampilkan metrik kinerja pada tiga tingkatan:
-
Tingkat jenis agen AI:
Metrik agregat di semua alat dan versi dalam jenis agen.
-
Tingkat jenis alat AI:
Metrik agregat di semua versi jenis alat tertentu.
-
Alat AI:
Metrik kinerja individual untuk setiap versi alat.
Anda dapat memperluas atau menciutkan jenis agen AI dan baris jenis alat untuk menelusuri ke versi alat tertentu. Untuk melihat bagaimana setiap versi berkontribusi pada kinerja jenis alat secara keseluruhan, lihat metrik individual untuk setiap baris versi alat.
Metrik yang ditampilkan:
-
Jumlah pemanggilan alat AI:
Total berapa kali versi alat AI dipanggil.
-
Rata-rata. Latensi pemanggilan alat AI:
Latensi pemanggilan rata-rata dalam milidetik untuk versi alat.
-
Tingkat keberhasilan pemanggilan alat AI:
Persentase pemanggilan alat AI yang berhasil dieksekusi.
-
Akurasi pemanfaatan alat:
Tingkat pemanfaatan alat yang benar oleh agen AI. Nilai adalah antara 0-1, di mana 1 menunjukkan pemanfaatan yang sempurna.
-
Akurasi pemilihan alat:
Tingkat pemilihan alat yang benar oleh Agen AI. Nilai antara 0-1, di mana 1 menunjukkan seleksi optimal.
-
Akurasi parameter alat:
Tingkat pemanggilan alat di mana Agen AI memberikan parameter yang benar. Nilai antara 0-1, di mana 1 menunjukkan akurasi parameter yang sempurna.
Gambar berikut menunjukkan contoh tabel penggunaan alat AI.
Kinerja AI yang cepat
Tabel ini memberikan tampilan penelusuran kinerja prompt AI. Anda dapat memperluas jenis agen AI dan baris tipe prompt untuk menelusuri ke versi prompt tertentu. Untuk melihat bagaimana setiap versi berkontribusi pada performa tipe prompt keseluruhan, lihat metrik individual untuk setiap baris versi prompt.
Tabel menampilkan metrik kinerja pada tiga tingkatan:
-
Tingkat jenis agen AI:
Metrik agregat di semua permintaan dan versi untuk jenis agen AI.
-
Tingkat tipe prompt AI:
Metrik agregat di semua versi tipe prompt AI tertentu.
-
Tingkat versi prompt AI:
Metrik kinerja individual untuk setiap versi prompt AI.
Metrik yang ditampilkan:
-
Jumlah pemanggilan prompt AI:
Total berapa kali versi prompt AI dipanggil.
-
Tingkat keberhasilan pemanggilan cepat AI:
Persentase pemanggilan prompt AI yang berhasil dieksekusi.
-
Rata-rata. Latensi pemanggilan prompt AI:
Latensi pemanggilan rata-rata dalam milidetik untuk versi prompt AI.
Selain menggunakan filter halaman, Anda dapat menambahkan filter ke tabel untuk agen AI tertentu, petunjuk AI, rentang waktu, atau dimensi lainnya.
Gambar berikut menunjukkan contoh tabel kinerja prompt AI.
Tren maksud proaktif
Grafik tren maksud proaktif menunjukkan maksud Proaktif terdeteksi (bilah biru), terhadap tingkat keterlibatan niat proaktif (garis merah) dan tingkat respons niat proaktif (garis hijau) selama periode waktu tertentu yang dipecah berdasarkan interval (15 menit, harian, mingguan, bulanan). Anda dapat mengonfigurasi interval rentang waktu yang berbeda dengan menggunakan tombol “Interval” langsung di widget. Interval yang dapat Anda pilih bergantung pada filter rentang waktu tingkat halaman.
Metrik yang ditampilkan:
-
Maksud proaktif terdeteksi:
Jumlah intent proaktif (kueri pelanggan) yang terdeteksi selama sesi AI, untuk kasus penggunaan Bantuan Agen.
-
Tingkat keterlibatan niat proaktif:
Persentase maksud proaktif yang terdeteksi yang diklik atau dilibatkan oleh agen manusia, untuk kasus penggunaan Bantuan Agen.
-
Tingkat respons niat proaktif:
Persentase niat proaktif terlibat yang berhasil dipenuhi oleh Agen AI, untuk kasus penggunaan Bantuan Agen.
Gambar berikut menunjukkan contoh grafik tren maksud proaktif.
AI meminta dengan latensi pemanggilan
AI yang diminta oleh bagan latensi pemanggilan menampilkan latensi pemanggilan rata-rata dalam milidetik untuk setiap prompt AI. Anda dapat mengonfigurasi widget ini lebih lanjut dengan memfilter untuk permintaan AI tertentu, tipe prompt AI, agen AI, jenis agen AI, kasus penggunaan AI, atau dimensi lain langsung dari bagan ini.
Gambar berikut menunjukkan contoh AI yang diminta oleh bagan latensi pemanggilan.
AI meminta dengan tingkat keberhasilan pemanggilan
AI yang diminta oleh grafik tingkat keberhasilan pemanggilan menampilkan tingkat keberhasilan pemanggilan untuk setiap prompt AI. Anda dapat mengonfigurasi widget ini lebih lanjut dengan memfilter untuk permintaan AI tertentu, tipe prompt AI, agen AI, jenis agen AI, kasus penggunaan AI, atau dimensi lain langsung dari bagan ini.
Gambar berikut menunjukkan contoh AI yang diminta oleh bagan tingkat keberhasilan pemanggilan.
