Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Metrik agen AI
Metrik berikut tersedia untuk memantau kinerja agen AI. Untuk informasi tentang membuat agen AI, lihat Membuat agen AI. Untuk informasi tentang membuat prompt AI, lihat Membuat petunjuk AI. Untuk informasi tentang alat MCP agen AI, lihatAlat MCP agen AI.
Daftar Isi
Agen AI Aktif
Metrik ini mengukur jumlah total Agen AI unik, di mana setiap Agen AI diidentifikasi oleh kombinasi unik Nama dan Versi.
-
Jenis metrik: Integer
-
Kategori metrik: Agen AI
-
GetMetricDataV2 Pengidentifikasi metrik API:
ACTIVE_AI_AGENTS -
Lokasi dasbor: Dasbor Kinerja Agen AI, Agen AI Aktif
Doa Agen AI
Metrik ini mengukur jumlah total pemanggilan Agen AI di semua Agen AI per instans.
-
Jenis metrik: Integer
-
Kategori metrik: Agen AI
-
GetMetricDataV2 Pengidentifikasi metrik API:
AI_AGENT_INVOCATIONS -
Lokasi dasbor: Dasbor Kinerja Agen AI, Jumlah Pemanggilan Agen AI
Keberhasilan Doa Agen AI
Metrik ini mengukur jumlah pemanggilan Agen AI yang berhasil dijalankan tanpa kegagalan teknis seperti kesalahan API, batas waktu, atau masalah sistem.
-
Jenis metrik: Integer
-
Kategori metrik: Agen AI
-
GetMetricDataV2 Pengidentifikasi metrik API:
AI_AGENT_INVOCATION_SUCCESS
Tingkat Keberhasilan Doa Agen AI
Metrik ini mengukur persentase pemanggilan Agen AI yang berhasil dieksekusi tanpa kegagalan teknis.
-
Jenis metrik: Persen
-
Kategori metrik: Agen AI
-
GetMetricDataV2 Pengidentifikasi metrik API:
AI_AGENT_INVOCATION_SUCCESS_RATE -
Lokasi dasbor: Dasbor Kinerja Agen AI, Tingkat Keberhasilan Pemanggilan Agen AI
Respon Agen AI Bermanfaat
Metrik ini mengukur jumlah saran AI yang dinilai bermanfaat dengan acungan jempol.
-
Jenis metrik: Integer
-
Kategori metrik: Agen AI
-
GetMetricDataV2 Pengidentifikasi metrik API:
AI_AGENT_RESPONSE_HELPFUL -
Lokasi dasbor: Dasbor Kinerja Agen AI, Respons Agen AI Bermanfaat
catatan
Metrik ini diperbarui setiap 6 jam. Metrik ini tersedia sebagai bagian dari Connect Customer AI.
Respon Agen AI Tidak Bermanfaat
Metrik ini mengukur jumlah saran AI yang dinilai tidak membantu dengan jempol ke bawah.
-
Jenis metrik: Integer
-
Kategori metrik: Agen AI
-
GetMetricDataV2 Pengidentifikasi metrik API:
AI_AGENT_RESPONSE_NOT_HELPFUL -
Lokasi dasbor: Dasbor Kinerja Agen AI, Respons Agen AI Tidak Bermanfaat
catatan
Metrik ini diperbarui setiap 6 jam. Metrik ini tersedia sebagai bagian dari Connect Customer AI.
Serah Terima AI
Metrik ini mengukur jumlah total kontak yang ditangani oleh agen AI yang meningkat menjadi agen manusia. Metrik ini secara khusus berlaku untuk kasus penggunaan swalayan di mana agen AI awalnya menangani pertanyaan pelanggan.
-
Jenis metrik: Integer
-
Kategori metrik: Sesi AI
-
GetMetricDataV2 Pengidentifikasi metrik API:
AI_HANDOFFS
Tingkat Serah Terima AI
Metrik ini mengukur persentase kontak yang ditangani oleh agen AI yang memiliki eskalasi ke agen manusia atau dukungan tambahan.
-
Jenis metrik: Persen
-
Kategori metrik: Sesi AI
-
GetMetricDataV2 Pengidentifikasi metrik API:
AI_HANDOFF_RATE -
Lokasi dasbor: Dasbor Kinerja Agen AI, Tingkat Handoff
Tingkat Penyelesaian Respons AI
Metrik ini mengukur persentase sesi AI yang berhasil menanggapi permintaan pelanggan yang masuk.
-
Jenis metrik: Persen
-
Kategori metrik: Sesi AI
-
GetMetricDataV2 Pengidentifikasi metrik API:
AI_RESPONSE_COMPLETION_RATE -
Lokasi dasbor: Dasbor Kinerja Agen AI, Tingkat Penyelesaian Respons
Kontak Terlibat AI
Metrik ini mengukur jumlah total kontak pelanggan di mana Agen AI terlibat, baik menyediakan otomatisasi swalayan atau membantu agen manusia dalam menyelesaikan pertanyaan pelanggan.
-
Jenis metrik: Integer
-
Kategori metrik: Sesi AI
-
GetMetricDataV2 Pengidentifikasi metrik API:
AI_INVOLVED_CONTACTS -
Lokasi dasbor: Dasbor Kinerja Agen AI, Kontak Terlibat AI
Keberhasilan Doa Prompt AI
Metrik ini mengukur jumlah pemanggilan AI Prompt yang berhasil dijalankan tanpa kesalahan.
-
Jenis metrik: Integer
-
Kategori metrik: AI Prompt
-
GetMetricDataV2 Pengidentifikasi metrik API:
AI_PROMPT_INVOCATION_SUCCESS
Tingkat Keberhasilan Doa Prompt AI
Metrik ini mengukur persentase pemanggilan AI Prompt yang berhasil dieksekusi.
-
Jenis metrik: Persen
-
Kategori metrik: AI Prompt
-
GetMetricDataV2 Pengidentifikasi metrik API:
AI_PROMPT_INVOCATION_SUCCESS_RATE -
Lokasi dasbor: Dasbor Kinerja Agen AI, Tingkat Keberhasilan Pemanggilan Prompt AI
Doa Prompt AI
Metrik ini mengukur jumlah total pemanggilan AI Prompt.
-
Jenis metrik: Integer
-
Kategori metrik: AI Prompt
-
GetMetricDataV2 Pengidentifikasi metrik API:
AI_PROMPT_INVOCATIONS -
Lokasi dasbor: Dasbor Kinerja Agen AI, Hitungan Pemanggilan Prompt AI
Keberhasilan Doa Alat AI
Metrik ini mengukur jumlah total pemanggilan Alat AI yang berhasil dieksekusi.
-
Jenis metrik: Integer
-
Kategori metrik: Alat AI
-
GetMetricDataV2 Pengidentifikasi metrik API:
AI_TOOL_INVOCATION_SUCCESS
Tingkat Keberhasilan Pemanggilan Alat AI
Metrik ini mengukur persentase pemanggilan Alat AI yang berhasil dieksekusi.
-
Jenis metrik: Persen
-
Kategori metrik: Alat AI
-
GetMetricDataV2 Pengidentifikasi metrik API:
AI_TOOL_INVOCATION_SUCCESS_RATE -
Lokasi dasbor: Dasbor Kinerja Agen AI, Tingkat Keberhasilan Pemanggilan Alat AI
Pemanggilan Alat AI
Metrik ini mengukur jumlah total pemanggilan Alat AI.
-
Jenis metrik: Integer
-
Kategori metrik: Alat AI
-
GetMetricDataV2 Pengidentifikasi metrik API:
AI_TOOL_INVOCATIONS -
Lokasi dasbor: Dasbor Kinerja Agen AI, Jumlah Pemanggilan Alat AI
Akurasi Parameter Alat AI
Metrik ini mengukur tingkat pemanggilan alat di mana Agen AI memberikan parameter yang benar. Nilai antara 0-1, di mana 1 menunjukkan akurasi parameter yang sempurna.
-
Jenis metrik: Ganda
-
Kategori metrik: Alat AI
-
GetMetricDataV2 Pengidentifikasi metrik API:
AI_TOOL_PARAMETER_ACCURACY -
Lokasi dasbor: Dasbor Kinerja Agen AI, Akurasi Parameter Alat AI
Kriteria Evaluasi:
Metrik ini menggunakan LLM-based evaluasi otomatis yang menganalisis parameter yang diteruskan ke setiap panggilan alat terhadap konteks percakapan dan definisi parameter alat. Setiap panggilan alat dinilai sebagai benar atau salah berdasarkan kriteria berikut:
-
Kehadiran: Apakah semua parameter yang diperlukan ada dan diisi dengan benar?
-
Akurasi: Apakah nilai parameter secara eksplisit dibenarkan oleh konteks percakapan, bukan disimpulkan atau diasumsikan?
-
Presisi: Apakah ada parameter tambahan, tidak relevan, atau fabrikasi yang disertakan?
catatan
Metrik ini diperbarui setiap 24 jam. Metrik ini tersedia sebagai bagian dari Connect Customer AI.
Akurasi Pemilihan Alat AI
Metrik ini mengukur tingkat pemilihan alat yang benar oleh Agen AI. Nilai antara 0-1, di mana 1 menunjukkan seleksi optimal.
-
Jenis metrik: Ganda
-
Kategori metrik: Alat AI
-
GetMetricDataV2 Pengidentifikasi metrik API:
AI_TOOL_SELECTION_ACCURACY -
Lokasi dasbor: Dasbor Kinerja Agen AI, Akurasi Pemilihan Alat AI
Kriteria Evaluasi:
Metrik ini menggunakan LLM-based evaluasi otomatis yang menganalisis setiap panggilan alat yang dilakukan oleh agen AI. Setiap panggilan alat dinilai sebagai benar atau salah berdasarkan kriteria berikut:
-
Kesesuaian: Apakah alat yang dipilih tepat untuk memenuhi permintaan pelanggan?
-
Kebutuhan: Apakah agen AI menghindari panggilan alat yang tidak perlu atau salah?
-
Pilihan optimal: Apakah ada alat yang lebih tepat yang tersedia yang dilewatkan oleh agen AI?
catatan
Metrik ini diperbarui setiap 24 jam. Metrik ini tersedia sebagai bagian dari Connect Customer AI.
Akurasi Pemanfaatan Alat AI
Metrik ini mengukur tingkat pemanfaatan alat yang benar oleh Agen AI, termasuk parameter dan pemilihan yang tepat. Nilai adalah antara 0-1, di mana 1 menunjukkan pemanfaatan yang sempurna.
-
Jenis metrik: Ganda
-
Kategori metrik: Alat AI
-
GetMetricDataV2 Pengidentifikasi metrik API:
AI_TOOL_UTILIZATION_ACCURACY -
Lokasi dasbor: Dasbor Kinerja Agen AI, Akurasi Pemanfaatan Alat AI
Kriteria Evaluasi:
Metrik ini adalah skor gabungan dari Akurasi Pemilihan Alat AI dan Akurasi Parameter Alat AI.
catatan
Metrik ini diperbarui setiap 24 jam. Metrik ini tersedia sebagai bagian dari Connect Customer AI.
Rata-rata Percakapan Agen AI Berubah
Metrik ini mengukur jumlah rata-rata putaran percakapan yang dilakukan Agen AI untuk mencapai hasil.
-
Jenis metrik: Ganda
-
Kategori metrik: Agen AI
-
GetMetricDataV2 Pengidentifikasi metrik API:
AVG_AI_AGENT_CONVERSATION_TURNS -
Lokasi dasbor: Dasbor Kinerja Agen AI, Rata-rata. Percakapan agen AI berubah
Rata-rata Percakapan AI Berubah
Metrik ini mengukur rata-rata jumlah putaran percakapan di semua kontak yang terlibat AI.
-
Jenis metrik: Ganda
-
Kategori metrik: Sesi AI
-
GetMetricDataV2 Pengidentifikasi metrik API:
AVG_AI_CONVERSATION_TURNS -
Lokasi dasbor: Dasbor Kinerja Agen AI, Rata-rata. Percakapan AI Berubah
Latensi Pemanggilan Prompt AI Rata-rata
Metrik ini mengukur latensi pemanggilan rata-rata Prompt AI dalam milidetik.
-
Jenis metrik: Ganda
-
Kategori metrik: AI Prompt
-
GetMetricDataV2 Pengidentifikasi metrik API:
AVG_AI_PROMPT_INVOCATION_LATENCY -
Lokasi dasbor: Dasbor Kinerja Agen AI, Rata-rata. Latensi Pemanggilan Prompt AI
Latensi Pemanggilan Alat AI Rata-rata
Metrik ini mengukur latensi pemanggilan rata-rata Alat AI dalam milidetik.
-
Jenis metrik: Ganda
-
Kategori metrik: Alat AI
-
GetMetricDataV2 Pengidentifikasi metrik API:
AVG_AI_TOOL_INVOCATION_LATENCY -
Lokasi dasbor: Dasbor Kinerja Agen AI, Rata-rata. Latensi Pemanggilan Alat AI
Skor Kelengkapan
Metrik ini mengukur proporsi sesi di mana tanggapan Agen AI Orkestrasi sepenuhnya menangani semua bagian permintaan pelanggan daripada memberikan jawaban sebagian atau tidak lengkap. Nilai antara 0-1, di mana 1 menunjukkan respons lengkap di semua sesi.
-
Jenis metrik: Ganda
-
Kategori metrik: Sesi AI
-
GetMetricDataV2 Pengidentifikasi metrik API:
COMPLETENESS_SCORE -
Lokasi dasbor: Dasbor Kinerja Agen AI, Rata-rata. Skor Kelengkapan
Kriteria Evaluasi:
Metrik ini menggunakan LLM-based evaluasi otomatis yang menganalisis setiap giliran pelanggan dan respons agen AI. Ketika pesan pelanggan berisi beberapa permintaan atau pertanyaan, evaluasi memeriksa apakah masing-masing telah ditangani. Metrik ini dievaluasi menggunakan kriteria berikut:
-
Multi-request cakupan: Apakah semua permintaan eksplisit dalam satu giliran diidentifikasi dan ditangani oleh agen?
-
Definisi tercakup: Apakah setiap permintaan dijawab secara langsung, diakui dengan maksud untuk menindaklanjuti, atau dijelaskan sebagai tidak mungkin karena? policy/constraints
-
Cakupan respons langsung: Hanya tanggapan agen sebelum pesan berikutnya dievaluasi; resolusi selanjutnya tidak dihitung secara surut
catatan
Metrik ini diperbarui setiap 24 jam. Metrik ini tersedia sebagai bagian dari Connect Customer AI.
Skor Kesetiaan
Metrik ini mengukur proporsi sesi di mana respons Agen AI Orkestrasi tetap setia pada konteks percakapan, termasuk pesan dan hasil panggilan alat. Nilai adalah antara 0-1, di mana 1 menunjukkan kesetiaan kontekstual yang sempurna.
-
Jenis metrik: Ganda
-
Kategori metrik: Sesi AI
-
GetMetricDataV2 Pengidentifikasi metrik API:
FAITHFULNESS_SCORE -
Lokasi dasbor: Dasbor Kinerja Agen AI, Rata-rata. Skor Kesetiaan
Kriteria Evaluasi:
Metrik ini menggunakan LLM-based evaluasi otomatis yang menganalisis setiap respons agen AI terhadap konteks percakapan. Setiap tanggapan dinilai kesetiaannya dan diperiksa halusinasi berdasarkan kriteria berikut:
-
Akurasi representasi: Apakah respons secara akurat mewakili informasi dari konteks percakapan?
-
Konsistensi: Apakah respons menjaga konsistensi dengan fakta yang dinyatakan dalam percakapan?
-
Kesimpulan yang didukung: Apakah ada kesimpulan yang dibuat respons didukung secara wajar oleh konteksnya?
-
Atribusi yang benar: Apakah respons mengaitkan pernyataan dan informasi dengan benar ke sumber yang tepat dalam percakapan tanpa membuat atau salah menyelaraskan klaim?
catatan
Metrik ini diperbarui setiap 24 jam. Metrik ini tersedia sebagai bagian dari Connect Customer AI.
Tingkat Keberhasilan Sasaran
Metrik ini mengukur proporsi sesi di mana Agen AI Orkestrasi berhasil menyelesaikan masalah pelanggan. Nilai adalah antara 0-1, di mana 1 menunjukkan resolusi yang berhasil di semua sesi.
-
Jenis metrik: Ganda
-
Kategori metrik: Sesi AI
-
GetMetricDataV2 Pengidentifikasi metrik API:
GOAL_SUCCESS_RATE -
Lokasi dasbor: Dasbor Kinerja Agen AI, Tingkat Keberhasilan Sasaran
Kriteria Evaluasi:
Metrik ini menggunakan LLM-based evaluasi otomatis yang menganalisis jejak percakapan lengkap untuk setiap sesi agen AI. Setiap sesi dinilai berhasil atau tidak berhasil berdasarkan empat dimensi:
-
Pencapaian tujuan: Apakah agen AI memenuhi tujuan utama pelanggan?
-
Kualitas hasil: Apakah hasil akhir akurat dan bebas dari kesalahan?
-
Kelengkapan: Apakah semua aspek permintaan ditangani?
-
Kesesuaian: Apakah agen AI menggunakan alat dan pendekatan yang sesuai?
catatan
Metrik ini diperbarui setiap 24 jam. Metrik ini tersedia sebagai bagian dari Connect Customer AI.
Referensi Konten Pengetahuan
Metrik ini mengukur jumlah artikel konten pengetahuan yang direferensikan oleh Agen AI.
-
Jenis metrik: Integer
-
Kategori metrik: Basis Pengetahuan AI
-
GetMetricDataV2 Pengidentifikasi metrik API:
KNOWLEDGE_CONTENT_REFERENCES -
Lokasi dasbor: Dasbor Kinerja Agen AI, Jumlah Referensi Basis Pengetahuan
Maksud Proaktif Dijawab
Metrik ini mengukur jumlah maksud proaktif (kueri pelanggan) yang berhasil dijawab oleh Agen AI selama sesi AI.
-
Jenis metrik: Integer
-
Kategori metrik: Sesi AI
-
GetMetricDataV2 Pengidentifikasi metrik API:
PROACTIVE_INTENTS_ANSWERED
Maksud Proaktif Terdeteksi
Metrik ini mengukur jumlah maksud proaktif (kueri pelanggan) yang terdeteksi selama sesi AI, terutama untuk kasus penggunaan Bantuan Agen.
-
Jenis metrik: Integer
-
Kategori metrik: Sesi AI
-
GetMetricDataV2 Pengidentifikasi metrik API:
PROACTIVE_INTENTS_DETECTED
Maksud Proaktif Terlibat
Metrik ini mengukur jumlah maksud proaktif (kueri pelanggan) yang terlibat dengan agen manusia selama sesi AI.
-
Jenis metrik: Integer
-
Kategori metrik: Sesi AI
-
GetMetricDataV2 Pengidentifikasi metrik API:
PROACTIVE_INTENTS_ENGAGED
Tingkat Keterlibatan Maksud Proaktif
Metrik ini mengukur persentase maksud proaktif yang terdeteksi yang diklik atau dilibatkan oleh agen manusia.
-
Jenis metrik: Persen
-
Kategori metrik: Sesi AI
-
GetMetricDataV2 Pengidentifikasi metrik API:
PROACTIVE_INTENT_ENGAGEMENT_RATE -
Lokasi dasbor: Dasbor Kinerja Agen AI, Tingkat Keterlibatan Maksud Proaktif
Tingkat Respon Maksud Proaktif
Metrik ini mengukur persentase niat proaktif yang terlibat yang berhasil dipenuhi oleh Agen AI.
-
Jenis metrik: Persen
-
Kategori metrik: Sesi AI
-
GetMetricDataV2 Pengidentifikasi metrik API:
PROACTIVE_INTENT_RESPONSE_RATE
