Mengevaluasi kinerja agen di Connect Customer menggunakan AI generatif

1. Dapatkan pemahaman tingkat tinggi tentang pertanyaan evaluasi mana yang harus dijawab dengan AI generatif dengan membaca. Pedoman untuk meningkatkan akurasi AI generatif

2. Tetapkan izin untuk memilih pengguna dalam tim manajemen kualitas Anda untuk menggunakan asisten Ask AI. Pengguna ini akan mulai melihat tombol Ask AI di sebelah setiap pertanyaan, saat melakukan evaluasi dan dapat menggunakannya untuk mendapatkan rekomendasi jawaban. Pengguna ini dapat memberikan umpan balik tentang pertanyaan mana yang menerima jawaban akurat menggunakan AI generatif. Untuk informasi selengkapnya, lihat Tetapkan izin profil keamanan untuk evaluasi kinerja dan pelatihan.

3. Untuk meningkatkan akurasi, Anda dapat memberikan kriteria evaluasi tambahan dalam instruksi kepada evaluator. Untuk informasi selengkapnya, lihat Pedoman untuk meningkatkan akurasi AI generatif.

4. Setelah Anda memiliki pemahaman yang baik tentang pertanyaan mana yang dapat dijawab secara akurat dengan AI generatif, Anda dapat melakukan peluncuran yang lebih luas dengan melakukan pra-konfigurasi pada formulir evaluasi, apakah sebuah pertanyaan akan menerima jawaban otomatis menggunakan AI generatif.

5. Setelah Anda memiliki otomatisasi pengaturan, setiap pengguna yang melakukan evaluasi menggunakan formulir evaluasi akan mendapatkan jawaban AI generatif otomatis untuk pertanyaan yang telah dikonfigurasi sebelumnya (tanpa memerlukan izin tambahan). Untuk informasi selengkapnya, lihat Langkah 6: Aktifkan evaluasi otomatis.

6. Anda dapat mengatur otomatisasi sedemikian rupa sehingga evaluator terlebih dahulu meninjau jawaban AI generatif sebelum pengiriman atau Anda dapat secara otomatis mengisi dan mengirimkan evaluasi.

1. Pilih tab Pengaturan tambahan saat membuat atau memperbarui formulir evaluasi.

2. Pilih bahasa Formulir dari dropdown.

3. Pastikan pertanyaan, instruksi, dan pilihan jawaban formulir Anda dalam bahasa yang sama dengan bahasa Formulir yang dipilih, untuk kinerja AI yang optimal.

Memilih pertanyaan untuk mendapatkan rekomendasi AI generatif

1. Gunakan AI generatif untuk menanggapi pertanyaan yang dapat dijawab menggunakan informasi dari transkrip percakapan, tanpa perlu memvalidasi informasi melalui aplikasi pihak ketiga seperti sistem CRM.

2. Menggunakan AI generatif untuk menjawab pertanyaan yang membutuhkan respons numerik, seperti “Berapa lama agen berinteraksi dengan pelanggan?” tidak dianjurkan. Sebagai gantinya, pertimbangkan untuk menyiapkan otomatisasi untuk pertanyaan formulir evaluasi tersebut menggunakan Contact Lens atau metrik kontak.

3. Hindari menggunakan AI generatif untuk menjawab pertanyaan yang sangat subjektif, misalnya, “Apakah agen penuh perhatian selama panggilan?”

4. Jangan mengajukan pertanyaan yang membutuhkan informasi yang tidak dapat diketahui dari transkrip percakapan saja. Misalnya, AI generatif tidak dapat menganalisis perekaman layar agen, mengakses sistem eksternal seperti CRM, atau mengevaluasi di beberapa kontak. Generative AI juga tidak dapat menentukan nada suara agen atau pelanggan.

5. Jika sebuah pertanyaan mengukur lebih dari satu hal, bagilah menjadi beberapa pertanyaan yang lebih sederhana. Misalnya, alih-alih “Apakah agen menunjukkan pendengaran aktif?” , ajukan pertanyaan terpisah seperti “Apakah agen memahami masalah pelanggan pertama kali tanpa perlu pelanggan mengulanginya sendiri?” dan “Apakah agen meringkas masalah setelah pelanggan menjelaskannya?”. Anda juga dapat menggunakan pertanyaan yang diaktifkan secara kondisional sehingga pertanyaan tindak lanjut hanya dievaluasi ketika pertanyaan pemicu memiliki jawaban tertentu.

Meningkatkan frase pertanyaan dan instruksi terkait

1. Gunakan kalimat lengkap untuk pertanyaan kata, misalnya, mengganti validasi ID dengan “Apakah agen mencoba memvalidasi identitas pelanggan?” memungkinkan AI generatif untuk lebih memahami pertanyaan.

2. Disarankan agar Anda memberikan kriteria terperinci untuk menjawab pertanyaan dalam instruksi kepada evaluator, terutama jika tidak mungkin untuk menjawab pertanyaan berdasarkan teks pertanyaan saja. Misalnya, untuk pertanyaan “Apakah agen mencoba memvalidasi identitas pelanggan?” Anda mungkin ingin memberikan instruksi tambahan seperti, Agen diharuskan untuk selalu menanyakan ID keanggotaan dan kode pos kepada pelanggan sebelum menjawab pertanyaan pelanggan.

3. Jika menjawab pertanyaan membutuhkan pengetahuan tentang beberapa istilah khusus bisnis, maka tentukan istilah-istilah tersebut dalam instruksi. Misalnya, jika agen perlu menentukan nama departemen dalam salam, maka cantumkan nama departemen yang diperlukan yang perlu dinyatakan agen sebagai bagian dari instruksi kepada evaluator yang terkait dengan pertanyaan tersebut.

4. Jika memungkinkan, gunakan istilah 'agen' alih-alih istilah seperti 'rekan', 'karyawan', 'perwakilan', 'advokat', atau 'rekan'. Demikian pula gunakan istilah 'pelanggan', bukan istilah seperti 'anggota', 'penelepon', 'tamu', atau 'pelanggan'.

5. Hanya gunakan tanda kutip ganda dalam instruksi Anda jika Anda ingin memeriksa kata-kata yang tepat yang diucapkan oleh agen atau pelanggan. Misalnya, Jika instruksinya adalah untuk memeriksa agen yang mengatakan"Have a nice day", maka AI generatif tidak akan mendeteksi Selamat sore. Sebaliknya instruksi harus mengatakan:The agent wished the customer a nice day.

6. Hindari menggunakan akronim dalam pertanyaan dan instruksi. Misalnya, alih-alih “Apakah agen mengikuti pedoman CFPB?” , jelaskan istilah lengkapnya sehingga AI generatif dapat menafsirkannya dengan benar.

7. Hindari menggunakan kata benda yang tepat yang cenderung salah eja dalam transkrip percakapan. Misalnya, nama produk seperti O2 Pay mungkin ditranskripsikan secara berbeda, yang dapat mencegah AI generatif mencocokkannya.

8. Hindari pertanyaan yang diungkapkan secara samar-samar, seperti “Apakah agen menggunakan bahasa yang sesuai?”. Jadilah spesifik, misalnya, “Apakah agen menggunakan kata-kata kotor?”.

9. Frasa pertanyaan sehingga jelas siapa yang sedang dievaluasi. Misalnya, “Apakah agen menghindari penggunaan kata-kata kotor?” dapat diartikan sebagai menanyakan apakah kata-kata kotor terjadi di mana saja dalam percakapan, sehingga jawabannya menjadi “Tidak” bahkan ketika hanya pelanggan yang menggunakan kata-kata kotor. Untuk mengevaluasi perilaku agen itu sendiri, ucapkan pertanyaan sebagai “Apakah agen menggunakan kata-kata kotor?”.

10. Hindari pertanyaan yang diungkapkan secara negatif, seperti “Apakah agen melewatkan salam?”. Ungkapan negatif dapat menyebabkan AI generatif berhalusinasi bukti saat memberikan referensi. Sebaliknya, ucapkan pertanyaan secara positif, misalnya, “Apakah agen menyapa pelanggan?”.

11. Dalam instruksi Anda, jelaskan kapan jawabannya Tidak Berlaku (N/A). Misalnya, Jawabannya adalah N/A jika panggilan menghasilkan transfer.

12. Hindari skrip kata demi kata yang panjang dalam instruksi Anda, seperti memeriksa apa yang dikatakan agen. "Thank you for calling ABC Bank. How may I assist you?" Perbedaan transkripsi kecil berarti AI generatif tidak mungkin cocok dengan skrip lengkap.

13. Berikan contoh yang mencakup berbagai skenario yang ditangani agen Anda, bukan hanya alur panggilan standar. Jika agen Anda menangani situasi seperti callback, eskalasi, atau transfer, sertakan contoh dalam instruksi kepada evaluator yang mencerminkan situasi tersebut. Misalnya, pertanyaan yang menanyakan apakah agen memberikan garis waktu mungkin menerima “Biasanya dibutuhkan 3 hingga 5 hari kerja” pada panggilan standar, tetapi juga harus menyertakan contoh frasa yang dapat diterima untuk panggilan balik, seperti “Saya akan menelepon Anda kembali dalam waktu 30 menit dengan pembaruan”. Pertanyaan yang hanya mencakup contoh aliran standar lebih mungkin dijawab secara tidak konsisten pada kontak non-standar.

14. Berikan perhatian ekstra pada instruksi untuk pertanyaan yang secara otomatis gagal evaluasi, karena satu jawaban gagal mempengaruhi keseluruhan skor evaluasi. Berikan kriteria paling rinci untuk pertanyaan-pertanyaan ini, termasuk kasus tepi dan skenario non-standar. Untuk informasi lebih lanjut tentang penilaian, lihatLangkah 5: Tetapkan skor dan rentang untuk jawaban.

Meningkatkan opsi jawaban

1. Gunakan opsi jawaban sederhana dan singkat, seperti Ya, Tidak, dan Sebagian.

2. Aktifkan pengaturan pertanyaan Opsional ketika ada situasi di mana pertanyaan tidak berlaku. Hal ini memungkinkan evaluator melewatkan pertanyaan atau menandainya sebagai Tidak Berlaku.

3. Hindari kesalahan ejaan dan karakter khusus dalam opsi jawaban, karena mereka dapat mengurangi keakuratan jawaban AI generatif.

4. Hindari menggunakan terlalu banyak pilihan jawaban. Misalnya, untuk pertanyaan “Bagaimana pengalaman pelanggan?” , daftar panjang opsi seperti Great, Good, OK, Poor, Very Poor, dan Horrible mengurangi akurasi. Gunakan serangkaian opsi berbeda yang lebih kecil sebagai gantinya.

5. Hindari teks panjang dalam opsi jawaban, karena mungkin salah direproduksi oleh model AI generatif.