Alamat gagal tes kebijakan Penalaran Otomatis - Amazon Bedrock
Memahami anotasiKetika tidak mungkin untuk memberikan bimbinganPenalaran otomatis tidak memahami dokumen sumberAturan dalam kebijakan Penalaran Otomatis Anda salahPengembalian kebijakan penalaran otomatis TRANSLATION_AMBIGUOUS

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Alamat gagal tes kebijakan Penalaran Otomatis

Jika pengujian kebijakan Penalaran Otomatis Anda gagal, tinjau logika dan aturan yang diekstraksi dalam temuan pengujian. Ada beberapa cara untuk mengatasi kegagalan tergantung pada masalahnya:

catatan

Video tutorial: Untuk step-by-step panduan penyempurnaan dan pemecahan masalah kebijakan Penalaran Otomatis, tonton tutorial berikut:

Tutorial Demo 3 - Menyempurnakan kebijakan Penalaran Otomatis

Memahami anotasi

Anotasi adalah koreksi yang Anda terapkan untuk memperbaiki kebijakan Anda saat pengujian gagal. Jika pengujian tidak menampilkan hasil yang diharapkan, Anda dapat mengubah kondisi pengujian, menjalankannya kembali, dan menerapkan modifikasi yang berhasil sebagai anotasi untuk memperbarui kebijakan Anda.

Gunakan anotasi untuk:

  • Perbaiki aturan yang salah

  • Tambahkan variabel yang hilang

  • Tingkatkan deskripsi variabel

  • Selesaikan ambiguitas terjemahan

Contoh: Anotasi perbaikan kebijakan

Masalah: Cuti yang disetujui kebijakan untuk semua karyawan penuh waktu, tetapi dokumen sumber membutuhkan 1+ tahun.

Aturan asli:

if isFullTime is true, then eligibleForParentalLeave is true

Anotasi diterapkan:

  1. Ditambahkan tenureMonths variabel (tipe INT)

  2. Aturan yang diperbarui ke: if isFullTime is true and tenureMonths is greater than 12, then eligibleForParentalLeave is true

  3. Tes sekarang dengan benar mengembalikan INVALID untuk karyawan dengan masa jabatan kurang dari 12 bulan

  • Perbarui kondisi pengujian yang gagal dan jalankan kembali. Jika pengujian menampilkan hasil validasi yang diharapkan, Anda dapat menerapkan anotasi ini untuk memperbarui kebijakan Anda.

  • Perbarui nama atau deskripsi variabel kebijakan Anda untuk membantu Penalaran Otomatis membedakannya saat menerjemahkan bahasa alami ke dalam logika.

  • Perbarui aturan kebijakan Anda jika Anda yakin bahwa Penalaran Otomatis salah memahami dokumen sumber Anda atau dokumen sumber Anda mengandung kesalahan.

  • Edit logika kebijakan Anda dengan menambahkan variabel dan tipe. Anda kemudian dapat memperbarui aturan Anda untuk menggunakan variabel baru. Ini adalah kasus penggunaan lanjutan yang biasanya tidak kami rekomendasikan.

  • Buat ulang kebijakan Anda dengan instruksi yang lebih komprehensif. Instruksi harus mencakup konteks yang cukup sehingga Penalaran Otomatis dapat mengekstrak logika yang relevan dengan bagaimana aplikasi Anda akan digunakan. Kami juga merekomendasikan menyertakan contoh pertanyaan dan jawaban yang Anda harapkan akan ditanyakan tentang dokumen sumber Anda.

Ketika tidak mungkin untuk memberikan bimbingan

Dalam beberapa kasus, Penalaran Otomatis mungkin menunjukkan bahwa tidak mungkin memberikan panduan untuk tes yang gagal. Ini biasanya terjadi ketika ada masalah mendasar dengan struktur kebijakan yang mencegah analisis yang jelas.

Skenario umum di mana panduan tidak dapat diberikan meliputi:

  • Aturan yang bertentangan: Kebijakan Anda berisi aturan kontradiktif yang menciptakan inkonsistensi logis. Misalnya, satu aturan mungkin menyatakan bahwa karyawan penuh waktu memenuhi syarat untuk cuti, sementara aturan lain menyatakan bahwa karyawan dengan layanan kurang dari satu tahun tidak memenuhi syarat, tanpa menentukan cara menangani karyawan penuh waktu dengan layanan kurang dari satu tahun.

  • Cakupan aturan yang tidak lengkap: Kebijakan Anda memiliki kesenjangan di mana kombinasi kondisi tertentu tidak ditangani oleh aturan apa pun, sehingga tidak mungkin untuk menentukan hasil yang benar.

  • Ketergantungan melingkar: Aturan yang bergantung satu sama lain dengan cara yang menciptakan loop logis, mencegah sistem mencapai kesimpulan yang pasti.

  • Interaksi aturan yang terlalu kompleks: Ketika beberapa aturan berinteraksi dengan cara yang menciptakan hasil yang ambigu atau kontradiktif untuk skenario pengujian tertentu.

Untuk mengatasi masalah ini:

  1. Tinjau aturan kebijakan Anda secara sistematis: halaman definisi di konsol akan menampilkan peringatan seputar aturan yang bertentangan, variabel yang tidak digunakan, dan nilai yang tidak digunakan dalam tipe khusus. Informasi yang sama tersedia di QUALITY_REPORT aset dari tindakan GetAutomatedReasoningPolicyBuildWorkflowResultAssets API.

  2. Periksa kelengkapan aturan: Pastikan aturan Anda mencakup semua kemungkinan kombinasi kondisi yang mungkin terjadi di domain Anda. Identifikasi celah di mana tidak ada aturan yang berlaku.

  3. Sederhanakan interaksi yang kompleks: Jika Anda memiliki banyak aturan yang saling berhubungan, pertimbangkan untuk memecahnya menjadi aturan yang lebih sederhana dan lebih terfokus yang lebih mudah dipahami dan divalidasi.

  4. Kasus tepi uji: Buat pengujian tambahan yang secara khusus menargetkan kondisi batas dan kasus tepi dalam kebijakan Anda untuk mengidentifikasi di mana konflik atau celah mungkin ada.

  5. Pertimbangkan restrukturisasi kebijakan: Jika konflik tetap ada, Anda mungkin perlu merestrukturisasi kebijakan Anda dengan hierarki aturan yang lebih jelas atau perintah prioritas untuk menyelesaikan ambiguitas.

Ketika Anda menghadapi situasi ini, seringkali membantu untuk memulai dengan versi kebijakan Anda yang lebih sederhana dan secara bertahap menambah kompleksitas saat menguji pada setiap langkah untuk mengidentifikasi di mana konflik diperkenalkan.

Contoh berikut adalah alasan umum mengapa tes mungkin gagal dan bagaimana mengatasinya.

Penalaran otomatis tidak memahami dokumen sumber

Penyebab umum

Penalaran Otomatis mungkin tidak mengekstrak semua variabel yang diperlukan dari dokumen sumber Anda, atau deskripsi variabel mungkin tidak cukup jelas untuk terjemahan yang tepat dari bahasa alami ke logika formal.

Resolusi

  1. Tinjau daftar Variabel di layar Definisi untuk memverifikasi bahwa semua variabel yang diperlukan untuk mengekstrak klaim faktual dari pertanyaan dan jawaban Anda ada dalam kebijakan Anda.

  2. Jika variabel yang diperlukan tidak ada:

    1. Pilih Tambah untuk membuat variabel baru.

    2. Pilih jenis yang sesuai (bool, int, real, atau enum).

    3. Tulis deskripsi variabel yang jelas dan komprehensif.

  3. Jika ada variabel tetapi tidak ditetapkan dengan benar selama validasi tanya jawab, tingkatkan deskripsinya untuk membantu Penalaran Otomatis menerjemahkan bahasa alami dengan lebih baik. Contoh:

    Deskripsi asli (terlalu terbatas): “Karyawan bekerja lebih dari 20 jam per minggu.”

    Deskripsi yang ditingkatkan: “Karyawan yang bekerja lebih dari 20 jam per minggu dianggap penuh waktu. Tetapkan nilai ini ke true ketika pengguna menyebutkan 'penuh waktu' atau bekerja berjam-jam penuh, dan false ketika mereka menyebutkan 'paruh waktu' atau jam kerja yang dikurangi.

Aturan dalam kebijakan Penalaran Otomatis Anda salah

Penyebab umum

Penalaran Otomatis mungkin telah salah menafsirkan dokumen sumber Anda, atau dokumen sumber Anda mungkin mengandung kesalahan atau ketidakkonsistenan.

Resolusi

  1. Jika keluaran validasi mengutip aturan yang salah, edit aturannya. Anda mungkin pertama kali akan memperhatikan ini karena tes kembali seperti VALID yang Anda harapkanINVALID.

  2. Saat mereferensikan variabel dalam aturan, gunakan nama variabel lengkap yang ditentukan di bagian Definisi kebijakan. Misalnya, mengeja. isFullTime Jika Anda mengharapkan input Q & A cocok dengan aturan tertentu, pertama periksa apakah Variabel dari input Q & A sudah benar. Jika ya, Anda mungkin perlu menambahkan aturan baru.

  3. Gunakan tombol Tambah di kanan atas daftar aturan untuk memasukkan aturan baru. Gunakan bahasa alami untuk menentukan aturan. Tentukan kendala terlebih dahulu dan variabel referensi dengan nama lengkapnya. Misalnya, untuk aturan yang hanya mengizinkan karyawan penuh waktu untuk mengambil cuti, teksnya bisa berupa, “Jika seorang karyawanisFullTime, maka mereka diizinkan untuk mengambil cuti, dibayar (LoAP)”.

Pengembalian kebijakan penalaran otomatis TRANSLATION_AMBIGUOUS

Penyebab umum

Jika kebijakan Anda kembaliTRANSLATION_AMBIGUOUS, ini menunjukkan bahwa Penalaran Otomatis mendeteksi ambiguitas dalam menerjemahkan bahasa alami ke logika formal. Ini terjadi ketika sistem tidak dapat menentukan secara definitif bagaimana memetakan konsep bahasa alami ke variabel logika formal dan aturan dalam kebijakan Anda.

Ambiguitas terjemahan dapat muncul dari beberapa penyebab mendasar:

  • Definisi variabel yang tumpang tindih: Ketika beberapa variabel dalam kebijakan Anda dapat secara wajar mewakili konsep yang sama yang disebutkan dalam bahasa alami, sistem tidak dapat menentukan variabel mana yang akan digunakan. Misalnya, jika Anda memiliki keduanya tenureMonths dan monthsOfService variabel dengan deskripsi yang sama, sistem mungkin kesulitan untuk menentukan mana yang akan digunakan ketika pengguna bertanya tentang “berapa lama seseorang telah bekerja di perusahaan.” Hal ini menciptakan ambiguitas dalam proses penerjemahan dan dapat menyebabkan hasil yang tidak konsisten.

  • Deskripsi variabel tidak lengkap: Deskripsi variabel yang tidak memiliki detail yang cukup tentang bagaimana pengguna dapat merujuk pada konsep dalam bahasa sehari-hari, sehingga sulit untuk memetakan input pengguna ke representasi logika formal yang benar.

  • Input bahasa alami yang ambigu: Permintaan pengguna atau respons model yang berisi pernyataan samar, kontradiktif, atau multi-interpretable yang tidak dapat diterjemahkan dengan jelas ke dalam logika formal.

  • Informasi kontekstual yang hilang: Ketika bahasa alami mengacu pada konsep yang ada di domain Anda tetapi tidak terwakili secara memadai dalam skema variabel kebijakan Anda.

  • Terminologi yang tidak konsisten: Ketika konsep yang sama disebut menggunakan istilah yang berbeda dalam dokumen sumber Anda, deskripsi variabel, dan interaksi pengguna, menciptakan kebingungan selama terjemahan.

Memahami penyebab ini dapat membantu Anda men-debug masalah dengan pengujian dan menentukan perubahan apa yang harus dilakukan pada kebijakan Anda. Dalam beberapa kasus, Anda mungkin perlu menyesuaikan pengaturan tingkat kepercayaan agar kebijakan Anda lebih seimbang antara akurasi yang ketat dan kegunaan praktis dalam kasus penggunaan spesifik Anda.

Resolusi

Ada beberapa cara untuk memperbaikinya tergantung pada masalah yang mendasarinya:

  • Deskripsi variabel terlalu mirip: Ketika dua variabel memiliki nama atau deskripsi yang sama, proses penerjemahan mungkin secara tidak konsisten memilih di antara mereka. Misalnya, jika Anda memiliki keduanya isFullTime dan fullTimeStatus variabel dengan deskripsi serupa, sistem mungkin tidak secara konsisten memetakan bahasa alami tentang status pekerjaan ke variabel yang benar. Tinjau deskripsi variabel Anda sehingga masing-masing memiliki tujuan dan konteks yang berbeda dengan jelas. Pertimbangkan untuk mengkonsolidasikan konsep duplikat ke dalam satu variabel atau memastikan setiap variabel memiliki tujuan yang berbeda dengan deskripsi yang jelas dan tidak tumpang tindih yang menentukan dengan tepat kapan masing-masing harus digunakan.

  • Konteks variabel tidak memadai: Deskripsi variabel Anda mungkin tidak cukup mencakup bagaimana pengguna dapat merujuk ke konsep di domain Anda. Perbarui deskripsi variabel Anda dengan tingkat konteks yang tepat.

  • Pemformatan nilai yang tidak konsisten: Ambiguitas terjemahan dapat terjadi ketika sistem tidak yakin bagaimana memformat nilai (seperti angka atau tanggal). Perbarui deskripsi variabel Anda untuk memperjelas format yang diharapkan.

  • Input ambigu: Jika teks input berisi pernyataan ambigu, gunakan ketidaksepakatan antara interpretasi alternatif untuk merevisinya agar lebih tepat.