Alamat gagal tes kebijakan Penalaran Otomatis - Amazon Bedrock
Memahami anotasiKetika tidak mungkin untuk memberikan bimbinganPenalaran otomatis tidak memahami dokumen sumberAturan dalam kebijakan Penalaran Otomatis Anda salahPengembalian kebijakan penalaran otomatis TRANSLATION_AMBIGUOUS

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Alamat gagal tes kebijakan Penalaran Otomatis

Jika pengujian kebijakan Penalaran Otomatis Anda gagal, tinjau logika dan aturan yang diekstraksi dalam temuan pengujian. Ada beberapa cara untuk mengatasi kegagalan tergantung pada masalahnya:

catatan

Video tutorial: Untuk step-by-step panduan penyempurnaan dan pemecahan masalah kebijakan Penalaran Otomatis, tonton tutorial berikut:

Tutorial Demo 3 - Menyempurnakan kebijakan Penalaran Otomatis

Memahami anotasi

Anotasi adalah koreksi yang Anda terapkan untuk memperbaiki kebijakan Anda saat pengujian gagal. Jika pengujian tidak menampilkan hasil yang diharapkan, Anda dapat mengubah kondisi pengujian, menjalankannya kembali, dan menerapkan modifikasi yang berhasil sebagai anotasi untuk memperbarui kebijakan Anda.

Gunakan anotasi untuk:

  • Perbaiki aturan yang salah

  • Tambahkan variabel yang hilang

  • Tingkatkan deskripsi variabel

  • Selesaikan ambiguitas terjemahan

Contoh: Anotasi perbaikan kebijakan

Masalah: Cuti yang disetujui kebijakan untuk karyawan dengan masa jabatan 8 bulan, tetapi dokumen sumber membutuhkan 1+ tahun.

Aturan asli:

if is_full_time = true, then eligible_for_parental_leave = true

Anotasi diterapkan:

  1. Ditambahkan years_of_service variabel (tipe nyata)

  2. Aturan yang diperbarui ke: if is_full_time = true and years_of_service >= 1.0, then eligible_for_parental_leave = true

  3. Tes sekarang dengan benar mengembalikan INVALID untuk karyawan 8 bulan

  • Perbarui kondisi pengujian yang gagal dan jalankan kembali. Jika pengujian menampilkan hasil validasi yang diharapkan, Anda dapat menerapkan anotasi ini untuk memperbarui kebijakan Anda.

  • Perbarui nama atau deskripsi variabel kebijakan Anda untuk membantu Penalaran Otomatis membedakannya saat menerjemahkan bahasa alami ke dalam logika.

  • Perbarui aturan kebijakan Anda jika Anda yakin bahwa Penalaran Otomatis salah memahami dokumen sumber Anda atau dokumen sumber Anda mengandung kesalahan.

  • Edit logika kebijakan Anda dengan menambahkan variabel dan tipe. Anda kemudian dapat memperbarui aturan Anda untuk menggunakan variabel baru. Ini adalah kasus penggunaan lanjutan yang biasanya tidak kami rekomendasikan.

  • Buat ulang kebijakan Anda dengan instruksi yang lebih komprehensif. Instruksi harus mencakup konteks yang cukup sehingga Penalaran Otomatis dapat mengekstrak logika yang relevan dengan bagaimana aplikasi Anda akan digunakan. Kami juga merekomendasikan menyertakan contoh pertanyaan dan jawaban yang Anda harapkan akan ditanyakan tentang dokumen sumber Anda.

Ketika tidak mungkin untuk memberikan bimbingan

Dalam beberapa kasus, Penalaran Otomatis mungkin menunjukkan bahwa tidak mungkin memberikan panduan untuk tes yang gagal. Ini biasanya terjadi ketika ada masalah mendasar dengan struktur kebijakan yang mencegah analisis yang jelas. Ketika ini terjadi, Anda harus memeriksa aturan kebijakan Anda dan mencari konflik.

Skenario umum di mana panduan tidak dapat diberikan meliputi:

  • Aturan yang bertentangan: Kebijakan Anda berisi aturan kontradiktif yang menciptakan inkonsistensi logis. Misalnya, satu aturan mungkin menyatakan bahwa karyawan penuh waktu memenuhi syarat untuk cuti, sementara aturan lain menyatakan bahwa karyawan dengan layanan kurang dari satu tahun tidak memenuhi syarat, tanpa menentukan cara menangani karyawan penuh waktu dengan layanan kurang dari satu tahun.

  • Cakupan aturan yang tidak lengkap: Kebijakan Anda memiliki kesenjangan di mana kombinasi kondisi tertentu tidak ditangani oleh aturan apa pun, sehingga tidak mungkin untuk menentukan hasil yang benar.

  • Ketergantungan melingkar: Aturan yang saling bergantung satu sama lain dengan cara yang menciptakan loop logis, mencegah sistem mencapai kesimpulan yang pasti.

  • Interaksi aturan yang terlalu kompleks: Ketika beberapa aturan berinteraksi dengan cara yang menciptakan hasil yang ambigu atau kontradiktif untuk skenario pengujian tertentu.

Untuk mengatasi masalah ini:

  1. Tinjau aturan kebijakan Anda secara sistematis: Periksa setiap aturan dalam kebijakan Anda dan identifikasi apa pun yang mungkin bertentangan dengan orang lain. Carilah aturan yang dapat berlaku untuk skenario yang sama tetapi menghasilkan hasil yang berbeda.

  2. Periksa kelengkapan aturan: Pastikan aturan Anda mencakup semua kemungkinan kombinasi kondisi yang mungkin terjadi di domain Anda. Identifikasi celah di mana tidak ada aturan yang berlaku.

  3. Sederhanakan interaksi yang kompleks: Jika Anda memiliki banyak aturan yang saling berhubungan, pertimbangkan untuk memecahnya menjadi aturan yang lebih sederhana dan lebih terfokus yang lebih mudah dipahami dan divalidasi.

  4. Kasus tepi uji: Buat pengujian tambahan yang secara khusus menargetkan kondisi batas dan kasus tepi dalam kebijakan Anda untuk mengidentifikasi di mana konflik atau celah mungkin ada.

  5. Pertimbangkan restrukturisasi kebijakan: Jika konflik tetap ada, Anda mungkin perlu merestrukturisasi kebijakan Anda dengan hierarki aturan yang lebih jelas atau perintah prioritas untuk menyelesaikan ambiguitas.

Ketika Anda menghadapi situasi ini, seringkali membantu untuk memulai dengan versi kebijakan Anda yang lebih sederhana dan secara bertahap menambah kompleksitas saat menguji pada setiap langkah untuk mengidentifikasi di mana konflik diperkenalkan.

Contoh berikut adalah alasan umum mengapa tes mungkin gagal dan bagaimana mengatasinya.

Penalaran otomatis tidak memahami dokumen sumber

Penyebab umum

Penalaran Otomatis mungkin tidak mengekstrak semua variabel yang diperlukan dari dokumen sumber Anda, atau deskripsi variabel mungkin tidak cukup jelas untuk terjemahan yang tepat dari bahasa alami ke logika formal.

Resolusi

  1. Tinjau daftar Variabel di layar Definisi untuk memverifikasi bahwa semua variabel yang diperlukan untuk mengekstrak klaim faktual dari pertanyaan dan jawaban Anda ada dalam kebijakan Anda.

  2. Jika variabel yang diperlukan tidak ada:

    1. Pilih Tambah untuk membuat variabel baru.

    2. Pilih jenis yang sesuai (bool, int, real, atau enum).

    3. Tulis deskripsi variabel yang jelas dan komprehensif.

  3. Jika ada variabel tetapi tidak ditetapkan dengan benar selama validasi tanya jawab, tingkatkan deskripsinya untuk membantu Penalaran Otomatis menerjemahkan bahasa alami dengan lebih baik. Misalnya:

    Deskripsi asli (terlalu terbatas): “Karyawan bekerja lebih dari 20 jam per minggu.”

    Deskripsi yang ditingkatkan: “Karyawan yang bekerja lebih dari 20 jam per minggu dianggap penuh waktu. Tetapkan nilai ini ke true ketika pengguna menyebutkan 'penuh waktu' atau bekerja berjam-jam penuh, dan false ketika mereka menyebutkan 'paruh waktu' atau jam kerja yang dikurangi.

Aturan dalam kebijakan Penalaran Otomatis Anda salah

Penyebab umum

Penalaran Otomatis mungkin telah salah menafsirkan dokumen sumber Anda, atau dokumen sumber Anda mungkin mengandung kesalahan atau ketidakkonsistenan.

Resolusi

  1. Jika keluaran validasi mengutip aturan yang salah, edit aturannya. Anda mungkin pertama kali akan memperhatikan ini karena tes kembali seperti VALID yang Anda harapkanINVALID.

  2. Saat mereferensikan variabel dalam aturan, gunakan nama variabel lengkap yang ditentukan di bagian Definisi kebijakan. Misalnya, mengeja. is_full_time Jika Anda mengharapkan input Q & A cocok dengan aturan tertentu, pertama periksa apakah Variabel dari input Q & A sudah benar. Jika ya, Anda mungkin perlu menambahkan aturan baru.

  3. Gunakan tombol Tambah di kanan atas daftar aturan untuk memasukkan aturan baru. Gunakan bahasa alami untuk menentukan aturan. Tentukan kendala terlebih dahulu dan variabel referensi dengan nama lengkapnya. Misalnya, untuk aturan yang hanya mengizinkan karyawan penuh waktu untuk mengambil cuti, teksnya bisa berupa, “Jika seorang karyawanis_full_time, maka mereka diizinkan untuk mengambil cuti, dibayar (LoAP)”.

Pengembalian kebijakan penalaran otomatis TRANSLATION_AMBIGUOUS

Penyebab umum

Jika kebijakan Anda kembaliTRANSLATION_AMBIGUOUS, ini menunjukkan bahwa Penalaran Otomatis mendeteksi ambiguitas dalam menerjemahkan bahasa alami ke logika formal. Ini terjadi ketika sistem tidak dapat menentukan secara definitif bagaimana memetakan konsep bahasa alami ke variabel logika formal dan aturan dalam kebijakan Anda.

Ambiguitas terjemahan dapat muncul dari beberapa penyebab mendasar:

  • Definisi variabel yang tumpang tindih: Ketika beberapa variabel dalam kebijakan Anda dapat secara wajar mewakili konsep yang sama yang disebutkan dalam bahasa alami, sistem tidak dapat menentukan variabel mana yang akan digunakan. Misalnya, jika Anda memiliki keduanya employee_tenure_years dan years_of_service variabel dengan deskripsi yang sama, sistem mungkin kesulitan untuk menentukan mana yang akan digunakan ketika pengguna bertanya tentang “berapa lama seseorang telah bekerja di perusahaan.” Hal ini menciptakan ambiguitas dalam proses penerjemahan dan dapat menyebabkan hasil yang tidak konsisten.

  • Deskripsi variabel tidak lengkap: Deskripsi variabel yang tidak memiliki detail yang cukup tentang bagaimana pengguna dapat merujuk pada konsep dalam bahasa sehari-hari, sehingga sulit untuk memetakan input pengguna ke representasi logika formal yang benar.

  • Input bahasa alami yang ambigu: Permintaan pengguna atau respons model yang berisi pernyataan samar, kontradiktif, atau multi-interpretable yang tidak dapat diterjemahkan dengan jelas ke dalam logika formal.

  • Informasi kontekstual yang hilang: Ketika bahasa alami mengacu pada konsep yang ada di domain Anda tetapi tidak terwakili secara memadai dalam skema variabel kebijakan Anda.

  • Terminologi yang tidak konsisten: Ketika konsep yang sama disebut menggunakan istilah yang berbeda dalam dokumen sumber Anda, deskripsi variabel, dan interaksi pengguna, menciptakan kebingungan selama terjemahan.

Memahami penyebab ini dapat membantu Anda men-debug masalah dengan pengujian dan menentukan perubahan apa yang harus dilakukan pada kebijakan Anda. Dalam beberapa kasus, Anda mungkin perlu menyesuaikan pengaturan tingkat kepercayaan agar kebijakan Anda lebih seimbang antara akurasi yang ketat dan kegunaan praktis dalam kasus penggunaan spesifik Anda.

Resolusi

Ada beberapa cara untuk memperbaikinya tergantung pada masalah yang mendasarinya:

  • Deskripsi variabel terlalu mirip: Ketika dua variabel memiliki nama atau deskripsi yang sama, proses penerjemahan mungkin secara tidak konsisten memilih di antara mereka. Misalnya, jika Anda memiliki keduanya is_full_time dan full_time_status variabel dengan deskripsi serupa, sistem mungkin tidak secara konsisten memetakan bahasa alami tentang status pekerjaan ke variabel yang benar. Tinjau deskripsi variabel Anda sehingga masing-masing memiliki tujuan dan konteks yang berbeda dengan jelas. Pertimbangkan untuk mengkonsolidasikan konsep duplikat ke dalam satu variabel atau memastikan setiap variabel memiliki tujuan yang berbeda dengan deskripsi yang jelas dan tidak tumpang tindih yang menentukan dengan tepat kapan masing-masing harus digunakan.

  • Konteks variabel tidak memadai: Deskripsi variabel Anda mungkin tidak cukup mencakup bagaimana pengguna dapat merujuk ke konsep di domain Anda. Perbarui deskripsi variabel Anda dengan tingkat konteks yang tepat.

  • Pemformatan nilai yang tidak konsisten: Ambiguitas terjemahan dapat terjadi ketika sistem tidak yakin bagaimana memformat nilai (seperti angka atau tanggal). Perbarui deskripsi variabel Anda untuk memperjelas format yang diharapkan.

  • Input ambigu: Jika teks masukan berisi pernyataan ambigu, revisi agar lebih tepat.

Anda dapat menggunakan salah satu petunjuk berikut untuk memperbaiki masalah ambiguitas terjemahan:

Ambiguitas tanpa sumber
You are an expert in revising answers to questions based on logical disagreements found in the answers.
Given a domain, a question, an original answer, and logical ambiguities suggested from scearios, your task is to revise the original answer to address and resolve the logical ambiguities identified above. The revised answer should remove any ambiguities, such that one can clearly judge whether each scenario is consistent or inconsistent with the answer. The revised answer should have approximately the same length as the original answer. Avoid extending the answer with your own background knowledge.
Below is an example.
DOMAIN: DiscountPolicy
QUESTION: I want to buy tickets for next Thursday. How many people are needed to qualify for your group discount?
ORIGINAL ANSWER: You need at least 10 people to get the group discount.
LOGICAL AMBIGUITIES FOUND: disagree_scenario1: ['(= group_size 12)', '(= advanced_booking false)', '(= group_discount true)']
(Analysis: The scenario says the group size is 12, there is no advanced booking and group discount is true. Is this consistent with the answer? Well, the original answer does not mention advanced booking. Maybe the answer assumed advanced booking from the question "I want to buy tickets for next Thursday", but that's debatable. The revised answer should make it clear.)
REVISED ANSWER: You need at least 10 people and need to book in advance to get the group discount.
(Note: Scenarios are illustrative cases highlighting potential ambiguities. Do not overfit in your revised answer. In the example above, you should use the original "You need at least 10 people..." rather than the scenario-specific "If you have 12 people...")
Now complete the following task and return the revised answer. (Just return the answer. Do not return any analysis or notes)
DOMAIN: {domain}
QUESTION: {question}
ORIGINAL ANSWER: {original_answer}
LOGICAL AMBIGUITIES FOUND: It is unclear if the following scenarios are valid or not according to the answer. {disagreement_text}
REVISED ANSWER:
Ambiguitas dengan sumber
You are an expert in revising answers to questions based on logical disagreements found in the answers.
Given a domain, a question, an original answer, a piece of policy source text, and logical ambiguities suggested from scearios, your task is to revise the original answer to address and resolve the logical ambiguities identified above. The revised answer should remove any ambiguities, such that one can clearly judge whether each scenario is consistent or inconsistent with the answer. The revised answer should have approximately the same length as the original answer. Avoid extending the answer with your own background knowledge. The revised answer should be consistent with the actual policy from the source text.
Below is an example.
DOMAIN: DiscountPolicy
QUESTION: I want to buy tickets for next Thursday. How many people are needed to qualify for your group discount?
ORIGINAL ANSWER: You need at least 10 people to get the group discount.
POLICY SOURCE TEXT: ... We offer discounts to students, seniors, and large groups. Students must present a valid ID ... A group of ten or more people are qualified for a group discount. Group discount tickets must be booked in advance. Each group ticket is 20% off the regular ticket price ...
LOGICAL AMBIGUITIES FOUND: disagree_scenario1: ['(= group_size 12)', '(= advanced_booking false)', '(= group_discount true)']
(Analysis: The scenario says the group size is 12, there is no advanced booking and group discount is true. Is this consistent with the answer? Well, the original answer does not mention advanced booking. Maybe the answer assumed advanced booking from the question "I want to buy tickets for next Thursday", but that's debatable. The revised answer should make it clear.)
REVISED ANSWER: You need at least 10 people and need to book in advance to get the group discount.
(Note: Scenarios are illustrative cases highlighting potential ambiguities. Do not overfit in your revised answer. In the example above, you should use the original "You need at least 10 people..." rather than the scenario-specific "If you have 12 people...")
Now complete the following task and return the revised answer. (Just return the answer. Do not return any analysis or notes)
DOMAIN: {domain}
QUESTION: {question}
ORIGINAL ANSWER: {original_answer}
POLICY SOURCE TEXT: {policy_source_text}
LOGICAL DISAGREEMENTS FOUND: It is unclear if the following scenarios are valid or not according to the answer. {disagreement_text}
REVISED ANSWER: