Adresse hat die automatisierten Argumentationstests nicht bestanden - Amazon Bedrock
Anmerkungen verstehenWenn es unmöglich ist, eine Anleitung zu gebenAutomatisiertes Denken versteht das Quelldokument nichtDie Regeln in Ihrer Richtlinie für automatisiertes Denken sind falschRichtlinien zur automatischen Argumentation kehren zurück TRANSLATION_AMBIGUOUS

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Adresse hat die automatisierten Argumentationstests nicht bestanden

Wenn ein Test Ihrer Automated Reasoning-Richtlinie fehlschlägt, überprüfen Sie die extrahierte Logik und die Regeln in den Testergebnissen. Je nach Problem gibt es mehrere Möglichkeiten, den Fehler zu beheben:

Anmerkung

Tutorial-Video: Eine step-by-step exemplarische Vorgehensweise zur Verfeinerung und Problembehebung einer Richtlinie für automatisiertes Denken finden Sie im folgenden Tutorial:

Tutorial Demo 3 — Verfeinerung der Richtlinie für automatisiertes Denken

Anmerkungen verstehen

Anmerkungen sind Korrekturen, die Sie vornehmen, um Ihre Richtlinie zu reparieren, wenn Tests fehlschlagen. Wenn ein Test nicht das erwartete Ergebnis liefert, können Sie die Testbedingungen ändern, ihn erneut ausführen und die erfolgreiche Änderung als Anmerkung zur Aktualisierung Ihrer Richtlinie anwenden.

Verwenden Sie Anmerkungen, um:

  • Korrigieren Sie falsche Regeln

  • Fehlende Variablen hinzufügen

  • Verbessern Sie die Beschreibungen der Variablen

  • Beseitigen Sie Übersetzungsunklarheiten

Beispiel: Anmerkung zur Reparatur von Richtlinien

Problem: In der Versicherungspolice wurde Urlaub für einen Mitarbeiter mit einer Betriebszugehörigkeit von 8 Monaten genehmigt, für das Ausgangsdokument sind jedoch mehr als 1 Jahre erforderlich.

Ursprüngliche Regel:

if is_full_time = true, then eligible_for_parental_leave = true

Anmerkung angewendet:

  1. years_of_serviceVariable hinzugefügt (realer Typ)

  2. Regel aktualisiert auf: if is_full_time = true and years_of_service >= 1.0, then eligible_for_parental_leave = true

  3. Der Test gibt jetzt korrekt UNGÜLTIG für Mitarbeiter mit 8 Monaten Laufzeit zurück

  • Aktualisieren Sie die Bedingungen des fehlgeschlagenen Tests und führen Sie ihn erneut aus. Wenn der Test das erwartete Überprüfungsergebnis zurückgibt, können Sie diese Anmerkung anwenden, um Ihre Richtlinie zu aktualisieren.

  • Aktualisieren Sie die Variablennamen oder -beschreibungen Ihrer Richtlinie, damit Automated Reasoning sie besser unterscheiden kann, da es natürliche Sprache in Logik übersetzt.

  • Aktualisieren Sie die Regeln Ihrer Richtlinie, wenn Sie der Meinung sind, dass Automated Reasoning Ihr Quelldokument falsch verstanden hat oder Ihr Quelldokument Fehler enthält.

  • Bearbeiten Sie die Logik Ihrer Richtlinie, indem Sie Variablen und Typen hinzufügen. Anschließend können Sie Ihre Regeln aktualisieren, um die neuen Variablen zu verwenden. Dies ist ein Anwendungsfall für Fortgeschrittene, den wir normalerweise nicht empfehlen.

  • Erstellen Sie Ihre Richtlinie mit umfassenderen Anweisungen neu. Die Anweisungen sollten genügend Kontext enthalten, sodass Automated Reasoning die Logik extrahieren kann, die für die Art und Weise, wie Ihre Anwendung verwendet wird, relevant ist. Wir empfehlen außerdem, Beispielfragen und Antworten aufzunehmen, von denen Sie erwarten, dass sie zu Ihrem Quelldokument gestellt werden.

Wenn es unmöglich ist, eine Anleitung zu geben

In einigen Fällen kann automatisiertes Denken darauf hindeuten, dass es unmöglich ist, eine Anleitung für einen fehlgeschlagenen Test zu geben. Dies ist in der Regel der Fall, wenn grundlegende Probleme mit der politischen Struktur bestehen, die eine klare Analyse verhindern. In diesem Fall sollten Sie Ihre Versicherungsregeln überprüfen und nach Konflikten suchen.

Zu den häufigsten Szenarien, in denen keine Leitlinien bereitgestellt werden können, gehören:

  • Widersprüchliche Regeln: Ihre Richtlinie enthält widersprüchliche Regeln, die zu logischen Inkonsistenzen führen. Eine Regel könnte beispielsweise besagen, dass Vollzeitbeschäftigte Anspruch auf Urlaub haben, während eine andere Regel besagt, dass Mitarbeiter mit weniger als einem Jahr Betriebszugehörigkeit keinen Anspruch darauf haben, ohne zu spezifizieren, wie mit Vollzeitbeschäftigten mit weniger als einem Jahr Betriebszugehörigkeit umzugehen ist.

  • Unvollständiger Geltungsbereich der Regeln: Ihre Police weist Lücken auf, wenn bestimmte Kombinationen von Bedingungen nicht durch Regeln abgedeckt werden, sodass es unmöglich ist, das richtige Ergebnis zu ermitteln.

  • Zirkuläre Abhängigkeiten: Regeln, die so voneinander abhängen, dass logische Schleifen entstehen, die verhindern, dass das System zu einer endgültigen Schlussfolgerung gelangt.

  • Übermäßig komplexe Regelinteraktionen: Wenn mehrere Regeln auf eine Weise interagieren, die zu mehrdeutigen oder widersprüchlichen Ergebnissen für bestimmte Testszenarien führt.

Um diese Probleme zu lösen:

  1. Überprüfen Sie Ihre Versicherungsregeln systematisch: Gehen Sie jede Regel in Ihrer Richtlinie durch und identifizieren Sie alle Regeln, die mit anderen in Konflikt stehen könnten. Suchen Sie nach Regeln, die für dasselbe Szenario gelten könnten, aber zu unterschiedlichen Ergebnissen führen könnten.

  2. Überprüfen Sie die Vollständigkeit der Regeln: Stellen Sie sicher, dass Ihre Regeln alle möglichen Kombinationen von Bedingungen abdecken, die in Ihrer Domain auftreten können. Identifizieren Sie alle Lücken, für die keine Regel gilt.

  3. Vereinfachen Sie komplexe Interaktionen: Wenn Sie viele miteinander verbundene Regeln haben, sollten Sie erwägen, diese in einfachere, zielgerichtetere Regeln aufzuteilen, die leichter zu verstehen und zu validieren sind.

  4. Testen Sie Randfälle: Erstellen Sie zusätzliche Tests, die speziell auf die Randbedingungen und Randfälle in Ihrer Richtlinie abzielen, um zu ermitteln, wo Konflikte oder Lücken bestehen könnten.

  5. Erwägen Sie eine Richtlinienumstrukturierung: Wenn weiterhin Konflikte bestehen, müssen Sie Ihre Richtlinie möglicherweise mit klareren Regelhierarchien oder Rangfolgen neu strukturieren, um Unklarheiten auszuräumen.

Wenn Sie auf diese Situation stoßen, ist es oft hilfreich, mit einer einfacheren Version Ihrer Richtlinie zu beginnen und die Komplexität schrittweise zu erhöhen, während Sie bei jedem Schritt testen, um festzustellen, wo Konflikte entstehen.

Die folgenden Beispiele sind typische Gründe, warum ein Test fehlschlagen könnte, und wie diese behoben werden können.

Automatisiertes Denken versteht das Quelldokument nicht

Häufige Ursache

Automatisiertes Denken hat möglicherweise nicht alle erforderlichen Variablen aus Ihrem Quelldokument extrahiert, oder die Variablenbeschreibungen sind möglicherweise nicht klar genug, um eine korrekte Übersetzung von natürlicher Sprache in formale Logik zu ermöglichen.

Auflösung

  1. Überprüfen Sie anhand der Variablenliste auf dem Definitionsbildschirm, ob alle Variablen, die zur Extraktion von Sachaussagen aus Ihrer Frage und Antwort erforderlich sind, in Ihrer Richtlinie enthalten sind.

  2. Wenn eine erforderliche Variable fehlt:

    1. Wählen Sie Hinzufügen, um eine neue Variable zu erstellen.

    2. Wählen Sie den entsprechenden Typ aus (bool, int, real oder enum).

    3. Schreiben Sie eine klare, umfassende Variablenbeschreibung.

  3. Wenn eine Variable existiert, aber bei der Überprüfung von Fragen und Antworten nicht richtig zugewiesen wurde, verbessern Sie ihre Beschreibung, damit Automated Reasoning natürliche Sprache besser übersetzen kann. Zum Beispiel:

    Originalbeschreibung (zu begrenzt): „Mitarbeiter, die mehr als 20 Stunden pro Woche arbeiten.“

    Verbesserte Beschreibung: „Mitarbeiter, die mehr als 20 Stunden pro Woche arbeiten, gelten als Vollzeitbeschäftigte. Setzen Sie diesen Wert auf „Wahr“, wenn Benutzer angeben, Vollzeit zu arbeiten oder Vollzeit zu arbeiten, und auf Falsch, wenn sie angeben, dass sie „Teilzeit“ oder reduzierte Arbeitszeiten angeben.“

Die Regeln in Ihrer Richtlinie für automatisiertes Denken sind falsch

Häufige Ursache

Automated Reasoning hat Ihr Quelldokument möglicherweise falsch interpretiert, oder Ihr Quelldokument enthält möglicherweise Fehler oder Inkonsistenzen.

Auflösung

  1. Wenn in der Validierungsausgabe eine falsche Regel zitiert wird, bearbeiten Sie die Regel. Sie würden dies wahrscheinlich zuerst bemerken, weil ein Test so ausfielVALID, wie Sie es erwartet hattenINVALID.

  2. Verwenden Sie beim Verweisen auf Variablen in der Regel den vollständigen Variablennamen, der im Abschnitt Definitionen der Richtlinie angegeben ist. Buchstabieren Sie is_full_time zum Beispiel. Wenn Sie erwartet haben, dass die eingegebenen Fragen und Antworten einer bestimmten Regel entsprechen, überprüfen Sie zunächst, ob die Variablen aus den Fragen und Antworten zur Eingabe korrekt sind. Wenn dies der Fall ist, müssen Sie möglicherweise eine neue Regel hinzufügen.

  3. Verwenden Sie die Schaltfläche Hinzufügen oben rechts in der Regelliste, um eine neue Regel einzugeben. Verwenden Sie natürliche Sprache, um die Regel anzugeben. Geben Sie zuerst Einschränkungen an und verweisen Sie auf Variablen mit ihrem vollständigen Namen. Für eine Regel, die nur Vollzeitbeschäftigten erlaubt, sich beurlauben zu lassen, könnte der Text etwa so lauten: „Wenn es sich um einen Angestellten handeltis_full_time, dann darf er sich beurlauben lassen, bezahlt (LoAP)“.

Richtlinien zur automatischen Argumentation kehren zurück TRANSLATION_AMBIGUOUS

Häufige Ursachen

Wenn Ihre Richtlinie zurückkehrtTRANSLATION_AMBIGUOUS, deutet dies darauf hin, dass Automated Reasoning Mehrdeutigkeiten bei der Übersetzung natürlicher Sprache in formale Logik erkannt hat. Dies ist der Fall, wenn das System nicht eindeutig bestimmen kann, wie Konzepte in natürlicher Sprache den Variablen und Regeln der formalen Logik in Ihrer Richtlinie zugeordnet werden sollen.

Mehrdeutigkeit bei Übersetzungen kann verschiedene Ursachen haben:

  • Überlappende Variablendefinitionen: Wenn mehrere Variablen in Ihrer Richtlinie vernünftigerweise dasselbe in natürlicher Sprache erwähnte Konzept repräsentieren könnten, kann das System nicht bestimmen, welche Variable verwendet werden soll. Wenn Sie beispielsweise employee_tenure_years sowohl über beide als auch über years_of_service Variablen mit ähnlichen Beschreibungen verfügen, kann es sein, dass das System Schwierigkeiten hat, zu bestimmen, welche verwendet werden soll, wenn ein Benutzer fragt, „wie lange jemand im Unternehmen gearbeitet hat“. Dies führt zu Unklarheiten im Übersetzungsprozess und kann zu inkonsistenten Ergebnissen führen.

  • Unvollständige Variablenbeschreibungen: Variablenbeschreibungen, denen nicht genügend Details darüber fehlen, wie Benutzer sich auf Konzepte in der Alltagssprache beziehen könnten, was es schwierig macht, Benutzereingaben der richtigen formalen logischen Darstellung zuzuordnen.

  • Mehrdeutige Eingabe in natürlicher Sprache: Benutzeraufforderungen oder Modellantworten, die vage, widersprüchliche oder mehrfach interpretierbare Aussagen enthalten, die nicht eindeutig in formale Logik übersetzt werden können.

  • Fehlende Kontextinformationen: Wenn sich die natürliche Sprache auf Konzepte bezieht, die in Ihrer Domäne existieren, aber im Variablenschema Ihrer Richtlinie nicht angemessen repräsentiert sind.

  • Inkonsistente Terminologie: Wenn dasselbe Konzept mit unterschiedlichen Begriffen in Ihrem Quelldokument, Variablenbeschreibungen und Benutzerinteraktionen bezeichnet wird, was bei der Übersetzung zu Verwirrung führt.

Wenn Sie diese Ursachen verstehen, können Sie Probleme mit Ihren Tests beheben und entscheiden, welche Änderungen an Ihrer Richtlinie vorgenommen werden müssen. In einigen Fällen müssen Sie möglicherweise die Einstellungen für das Konfidenzniveau für Ihre Richtlinie anpassen, um ein besseres Gleichgewicht zwischen strikter Genauigkeit und praktischer Anwendbarkeit in Ihrem speziellen Anwendungsfall zu finden.

Auflösung

Je nach dem zugrunde liegenden Problem gibt es mehrere Möglichkeiten, dies zu korrigieren:

  • Variablenbeschreibungen sind sich zu ähnlich: Wenn zwei Variablen ähnliche Namen oder Beschreibungen haben, kann der Übersetzungsprozess inkonsistent zwischen ihnen wählen. Wenn Sie beispielsweise is_full_time sowohl über beide als auch über full_time_status Variablen mit ähnlichen Beschreibungen verfügen, ordnet das System die natürliche Sprache über den Beschäftigungsstatus möglicherweise nicht konsistent der richtigen Variablen zu. Überprüfen Sie Ihre Variablenbeschreibungen, sodass jede Beschreibung klar voneinander abgegrenzte Zwecke und Kontexte hat. Erwägen Sie, doppelte Konzepte in einer einzigen Variablen zusammenzufassen oder sicherzustellen, dass jede Variable einen bestimmten Zweck hat, indem Sie klare, sich nicht überschneidende Beschreibungen verwenden, die genau angeben, wann jede Variable verwendet werden soll.

  • Ungenügender variabler Kontext: Ihre Variablenbeschreibungen decken möglicherweise nicht ausreichend ab, wie Benutzer auf Konzepte in Ihrer Domäne verweisen können. Aktualisieren Sie Ihre Variablenbeschreibungen mit der richtigen Kontextebene.

  • Inkonsistente Wertformatierung: Mehrdeutige Übersetzungen können auftreten, wenn das System sich nicht sicher ist, wie Werte (wie Zahlen oder Datumsangaben) formatiert werden sollen. Aktualisieren Sie Ihre Variablenbeschreibungen, um die erwarteten Formate zu verdeutlichen.

  • Mehrdeutige Eingabe: Wenn der Eingabetext mehrdeutige Aussagen enthält, überarbeiten Sie diese, um sie genauer zu formulieren.

Sie können eine der folgenden Eingabeaufforderungen verwenden, um Probleme mit der Mehrdeutigkeit der Übersetzung zu korrigieren:

Mehrdeutigkeit ohne Quelle
You are an expert in revising answers to questions based on logical disagreements found in the answers.
Given a domain, a question, an original answer, and logical ambiguities suggested from scearios, your task is to revise the original answer to address and resolve the logical ambiguities identified above. The revised answer should remove any ambiguities, such that one can clearly judge whether each scenario is consistent or inconsistent with the answer. The revised answer should have approximately the same length as the original answer. Avoid extending the answer with your own background knowledge.
Below is an example.
DOMAIN: DiscountPolicy
QUESTION: I want to buy tickets for next Thursday. How many people are needed to qualify for your group discount?
ORIGINAL ANSWER: You need at least 10 people to get the group discount.
LOGICAL AMBIGUITIES FOUND: disagree_scenario1: ['(= group_size 12)', '(= advanced_booking false)', '(= group_discount true)']
(Analysis: The scenario says the group size is 12, there is no advanced booking and group discount is true. Is this consistent with the answer? Well, the original answer does not mention advanced booking. Maybe the answer assumed advanced booking from the question "I want to buy tickets for next Thursday", but that's debatable. The revised answer should make it clear.)
REVISED ANSWER: You need at least 10 people and need to book in advance to get the group discount.
(Note: Scenarios are illustrative cases highlighting potential ambiguities. Do not overfit in your revised answer. In the example above, you should use the original "You need at least 10 people..." rather than the scenario-specific "If you have 12 people...")
Now complete the following task and return the revised answer. (Just return the answer. Do not return any analysis or notes)
DOMAIN: {domain}
QUESTION: {question}
ORIGINAL ANSWER: {original_answer}
LOGICAL AMBIGUITIES FOUND: It is unclear if the following scenarios are valid or not according to the answer. {disagreement_text}
REVISED ANSWER:
Mehrdeutigkeit mit der Quelle
You are an expert in revising answers to questions based on logical disagreements found in the answers.
Given a domain, a question, an original answer, a piece of policy source text, and logical ambiguities suggested from scearios, your task is to revise the original answer to address and resolve the logical ambiguities identified above. The revised answer should remove any ambiguities, such that one can clearly judge whether each scenario is consistent or inconsistent with the answer. The revised answer should have approximately the same length as the original answer. Avoid extending the answer with your own background knowledge. The revised answer should be consistent with the actual policy from the source text.
Below is an example.
DOMAIN: DiscountPolicy
QUESTION: I want to buy tickets for next Thursday. How many people are needed to qualify for your group discount?
ORIGINAL ANSWER: You need at least 10 people to get the group discount.
POLICY SOURCE TEXT: ... We offer discounts to students, seniors, and large groups. Students must present a valid ID ... A group of ten or more people are qualified for a group discount. Group discount tickets must be booked in advance. Each group ticket is 20% off the regular ticket price ...
LOGICAL AMBIGUITIES FOUND: disagree_scenario1: ['(= group_size 12)', '(= advanced_booking false)', '(= group_discount true)']
(Analysis: The scenario says the group size is 12, there is no advanced booking and group discount is true. Is this consistent with the answer? Well, the original answer does not mention advanced booking. Maybe the answer assumed advanced booking from the question "I want to buy tickets for next Thursday", but that's debatable. The revised answer should make it clear.)
REVISED ANSWER: You need at least 10 people and need to book in advance to get the group discount.
(Note: Scenarios are illustrative cases highlighting potential ambiguities. Do not overfit in your revised answer. In the example above, you should use the original "You need at least 10 people..." rather than the scenario-specific "If you have 12 people...")
Now complete the following task and return the revised answer. (Just return the answer. Do not return any analysis or notes)
DOMAIN: {domain}
QUESTION: {question}
ORIGINAL ANSWER: {original_answer}
POLICY SOURCE TEXT: {policy_source_text}
LOGICAL DISAGREEMENTS FOUND: It is unclear if the following scenarios are valid or not according to the answer. {disagreement_text}
REVISED ANSWER: