Beheben fehlgeschlagener Automated-Reasoning-Richtlinientests - Amazon Bedrock
Grundlagen zu AnmerkungenWenn keine Anleitung gegeben werden kannAutomated Reasoning versteht das Quelldokument nichtDie Regeln in Ihrer Automated-Reasoning-Richtlinie sind falschDie Automated-Reasoning-Richtlinie gibt TRANSLATION_AMBIGUOUS zurück

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Beheben fehlgeschlagener Automated-Reasoning-Richtlinientests

Wenn ein Test Ihrer Automated-Reasoning-Richtlinie fehlschlägt, überprüfen Sie die extrahierte Logik und die Regeln in den Testergebnissen. Je nach Problem gibt es verschiedene Möglichkeiten, den Fehler zu beheben:

Anmerkung

Tutorial-Video: Eine step-by-step exemplarische Vorgehensweise zur Verfeinerung und Problembehebung einer Richtlinie für automatisiertes Denken finden Sie im folgenden Tutorial:

Tutorial-Demo 3 – Verfeinern der Automated-Reasoning-Richtlinie

Grundlagen zu Anmerkungen

Anmerkungen sind Korrekturen, die Sie vornehmen, um Ihre Richtlinie zu reparieren, wenn Tests fehlschlagen. Wenn ein Test nicht das erwartete Ergebnis zurückgibt, können Sie die Testbedingungen ändern, ihn erneut ausführen und die erfolgreiche Änderung als Anmerkung zur Aktualisierung Ihrer Richtlinie anwenden.

Verwenden Sie Anmerkungen, um:

  • falsche Regeln zu korrigieren;

  • fehlende Variablen hinzuzufügen;

  • Beschreibungen von Variablen zu verbessern;

  • Mehrdeutigkeiten bei Übersetzungen aufzulösen.

Beispiel: Anmerkung zur Reparatur von Richtlinien

Problem: In der Versicherungspolice wurde Urlaub für alle Vollzeitbeschäftigten genehmigt, aber für das Ausgangsdokument sind mindestens 1 Jahre erforderlich.

Ursprüngliche Regel:

if isFullTime is true, then eligibleForParentalLeave is true

Anmerkung angewendet:

  1. tenureMonthsVariable hinzugefügt (Typ INT)

  2. Regel aktualisiert auf: if isFullTime is true and tenureMonths is greater than 12, then eligibleForParentalLeave is true

  3. Der Test gibt jetzt korrekt UNGÜLTIG für Mitarbeiter mit weniger als 12 Monaten Betriebszugehörigkeit zurück

  • Aktualisieren Sie die Bedingungen des fehlgeschlagenen Tests und führen Sie ihn erneut aus. Wenn der Test das erwartete Validierungsergebnis zurückgibt, können Sie diese Anmerkung anwenden, um Ihre Richtlinie zu aktualisieren.

  • Aktualisieren Sie die Variablennamen oder -beschreibungen Ihrer Richtlinie, damit Automated Reasoning sie besser unterscheiden kann, da es natürliche Sprache in Logik übersetzt.

  • Aktualisieren Sie die Regeln Ihrer Richtlinie, wenn Sie der Meinung sind, dass Automated Reasoning Ihr Quelldokument falsch verstanden hat oder Ihr Quelldokument Fehler enthält.

  • Bearbeiten Sie die Logik Ihrer Richtlinie, indem Sie Variablen und Typen hinzufügen. Anschließend können Sie Ihre Regeln aktualisieren, um die neuen Variablen zu verwenden. Dies ist ein komplexer Anwendungsfall, den wir normalerweise nicht empfehlen.

  • Erstellen Sie Ihre Richtlinie mit umfassenderen Anweisungen neu. Die Anweisungen sollten genügend Kontext enthalten, sodass Automated Reasoning die Logik extrahieren kann, die für die Nutzung Ihrer Anwendung relevant ist. Wir empfehlen außerdem, Beispielfragen und -antworten einzubeziehen, von denen Sie erwarten, dass sie zu Ihrem Quelldokument gestellt werden.

Wenn keine Anleitung gegeben werden kann

In einigen Fällen kann Automated Reasoning darauf hindeuten, dass es unmöglich ist, eine Anleitung für einen fehlgeschlagenen Test zu geben. Dies ist in der Regel der Fall, wenn grundlegende Probleme mit der Richtlinienstruktur bestehen, die eine klare Analyse verhindern.

Zu den häufigsten Szenarien, in denen keine Anleitung gegeben werden kann, gehören:

  • In Konflikt stehende Regeln: Ihre Richtlinie enthält widersprüchliche Regeln, die zu logischen Inkonsistenzen führen. Eine Regel könnte beispielsweise besagen, dass Vollzeitbeschäftigte Anspruch auf Urlaub haben, während eine andere Regel besagt, dass Mitarbeiter mit weniger als einem Jahr Betriebszugehörigkeit keinen Anspruch darauf haben, ohne zu spezifizieren, wie mit Vollzeitbeschäftigten mit weniger als einem Jahr Betriebszugehörigkeit umgegangen werden soll.

  • Unvollständige Regelabdeckung: Ihre Richtlinie weist Lücken auf, bei denen bestimmte Kombinationen von Bedingungen nicht durch Regeln erfasst werden, sodass es unmöglich ist, das richtige Ergebnis zu ermitteln.

  • Zirkuläre Abhängigkeiten: Regeln, die in einer Weise voneinander abhängen, dass logische Schleifen entstehen, wodurch das System keine eindeutige Schlussfolgerung ziehen kann

  • Übermäßig komplexe Regelinteraktionen: Wenn mehrere Regeln auf eine Weise interagieren, die zu mehrdeutigen oder widersprüchlichen Ergebnissen für bestimmte Testszenarien führt

So beheben Sie diese Probleme:

  1. Überprüfen Sie Ihre Richtlinienregeln systematisch: Auf der Definitionsseite in der Konsole werden Warnungen zu widersprüchlichen Regeln, ungenutzten Variablen und unbenutzten Werten in benutzerdefinierten Typen angezeigt. Dieselben Informationen sind im QUALITY_REPORT Asset aus der GetAutomatedReasoningPolicyBuildWorkflowResultAssets API-Aktion verfügbar.

  2. Überprüfen Sie die Regelvollständigkeit: Stellen Sie sicher, dass Ihre Regeln alle möglichen Kombinationen von Bedingungen abdecken, die in Ihrer Domäne auftreten können. Identifizieren Sie alle Lücken, bei denen keine Regel gilt.

  3. Vereinfachen Sie komplexe Interaktionen: Wenn Sie viele miteinander verbundene Regeln haben, sollten Sie erwägen, diese in einfachere, gezieltere Regeln aufzuteilen, die leichter zu verstehen und zu validieren sind.

  4. Testen Sie Grenzfälle: Erstellen Sie zusätzliche Tests, die speziell auf die Randbedingungen und Grenzfälle in Ihrer Richtlinie abzielen, um zu ermitteln, wo Konflikte oder Lücken bestehen könnten.

  5. Erwägen Sie eine Richtlinienumstrukturierung: Wenn weiterhin Konflikte bestehen, müssen Sie Ihre Richtlinie möglicherweise mit klareren Regelhierarchien oder Prioritätsreihenfolgen neu strukturieren, um Mehrdeutigkeiten aufzulösen.

Wenn Sie auf diese Situation stoßen, ist es oft hilfreich, mit einer einfacheren Version Ihrer Richtlinie zu beginnen und die Komplexität schrittweise zu erhöhen, während Sie bei jedem Schritt Tests durchführen, um festzustellen, wo Konflikte entstehen.

Die folgenden Beispiele zeigen häufige Gründe für das Fehlschlagen eines Tests sowie mögliche Lösungsansätze.

Automated Reasoning versteht das Quelldokument nicht

Häufige Ursache

Automated Reasoning hat möglicherweise nicht alle erforderlichen Variablen aus Ihrem Quelldokument extrahiert, oder die Variablenbeschreibungen sind möglicherweise nicht klar genug, um eine korrekte Übersetzung von natürlicher Sprache in formale Logik zu ermöglichen.

Auflösung

  1. Prüfen Sie die Liste der Variablen auf dem Bildschirm mit den Definitionen, um sicherzustellen, dass alle Variablen, die zur Extraktion faktischer Aussagen aus Ihrer Frage und Antwort benötigt werden, in Ihrer Richtlinie enthalten sind.

  2. Wenn eine erforderliche Variable fehlt:

    1. Wählen Sie Hinzufügen aus, um eine neue Variable zu erstellen.

    2. Wählen Sie den entsprechenden Typ aus (Bool, Int, Real oder Enum).

    3. Schreiben Sie eine klare, umfassende Variablenbeschreibung.

  3. Wenn eine Variable existiert, aber bei der Validierung von Fragen und Antworten nicht richtig zugewiesen wurde, verbessern Sie ihre Beschreibung, damit Automated Reasoning natürliche Sprache besser übersetzen kann. Beispiel:

    Ursprüngliche Beschreibung (zu begrenzt): „Mitarbeiter, die mehr als 20 Stunden pro Woche arbeiten.“

    Verbesserte Beschreibung: „Mitarbeiter, die mehr als 20 Stunden pro Woche arbeiten, gelten als Vollzeitbeschäftigte. Diesen Wert auf ‚true‘ setzen, wenn Benutzer angeben, in ‚Vollzeit‘ oder mit voller Stundenzahl zu arbeiten, und auf ‚false‘, wenn sie angeben, in ‚Teilzeit‘ oder mit reduzierter Stundenzahl zu arbeiten.“

Die Regeln in Ihrer Automated-Reasoning-Richtlinie sind falsch

Häufige Ursache

Automated Reasoning hat Ihr Quelldokument möglicherweise falsch interpretiert oder Ihr Quelldokument enthält möglicherweise Fehler oder Inkonsistenzen.

Auflösung

  1. Wenn in der Validierungsausgabe eine falsche Regel zitiert wird, bearbeiten Sie die Regel. Typischerweise bemerken Sie dies, wenn ein Test als VALID zurückgegeben wird, obwohl Sie INVALID erwartet haben.

  2. Verwenden Sie beim Verweisen auf Variablen in der Regel den vollständigen Variablennamen, der im Abschnitt Definitionen der Richtlinie angegeben ist. Buchstabieren Sie beispielsweise isFullTime. Wenn Sie erwartet haben, dass die Eingabefragen und -antworten einer bestimmten Regel entsprechen, überprüfen Sie zunächst, ob die Variablen aus den Eingabefragen und -antworten korrekt sind. Wenn dies der Fall ist, müssen Sie möglicherweise eine neue Regel hinzufügen.

  3. Verwenden Sie die Schaltfläche Hinzufügen oben rechts in der Regelliste, um eine neue Regel einzugeben. Verwenden Sie natürliche Sprache, um die Regel anzugeben. Geben Sie zuerst Einschränkungen an und verweisen Sie auf Variablen mit ihrem vollständigen Namen. Für eine Regel, die nur Vollzeitbeschäftigten erlaubt, sich beurlauben zu lassen, könnte der Text etwa so lauten: „Wenn ein Mitarbeiter isFullTime, dann darf er sich beurlauben lassen, bezahlt (LoAP)“.

Die Automated-Reasoning-Richtlinie gibt TRANSLATION_AMBIGUOUS zurück

Häufige Ursachen

Wenn Ihre Richtlinie TRANSLATION_AMBIGUOUS zurückgibt, deutet dies darauf hin, dass Automated Reasoning eine Mehrdeutigkeit bei der Übersetzung natürlicher Sprache in formale Logik erkannt hat. Dies ist der Fall, wenn das System nicht eindeutig bestimmen kann, wie Konzepte in natürlicher Sprache den Variablen und Regeln der formalen Logik in Ihrer Richtlinie zugeordnet werden sollen.

Eine Mehrdeutigkeit bei Übersetzungen kann verschiedene zugrunde liegende Ursachen haben:

  • Überlappende Variablendefinitionen: Wenn mehrere Variablen in Ihrer Richtlinie plausibel dasselbe in natürlicher Sprache erwähnte Konzept darstellen könnten, kann das System nicht bestimmen, welche Variable verwendet werden soll. Wenn Sie beispielsweise sowohl über die Variable tenureMonths als auch monthsOfService mit ähnlichen Beschreibungen verfügen, kann es sein, dass das System Schwierigkeiten hat, zu bestimmen, welche verwendet werden soll, wenn ein Benutzer fragt, „wie lange jemand im Unternehmen gearbeitet hat“. Dies verursacht eine Mehrdeutigkeit im Übersetzungsprozess und kann zu inkonsistenten Ergebnissen führen.

  • Unvollständige Variablenbeschreibungen: Variablenbeschreibungen, die nicht ausreichend erläutern, wie Benutzer Konzepte in Alltagssprache benennen könnten, erschweren die Zuordnung von Benutzereingaben zur korrekten Darstellung in formaler Logik.

  • Mehrdeutige Eingabe in natürlicher Sprache: Benutzer-Prompts oder Modellantworten, die vage, widersprüchliche oder mehrfach interpretierbare Anweisungen enthalten, die nicht eindeutig in formale Logik übersetzt werden können

  • Fehlende Kontextinformationen: Wenn die natürliche Sprache auf Konzepte verweist, die in Ihrer Domäne existieren, aber im Variablenschema Ihrer Richtlinie nicht angemessen dargestellt sind

  • Inkonsistente Terminologie: Wenn dasselbe Konzept in Ihrem Quelldokument, den Variablenbeschreibungen und den Benutzerinteraktionen mit unterschiedlichen Begriffen bezeichnet wird, kann dies bei der Übersetzung zu Verwirrung führen.

Wenn Sie diese Ursachen verstehen, können Sie Probleme mit Ihren Tests beheben und entscheiden, welche Änderungen an Ihrer Richtlinie vorgenommen werden müssen. In einigen Fällen müssen Sie möglicherweise die Einstellungen des Konfidenzniveaus für Ihre Richtlinie anpassen, um ein besseres Gleichgewicht zwischen strikter Genauigkeit und praktischer Anwendbarkeit in Ihrem speziellen Anwendungsfall zu finden.

Auflösung

Je nach zugrunde liegendem Problem gibt es verschiedene Möglichkeiten, dies zu korrigieren:

  • Variablenbeschreibungen sind sich zu ähnlich: Wenn zwei Variablen ähnliche Namen oder Beschreibungen haben, kann der Übersetzungsprozess inkonsistent zwischen ihnen wählen. Wenn Sie beispielsweise sowohl über die Variable isFullTime als auch fullTimeStatus mit ähnlichen Beschreibungen verfügen, ordnet das System die natürliche Sprache über den Beschäftigungsstatus möglicherweise nicht konsistent der richtigen Variablen zu. Überprüfen Sie Ihre Variablenbeschreibungen, sodass jede Beschreibung klar voneinander abgegrenzte Zwecke und Kontexte hat. Erwägen Sie, doppelte Konzepte in einer einzigen Variablen zusammenzufassen oder sicherzustellen, dass jede Variable einen bestimmten Zweck hat, indem Sie klare, sich nicht überschneidende Beschreibungen verwenden, die genau angeben, wann jede Variable verwendet werden soll.

  • Ungenügender Variablenkontext: Ihre Variablenbeschreibungen decken möglicherweise nicht ausreichend ab, wie Benutzer Konzepte in Ihrer Domäne benennen können. Aktualisieren Sie Ihre Variablenbeschreibungen mit dem passenden Maß an Kontext.

  • Inkonsistente Wertformatierung: Eine Mehrdeutigkeit bei Übersetzungen kann auftreten, wenn das System sich nicht sicher ist, wie Werte (z. B. Zahlen oder Datumsangaben) formatiert werden sollen. Aktualisieren Sie Ihre Variablenbeschreibungen, um die erwarteten Formate zu verdeutlichen.

  • Mehrdeutige Eingabe: Wenn der Eingabetext mehrdeutige Aussagen enthält, nutzen Sie die Meinungsverschiedenheiten zwischen den alternativen Interpretationen, um sie genauer zu überarbeiten.