Verbessern Sie die Genauigkeit, indem Sie automatische Argumentationsprüfungen in Amazon Bedrock Guardrails hinzufügen - Amazon Bedrock
Einschränkungen und ÜberlegungenBewährte MethodenPreisgestaltungRegionsübergreifende Inferenz für politische Maßnahmen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Verbessern Sie die Genauigkeit, indem Sie automatische Argumentationsprüfungen in Amazon Bedrock Guardrails hinzufügen

Automatisierte Argumentationsprüfungen in Amazon Bedrock Guardrails verifizieren mathematisch Inhalte in natürlicher Sprache anhand Ihrer definierten Richtlinien und stellen so die strikte Einhaltung Ihrer Richtlinien sicher. Diese Prüfungen können dazu beitragen, schädliche oder gesetzeswidrige Inhalte systematisch zu blockieren, bevor sie Ihre Nutzer erreichen. Im Gegensatz zu Ansätzen zum Musterabgleich bietet Automated Reasoning eine höhere Genauigkeit mit weniger Fehlalarmen, insbesondere bei komplexen politischen Anforderungen. Für Kunden, die Wert auf Präzision legen, können die Richtlinienregeln individuell angepasst werden, um die Effektivität der Leitplanken durch klare logische Aussagen zu erhöhen.

Eine zentrale Herausforderung bei großen Sprachmodellen (LLMs) besteht darin, die Genauigkeit ihrer Antworten sicherzustellen. Ohne Validierung LLMs kann es manchmal zu Halluzinationen oder ungenauen Informationen kommen, die das Vertrauen untergraben.

Automatisierte Argumentationsprüfungen in Amazon Bedrock Guardrails lösen dieses Problem mithilfe mathematischer Techniken, um:

  • Erkennen Sie Halluzinationen bei LLM-Reaktionen

  • Heben Sie unausgesprochene Annahmen hervor

  • Erläutern Sie, warum genaue Aussagen richtig sind

Diese Funktion ist besonders nützlich, wenn Sie die sachliche Grundlage für die Antwort eines LLM in folgenden Fällen nachweisen müssen:

  • Regulierte Branchen wie Gesundheitswesen und Personalwesen

  • Anträge mit komplexen Regeln (Hypothekengenehmigungen, Bebauungsgesetze)

  • Compliance-Szenarien, die überprüfbare KI-Antworten erfordern

Automatisierte Reasoning-Prüfungen in Amazon Bedrock Guardrails schützen nicht vor Prompt-Injection-Angriffen. Diese Prüfungen validieren genau das, was Sie ihnen senden. Wenn bösartige oder manipulierte Inhalte als Eingabe bereitgestellt werden, wird die Überprüfung für diesen Inhalt so durchgeführt, wie er ist (Garbage-In, Garbage-Out). Verwenden Sie Inhaltsfilter in Kombination mit automatisierten Argumentprüfungen, um Prompt-Injection-Angriffe zu erkennen und zu blockieren.

Automated Reasoning analysiert und erkennt nur Text, der für die Richtlinie „Automatisiertes Denken“ relevant ist. Es ignoriert den Rest des Inhalts und kann Entwicklern nicht sagen, ob die Antwort nicht zum Thema gehört oder nicht. Wenn Sie Antworten erkennen müssen, die nicht zum Thema gehören, verwenden Sie andere Leitplankenkomponenten wie Themenrichtlinien.

Anmerkung

Automatisierte Argumentationsprüfungen in Amazon Bedrock Guardrails sind generell in den Regionen USA (Nord-Virginia, Oregon und Ohio) und EU (Frankfurt, Paris, Irland) verfügbar.

Anmerkung

Automatisierte Prüfungen zur Argumentation in Amazon Bedrock Guardrails ergänzen andere Funktionen von Amazon Bedrock Guardrails wie Inhaltsfilter und Themenrichtlinien. Weitere Informationen finden Sie unter Guardrail-Komponenten.

CloudFormation wird derzeit nicht unterstützt. CloudFormation Support wird in Kürze verfügbar sein.

Automated Reasoning Checks in Amazon Bedrock Guardrails unterstützen derzeit nur Englisch (USA).

Automatisierte Argumentationsprüfungen in Amazon Bedrock Guardrails unterstützen kein Streaming. APIs

Einschränkungen und Überlegungen

Beachten Sie vor der Implementierung von Automated Reasoning Checks die folgenden wichtigen Einschränkungen:

  • Komplexität der Dokumente: Quelldokumente sollten gut strukturiert und mit klaren, eindeutigen Regeln versehen sein. Hochkomplexe Dokumente mit verschachtelten Bedingungen oder widersprüchlichen Aussagen lassen sich möglicherweise nicht sauber in die formale Logik integrieren.

  • Verarbeitungszeit: Die automatische Überprüfung der Argumentation erhöht die Latenz Ihrer Bewerbungsantworten. Planen Sie zusätzliche Verarbeitungszeit ein, insbesondere für komplexe Richtlinien mit vielen Regeln.

  • Geltungsbereich der Richtlinie: Jede Richtlinie sollte sich auf einen bestimmten Bereich (z. B. Personal, Finanzen, Recht) konzentrieren, anstatt zu versuchen, mehrere Bereiche, die nichts miteinander zu tun haben, in einer einzigen Richtlinie abzudecken.

  • Variable Grenzwerte: Richtlinien mit einer übermäßigen Anzahl von Variablen oder zu komplexen Regelinteraktionen können auf Verarbeitungslimits stoßen oder TOO_COMPLEX-Ergebnisse zurückgeben.

  • Abhängigkeit von natürlicher Sprache: Die Genauigkeit der Validierung hängt stark davon ab, wie gut natürliche Sprache in Benutzeraufforderungen und Modellantworten in die formalen logischen Variablen Ihrer Richtlinie übersetzt werden kann.

Bewährte Methoden

Folgen Sie diesen bewährten Methoden, um die Effektivität Ihrer Richtlinien für automatisiertes Denken zu maximieren:

  • Fangen Sie einfach an: Beginnen Sie mit einer zielgerichteten Richtlinie, die die Kernregeln abdeckt, und erhöhen Sie dann schrittweise die Komplexität. Testen Sie in jeder Phase gründlich.

  • Verfassen Sie umfassende Variablenbeschreibungen: Geben Sie an, wie sich Benutzer auf natürliche Weise auf Konzepte beziehen könnten, und nicht nur auf technische Definitionen aus Ihrem Quelldokument.

  • Testen Sie Randfälle: Erstellen Sie Tests, die speziell auf Randbedingungen, Ausnahmen und ungewöhnliche Szenarien abzielen, auf die Ihre Benutzer stoßen könnten.

  • Überwachen Sie Konfidenzschwellen: Beginnen Sie mit höheren Konfidenzschwellen (0,8-0,9) und passen Sie sie entsprechend Ihrer Toleranz zwischen falsch positiven und falsch negativen Ergebnissen an.

  • Regelmäßige Wartung von Richtlinien: Überprüfen und aktualisieren Sie Ihre Richtlinien, wenn sich die Geschäftsregeln ändern oder wenn Sie durch Tests und den Einsatz in der Produktion Lücken feststellen.

  • Dokumentieren Sie Ihre Anmerkungen: Behalten Sie den Überblick über die Änderungen an den Richtlinien und die Gründe dafür, damit Sie später darauf future und das Wissen im Team austauschen können.

Preisgestaltung

Automatisierte Begründungsprüfungen in Amazon Bedrock Guardrails werden auf der Grundlage der Anzahl der bearbeiteten Überprüfungsanfragen berechnet. Aktuelle Preisinformationen finden Sie auf der Preisseite von Amazon Bedrock.

Für jede Überprüfungsanfrage fallen Gebühren an, unabhängig vom Ergebnis (z. B. VALID, INVALID, TRANSLATION_AMBIGUATE). Um die Kosten zu optimieren:

  • Verwenden Sie geeignete Konfidenzschwellen, um die Genauigkeit mit den Verarbeitungsanforderungen in Einklang zu bringen

  • Erwägen Sie, die Validierungsergebnisse für identische oder ähnliche Abfragen zwischenzuspeichern, wenn dies für Ihren Anwendungsfall angemessen ist

  • Überwachen Sie die Nutzungsmuster und passen Sie die Richtlinien an, um unnötige Überprüfungsanfragen zu reduzieren

Regionsübergreifende Inferenz für politische Maßnahmen

Automatisiertes Denken nutzt regionsübergreifende Inferenz, um die Leistung und Verfügbarkeit von Maßnahmen zur Erstellung und Erprobung von Richtlinien zu optimieren. Spezifische API-Operationen verteilen die Verarbeitung automatisch auf die AWS-Regionen innerhalb Ihrer geografischen Grenzen, um eine zuverlässige Servicebereitstellung zu gewährleisten.

Die folgenden API-Operationen für automatisiertes Denken verwenden regionsübergreifende Inferenzen:

  • StartAutomatedReasoningPolicyBuildWorkflow- Wird bei der Erstellung und Kompilierung von Richtlinien aus Quelldokumenten aufgerufen

  • StartAutomatedReasoningPolicyTestWorkflow- Wird bei der Überprüfung und beim Testen von Richtlinien aufgerufen

Bei diesen Vorgängen werden umfangreiche Sprachmodelle aufgerufen, um formale Logikregeln aus Quelldokumenten zu extrahieren und Konstrukte natürlicher Sprache in strukturierte logische Repräsentationen zu übersetzen. Um eine optimale Leistung und Verfügbarkeit zu gewährleisten, wird die Anforderungsverarbeitung gemäß dem folgenden geografischen Routing verteilt:

  • Regionen der Vereinigte Staaten: API-Anfragen aus USA Ost (Nord-Virginia), USA West (Oregon) oder USA Ost (Ohio) können in jeder unterstützten US-Region bearbeitet werden.

  • Regionen der Europäischen Union: API-Anfragen aus der EU (Frankfurt), der EU (Paris) oder der EU (Irland) können in jeder unterstützten EU-Region bearbeitet werden.

Wichtig

Kundendaten verbleiben innerhalb der ursprünglichen geografischen Grenze (Vereinigte Staaten oder Europäische Union) und werden gemäß den AWS-Verpflichtungen zum Datenstandort verarbeitet. Regionsübergreifende Inferenz leitet Anfragen ausschließlich innerhalb derselben geografischen Region weiter, um die Leistung und Serviceverfügbarkeit zu optimieren.

Die regionsübergreifende Inferenz funktioniert transparent, ohne dass eine Kundenkonfiguration erforderlich ist. Die API-Funktionalität bleibt unabhängig von der spezifischen Region, in der die Anfrage bearbeitet wird, konsistent.

Gehen Sie wie folgt vor, um automatische Argumentationsprüfungen in Amazon Bedrock Guardrails zu verwenden:

  1. Laden Sie ein Quelldokument hoch, das die Regeln enthält, die Sie durchsetzen möchten

  2. Überprüfen Sie die extrahierte Richtlinie mit automatisch identifizierten Konzepten und Regeln

  3. Testen und verfeinern Sie die Richtlinie, um sicherzustellen, dass sie ordnungsgemäß funktioniert

  4. Stellen Sie die Richtlinie bereit, um die Antworten Ihres Foundation-Modells zu validieren

Der Arbeitsablauf kann wie folgt visualisiert werden:


Source Document → Extracted Policy → Testing → Deployment → Runtime Validation
    (rules)        (formal logic)    (verify)   (activate)    (check responses)

Richtlinien

Richtlinien für automatisiertes Denken bilden die Grundlage für die Überprüfung der Genauigkeit. Sie enthalten Logikregeln und Variablen, die automatisch aus Ihrem Quelldokument extrahiert werden. Diese Richtlinien dienen als mathematische Darstellung Ihrer Geschäftsregeln und ermöglichen es dem System, systematisch zu überprüfen, ob die Antworten des Foundation-Modells Ihren definierten Einschränkungen entsprechen. Um automatische Argumentationsprüfungen in Ihrer Anwendung durchzuführen, konfigurieren Sie Ihre Guardrail so, dass eine Richtlinie verwendet wird, die Ihren spezifischen Domänen- und Validierungsanforderungen entspricht.

Regeln

Regeln sind Logik, die Automated Reasoning aus Ihrem Quelldokument extrahiert. Diese können als Wenn-Dann-Aussagen geschrieben werden. Hier sind einige Beispiele für das Regelformat:

if <premise>, then <claim>

<premise> is true

Anmerkung

Wichtig: Regeln, die nicht im Wenn-Dann-Format vorliegen, können unbeabsichtigte Folgen haben, da sie Axiome über die Welt enthalten. Wenn eine Regel beispielsweise einfach besagt, dass es unmöglich istaccountBalance > 5, einen Kontostand von 5 oder weniger zu haben, unabhängig davon, was der Inhalt für die Überprüfung besagt. Die Regel hat es logischerweise unmöglich gemacht, dass diese Bedingung existiert. Dies könnte zu unerwarteten Überprüfungsergebnissen führen, bei denen Inhalte fälschlicherweise als nicht konform gekennzeichnet werden, weil sie dem in der Regel festgelegten Axiom widersprechen. Um dies zu vermeiden, sollten Sie Regeln als bedingte Anweisungen (Wenn-Dann-Format) strukturieren, die Beziehungen beschreiben, und nicht als absolute Beschränkungen.

Variablen

Variablen stellen Konzepte in Ihrer Richtlinie für automatisiertes Denken dar, denen bei der Übersetzung natürlicher Sprache in formale Logik Werte zugewiesen werden können. Ihre Richtlinienregeln definieren Beschränkungen dafür, welche Werte für diese Variablen gültig oder ungültig sind.

Variablen haben einen Namen, einen Typ und eine Beschreibung. Beispielsweise könnte eine Richtlinie über Leistungen an Arbeitnehmer eine Variable mit dem Namen „employee_age“, dem Typ „integer“ und der Beschreibung „Das Alter des Mitarbeiters in Jahren“ enthalten. Dieser Variablen könnte in einer Aufforderung an eine Anwendung ein Wert wie 25 zugewiesen werden, der auf natürlicher Sprache basiert.

Beispielsweise könnte eine is_full_time Variable in einer Personalrichtlinie die Beschreibung „Mitarbeiter, die mehr als 20 Stunden pro Woche arbeiten“ haben, was ein direktes Zitat aus dem Quelldokument ist. Bei der Verwendung eines Chatbots sagen Benutzer eher „Ich arbeite Vollzeit“ und nicht: „Ich arbeite mehr als 20 Stunden pro Woche“.

Die Genauigkeit der Übersetzung von natürlicher Sprache in formale Logik hängt stark von der Qualität der Variablenbeschreibungen ab. Der Argumentationsprozess ist nach Abschluss der Übersetzung zwar solide, aber klare und umfassende Variablenbeschreibungen stellen sicher, dass Benutzeraufforderungen korrekt interpretiert werden. Ohne vollständige Variablenbeschreibungen kehrt Automated Reasoning möglicherweise zurück, NO_DATA weil es die eingegebene natürliche Sprache nicht in ihre formale logische Darstellung übersetzen kann.

Es ist wichtig, dass eine Variablenbeschreibung Szenarien wie dieses berücksichtigt. Eine umfassende Variablenbeschreibung könnte lauten: „Mitarbeiter, die mehr als 20 Stunden pro Woche arbeiten, sind Vollzeit. Benutzer geben Vollzeit an, um diesen Wert auf „Wahr“ zu setzen, oder „Teilzeit“, um ihn auf Falsch zu setzen.

Vordefinierte Variablentypen

In der folgenden Tabelle werden die vordefinierten Variablentypen beschrieben, die Ihre Richtlinie enthalten kann.

Typ Beschreibung

bool

Boolesche Variablen können wahr oder falsch sein. In einer Urlaubsrichtlinie würden Sie beispielsweise eine bool Variable verwenden, um zu ermitteln, ob eine Beurlaubung zulässig ist oder nicht.

int

Numerische int Variablen können positive oder negative ganze Zahlen speichern. In einer Urlaubsrichtlinie würden Sie beispielsweise eine int Variable verwenden, um die aufgelaufenen Urlaubstage zu speichern, wenn keine Bruchteile von Tagen zulässig sind.

real

Numerische real Variablen können positive oder negative Zahlen speichern, für die eine Dezimalgenauigkeit erforderlich ist. In einer Abwesenheitsrichtlinie würden Sie beispielsweise eine real Variable verwenden, um den Zahlungsbetrag in Dollar für ungenutzte Urlaubstage zu speichern.

enum

Enum-Variablen können einen einzelnen Wert speichern, der aus einer Reihe fester Optionen ausgewählt wurde. In einer Urlaubsrichtlinie könnten Sie beispielsweise eine Enum-Variable verwenden, um die Art des Urlaubs zu speichern: (1) Bezahlter Urlaub; (2) Persönliche Zeit; (3) Urlaub

Sie können auch benutzerdefinierte, benutzerdefinierte Aufzählungstypen erstellen, die zusätzlichen Kontext bieten, der über die vordefinierten Variablentypen hinausgeht. Mit diesen benutzerdefinierten Typen können Sie spezifische Wertesätze definieren, die für Ihre Richtliniendomäne relevant sind.
Themen