Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
So verbessern Sie die Genauigkeit, indem Sie Automated-Reasoning-Prüfungen im Integritätsschutz für Amazon Bedrock hinzufügen
Automated-Reasoning-Prüfungen im Integritätsschutz für Amazon Bedrock verifizieren mathematisch Inhalte in natürlicher Sprache anhand Ihrer definierten Richtlinien und stellen so die strikte Einhaltung Ihres Integritätsschutzes sicher. Diese Prüfungen können dazu beitragen, schädliche oder gesetzeswidrige Inhalte systematisch zu blockieren, bevor sie Ihre Nutzer erreichen. Im Gegensatz zu Ansätzen zum Musterabgleich liefert Automated Reasoning insbesondere bei komplexen politischen Anforderungen höhere Genauigkeit und weniger Fehlalarme. Für Kunden, die Wert auf Präzision legen, können die Richtlinienregeln individuell angepasst werden, um die Effektivität des Integritätsschutzes durch klare logische Aussagen zu erhöhen.
Eine zentrale Herausforderung bei großen Sprachmodellen (LLMs) besteht darin, die Genauigkeit ihrer Antworten sicherzustellen. Ohne Validierung LLMs kann es manchmal zu Halluzinationen oder ungenauen Informationen kommen, die das Vertrauen untergraben.
Automated-Reasoning-Prüfungen im Integritätsschutz für Amazon Bedrock lösen dieses Problem, indem mathematische Methoden verwendet werden, um:
-
So erkennen Sie Halluzinationen in LLM-Antworten
-
So heben Sie unausgesprochene Annahmen hervor
-
So erläutern Sie, warum genaue Aussagen richtig sind
Dieses Feature ist besonders nützlich, wenn Sie die sachliche Grundlage einer LLM-Antwort wie folgt nachweisen müssen:
-
Regulierte Branchen wie das Gesundheitswesen und das Personalwesen
-
Anwendungen mit komplexen Regelwerken (Hypothekenbewilligungen, Bauvorschriften)
-
Compliance-Szenarien, die überprüfbare KI-Antworten erfordern
Automated-Reasoning-Prüfungen im Integritätsschutz für Amazon Bedrock schützen nicht vor Promptinjektionsangriffen. Diese Prüfungen validieren genau das, was Sie ihnen senden. Wenn böswilliger oder manipulierter Inhalt als Eingabe bereitgestellt wird, erfolgt die Validierung genau auf dieser Grundlage (Garbage-in, Garbage-out). Verwenden Sie Inhaltsfilter in Kombination mit Automated-Reasoning-Prüfungen, um Promptinjektionsangriffe zu erkennen und zu blockieren.
Automated Reasoning analysiert und erkennt nur Text, der für die Richtlinie Automated Reasoning relevant ist. Es ignoriert den Rest des Inhalts und kann Entwicklern nicht sagen, ob die Antwort zum Thema gehört oder nicht. Wenn Sie Antworten erkennen müssen, die nicht zum Thema gehören, verwenden Sie andere Integritätsschutzkomponenten wie Themenrichtlinien.
Anmerkung
Automated-Reasoning-Prüfungen im Integritätsschutz für Amazon Bedrock sind generell in den Regionen USA (Nord-Virginia, Oregon und Ohio) und EU (Frankfurt, Paris, Irland) verfügbar.
Anmerkung
Automated-Reasoning-Prüfungen im Integritätsschutz für Amazon Bedrock ergänzen andere Features vom Integritätsschutz für Amazon Bedrock wie Inhaltsfilter und Themenrichtlinien. Weitere Informationen finden Sie unter Integritätsschutzkomponenten.
Automated-Reasoning-Prüfungen im Integritätsschutz für Amazon Bedrock werden derzeit nur auf Englisch (USA) unterstützt.
Automatisierte Argumentationsprüfungen in Amazon Bedrock Guardrails unterstützen kein Streaming. APIs
Einschränkungen und Überlegungen
Beachten Sie die folgenden wichtigen Einschränkungen bevor Sie Automated-Reasoning-Prüfungen implementieren:
-
Komplexität der Dokumente: Quelldokumente sollten gut strukturiert und mit klaren, eindeutigen Regeln versehen sein. Hochkomplexe Dokumente mit verschachtelten Bedingungen oder widersprüchlichen Aussagen lassen sich möglicherweise nicht sauber in die formale Logik integrieren. Eingabedokumente sind auf eine Größe von 5 MB und 50.000 Zeichen begrenzt. Sie können größere Dokumente aufteilen und jeden Abschnitt in Ihrer Richtlinie zusammenführen. Bilder und Tabellen in Dokumenten wirken sich auch auf die Anzahl der eingegebenen Zeichen aus.
-
Verarbeitungszeit: Die Validierung unter Automated Reasoning erhöht die Latenz der Antworten Ihrer Anwendungen. Planen Sie insbesondere für komplexe Richtlinien mit vielen Regeln zusätzliche Verarbeitungszeit ein.
-
Geltungsbereich der Richtlinie: Jede Richtlinie sollte sich auf einen bestimmten Bereich konzentrieren (zum Beispiel Personalwesen, Finanzen, Recht), anstatt zu versuchen, mehrere voneinander unabhängige Themen in einer einzigen Richtlinie abzudecken.
-
Variable Grenzwerte: Richtlinien mit einer übermäßigen Anzahl von Variablen oder zu komplexen Regelinteraktionen können auf Verarbeitungslimits stoßen oder TOO_COMPLEX-Ergebnisse zurückgeben.
-
Abhängigkeit von natürlicher Sprache: Die Genauigkeit der Validierung hängt stark davon ab, wie gut natürliche Sprache in Benutzer-Prompts und Modellantworten in die formalen Logikvariablen Ihrer Richtlinie übersetzt werden kann.
-
Nichtlineare Arithmetik: Automatisierte Prüfungen des logischen Denkens können zu einer Zeitüberschreitung führen oder TOO_COMPLEX zurückgeben, wenn Einschränkungen das Argumentieren mit nichtlinearer Arithmentik beinhalten (z. B. irrationale Zahlen oder Exponenten)
Best Practices
Folgen Sie diesen bewährten Methoden, um die Effektivität Ihrer Richtlinien für Automated Reasoning zu maximieren:
-
Einfach anfangen: Beginnen Sie mit einer zielgerichteten Richtlinie, die die Kernregeln abdeckt, und erhöhen Sie dann schrittweise die Komplexität. Führen Sie gründliche Tests in jeder Komplexitätsstufe aus.
-
Umfassende Variablenbeschreibungen schreiben: Geben Sie an, wie sich Benutzer auf natürliche Weise auf Konzepte beziehen könnten, und nicht nur auf technische Definitionen aus Ihrem Quelldokument.
-
Randfälle testen: Erstellen Sie Tests, die gezielt Grenzbedingungen, Ausnahmen und ungewöhnliche Szenarien abdecken, denen Ihre Nutzer begegnen könnten.
-
Konfidenzschwellen überwachen: Beginnen Sie mit höheren Konfidenzschwellen (0,8-0,9) und passen Sie sie entsprechend Ihrer Toleranz zwischen falsch positiven und falsch negativen Ergebnissen an.
-
Regelmäßige Richtlinienwartung: Überprüfen und aktualisieren Sie Ihre Richtlinien, wenn sich die Geschäftsregeln ändern oder wenn Sie durch Tests und den Einsatz in der Produktion Lücken feststellen.
-
Anmerkungen dokumentieren: Dokumentieren Sie Richtlinienänderungen und deren Gründe, um sie später nachverfolgen und im Team weitergeben zu können.
Preisgestaltung
Automated-Reasoning-Prüfungen im Integritätsschutz für Amazon Bedrock werden auf Grundlage der Anzahl der bearbeiteten Bewertungsanfragen in Rechnung gestellt. Weitere Informationen finden Sie auf der Seite Amazon Bedrock – Preise
Für jede Überprüfungsanfrage fallen Gebühren an, unabhängig vom Ergebnis (z. B. VALID, INVALID, TRANSLATION_AMBIGUOUS). So senken Sie die Kosten:
-
Verwenden Sie geeignete Konfidenzschwellen, um die Genauigkeit mit den Verarbeitungsanforderungen in Einklang zu bringen
-
Erwägen Sie, die Validierungsergebnisse für identische oder ähnliche Abfragen zwischenzuspeichern, wenn dies für Ihren Anwendungsfall angemessen ist
-
Überwachen Sie die Nutzungsmuster und passen Sie die Richtlinien an, um unnötige Validierungsanfragen zu reduzieren
Regionsübergreifende Inferenz für Richtlinienmaßnahmen
Automated Reasoning nutzt regionsübergreifende Inferenzen, um die Leistung und Verfügbarkeit von Maßnahmen zur Erstellung und Erprobung von Richtlinien zu optimieren. Spezifische API-Operationen verteilen die Verarbeitung automatisch auf die AWS-Regionen innerhalb Ihrer geografischen Grenzen, um eine zuverlässige Servicebereitstellung zu gewährleisten.
Die folgenden API-Operationen für Automated Reasoning verwenden regionsübergreifende Inferenzen:
-
StartAutomatedReasoningPolicyBuildWorkflow– Wird bei der Erstellung und Kompilierung von Richtlinien aus Quelldokumenten aufgerufen -
StartAutomatedReasoningPolicyTestWorkflow– Wird bei der Überprüfung und beim Testen von Richtlinien aufgerufen
Bei diesen Vorgängen werden große Sprachmodelle (LLMs) aufgerufen, um formale Logikregeln aus Quelldokumenten zu extrahieren und Konstrukte natürlicher Sprache in strukturierte logische Repräsentationen zu übersetzen. Die Anforderungsverarbeitung wird gemäß dem folgenden geografischen Routing verteilt, um optimale Leistung und Verfügbarkeit zu gewährleisten:
-
Regionen in den Vereinigten Staaten: API-Anfragen, die aus USA Ost (Nord-Virginia), USA West (Oregon) oder USA Ost (Ohio) stammen, können in jeder unterstützten Region der USA bearbeitet werden.
-
Regionen der Europäischen Union: API-Anfragen aus EU (Frankfurt), EU (Paris) oder EU (Irland) können in jeder unterstützten EU-Region bearbeitet werden.
Wichtig
Kundendaten verbleiben innerhalb der ursprünglichen geografischen Grenze (Vereinigte Staaten oder Europäische Union) und werden gemäß den AWS-Datenresidenzverpflichtungen verarbeitet. Regionsübergreifende Inferenzen leiten Anfragen ausschließlich innerhalb derselben geografischen Region weiter, um die Leistung und Serviceverfügbarkeit zu optimieren.
Die regionsübergreifende Inferenz funktioniert transparent, ohne dass eine Kundenkonfiguration erforderlich ist. Die API-Funktionalität bleibt unabhängig von der spezifischen Region, in der die Anfrage bearbeitet wird, konsistent.
Gehen Sie wie folgt vor, um Automated-Reasoning-Prüfungen im Integritätsschutz für Amazon Bedrock zu verwenden:
-
Laden Sie ein Quelldokument hoch, das die Regeln enthält, die Sie durchsetzen möchten
-
Überprüfen Sie die extrahierte Richtlinie mit automatisch identifizierten Konzepten und Regeln
-
Testen und verfeinern Sie die Richtlinie, um sicherzustellen, dass sie ordnungsgemäß funktioniert
-
Stellen Sie die Richtlinie bereit, um die Antworten Ihres Basismodells zu validieren
Der Arbeitsablauf kann wie folgt visualisiert werden:
Source Document → Extracted Policy → Testing → Deployment → Runtime Validation (rules) (formal logic) (verify) (activate) (check responses)
Richtlinien
Richtlinien für Automated Reasoning bilden die Grundlage für Genauigkeitsvalidierungen. Sie enthalten Logikregeln und Variablen, die automatisch aus Ihrem Quelldokument extrahiert werden. Diese Richtlinien dienen als mathematische Darstellung Ihrer Geschäftsregeln und ermöglichen dem System, systematisch zu überprüfen, ob die Antworten des Basismodells Ihren definierten Einschränkungen entsprechen. Konfigurieren Sie Ihren Integritätsschutz so, dass eine Richtlinie verwendet wird, die Ihren spezifischen Domain- und Validierungsanforderungen entspricht, um Automated-Reasoning-Prüfungen in Ihrer Anwendung durchzuführen.
Regeln
Regeln sind Logik, die Automated Reasoning aus Ihrem Quelldokument extrahiert. Diese können als Wenn-Dann-Aussagen geschrieben werden. Hier finden Sie einige Beispiele für das Regelformat:
<claim> is true if <premise>
Anmerkung
Wichtig: Regeln, die nicht im Wenn-Dann-Format vorliegen, können unbeabsichtigte Folgen haben, da sie Axiome über die Welt enthalten. Wenn eine Regel beispielsweise einfach accountBalance > 5 besagt, ist es unmöglich, dass ein Kontostand 5 oder weniger beträgt – unabhängig davon, was der zu validierende Inhalt angibt. Die Regel hat es logisch unmöglich gemacht, dass diese Bedingung eintreten kann. Dies könnte zu unerwarteten Validierungsergebnissen führen, bei denen Inhalte fälschlicherweise als nicht konform gekennzeichnet werden, weil sie dem in der Regel festgelegten Axiom widersprechen. Um dies zu vermeiden, sollten Regeln als konditionale Aussagen im Wenn-Dann-Format formuliert werden, die Beziehungen beschreiben und nicht absolute Einschränkungen.
Variablen
Variablen stellen Konzepte in Ihrer Richtlinie für Automated Reasoning dar, denen bei der Übersetzung natürlicher Sprache in formale Logik Werte zugewiesen werden können. Ihre Richtlinienregeln legen Einschränkungen fest, welche Werte für diese Variablen gültig oder ungültig sind.
Variablen haben einen Namen, einen Typ und eine Beschreibung. Beispielsweise könnte eine Richtlinie über Leistungen an Arbeitnehmer eine Variable mit dem Namen „employee_age“, dem Typ „integer“ und der Beschreibung „Das Alter des Mitarbeiters in Jahren“ enthalten. Diese Variable könnte in einem Prompt an eine Anwendung ein Wert von z. B. 25 zugewiesen werden, der auf natürlicher Sprache basiert.
Beispielsweise könnte eine is_full_time-Variable in einer Personalrichtlinie die Beschreibung „Mitarbeiter, die mehr als 20 Stunden pro Woche arbeiten“ haben, was ein direktes Zitat aus dem Quelldokument ist. Bei der Verwendung eines Chatbots sagen Benutzer eher „Ich arbeite Vollzeit“ und nicht: „Ich arbeite mehr als 20 Stunden pro Woche“.
Die Genauigkeit der Übersetzung von der natürlichen Sprache in die formale Logik hängt stark von der Qualität der Variablenbeschreibungen ab. Sobald die Übersetzung abgeschlossen ist, ist der Argumentationsprozess zwar schlüssig, jedoch sorgen klare und umfassende Variablenbeschreibungen dafür, dass Benutzer-Prompts korrekt interpretiert werden. Ohne vollständige Variablenbeschreibungen könnte Automated Reasoning NO_DATA zurückgeben, da es die natürliche Spracheingabe nicht in eine formale logische Darstellung übersetzen kann.
Es ist wichtig, dass eine Variablenbeschreibung Szenarien wie dieses berücksichtigt. Eine umfassende Variablenbeschreibung könnte lauten: „Mitarbeiter, die mehr als 20 Stunden pro Woche arbeiten, sind Vollzeit“. Benutzer geben „Vollzeit“ an, um diesen Wert auf „true“ zu setzen, oder „Teilzeit“, um ihn auf „false“ zu setzen.
Vordefinierte Variablentypen
Die folgende Tabelle beschreibt die für Ihre Richtlinie verfügbaren vordefinierten Variablentypen.
| Typ | Description |
|---|---|
|
BOOL |
Boolesche Variablen können „true“ oder „false“ sein. In einer Urlaubsrichtlinie würden Sie beispielsweise eine |
|
INT |
Numerische |
|
NUMBER |
|
|
enum |
Enum-Variablen sind benutzerdefinierte Typen, die einen einzelnen Wert speichern können, der aus einer Reihe fester Optionen ausgewählt wurde, die in einem benutzerdefinierten Typ definiert sind. In einer Urlaubsrichtlinie könnten Sie beispielsweise eine Enum-Variable verwenden, um Folgendes zu speichern |