Testen Sie eine Richtlinie für automatisiertes Denken - Amazon Bedrock
Erstellen Sie einen Test manuell in der KonsoleGenerieren Sie Tests automatisch in der KonsoleFühren Sie Tests in der Konsole ausErstellen Sie einen Test manuell mithilfe der APIGenerieren Sie Tests automatisch mithilfe der APIFühren Sie Tests mithilfe der API aus

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Testen Sie eine Richtlinie für automatisiertes Denken

Sie testen eine Richtlinie, indem Sie Anweisungen in natürlicher Sprache oder QnAs zur Validierung senden. Anschließend überprüfen Sie Automated Reasoning, ob das Feedback überprüft wird, um sicherzustellen, dass der eingegebene Text mit den richtigen Variablen übersetzt wird und dass die Regeln, anhand derer validiert wird, korrekt sind.

Sie können Tests auf zwei Arten erstellen: durch manuelles Definieren von question-and-answer (QnA-) Paaren oder durch automatisches Generieren von Testszenarien. QnAs sind spezifische Benutzerfragen mit entsprechenden Modellantworten, die Sie schreiben, um bestimmte Anwendungsfälle zu testen, während Testszenarien logische Situationen sind, die automatisch anhand Ihrer Richtlinienregeln generiert werden und die in Ihrem Anwendungskontext realistisch sein können oder auch nicht.

Anmerkung

Tutorial-Video: Eine step-by-step exemplarische Vorgehensweise zum Testen einer Richtlinie für automatisiertes Denken finden Sie im folgenden Tutorial:

Tutorial Demo 2 — Testen der Richtlinie für automatisiertes Denken

Tests sollten die Fragen, die Benutzer Ihrer Anwendung stellen würden, und die Antworten, die sie möglicherweise von einem Basismodell erhalten, nachahmen. Bei Automated Reasoning werden die Schnelligkeit und Genauigkeit der Antworten anhand der Regeln in Ihrer Richtlinie für automatisiertes Denken bewertet. Automated Reasoning führt diese Validierung in den folgenden Schritten durch:

Tipp

Bewährtes Verfahren: Erstellen Sie Tests, die sowohl gültige als auch ungültige Szenarien abdecken. Wenn in Ihrer Richtlinie beispielsweise angegeben ist, dass Mitarbeiter während des Elternurlaubs ein Jahr Betriebszugehörigkeit benötigen, erstellen Sie Tests für Antworten, die diese Regel korrekt angeben, und Tests für Antworten, die fälschlicherweise eine andere Anforderung angeben.

  1. Verwendet die Frage und Antwort Ihres Tests zusammen mit den Variablen Ihrer Richtlinie und deren Beschreibungen, um die Eingaben in natürlicher Sprache in formale Logik zu übersetzen.

  2. Validiert die übersetzte Logik anhand der Richtlinie mithilfe solider mathematischer Techniken.

Anmerkung

Automated Reasoning übersetzt natürliche Sprache mithilfe von KI-Techniken, die keine perfekte Genauigkeit garantieren können, in Logik. Gute Tests helfen jedoch dabei, mögliche Ungenauigkeiten in Ihren Richtlinien für automatisiertes Denken zu erkennen und zu beheben.

Erstellen Sie einen Test manuell in der Konsole

  1. Gehen Sie zu der Richtlinie für automatisiertes Denken, die Sie testen möchten (z. B. MyHrPolicy).

  2. Wählen Sie Tests anzeigen und anschließend Hinzufügen aus.

  3. Gehen Sie im Dialogfeld Tests hinzufügen wie folgt vor:

    1. Fügen Sie eine Eingabe (optional) und eine Ausgabe hinzu. Diese stellen die Frage dar, die ein Benutzer stellen könnte, und die Antwort, die Ihr Foundation-Modell bieten könnte. Zusammen bilden sie ein QnA-Paar, das testet, wie Ihre Richtlinie echte Benutzerinteraktionen validiert.

    2. Wählen Sie das Ergebnis aus, das Sie vom Test erwarten (z. B. „Gültig“ oder „Ungültig“).

    3. Wählen Sie einen Konfidenzschwellenwert aus, der das Mindestkonfidenzniveau für die Logikvalidierung darstellt.

  4. Wählen Sie Speichern aus, um den Test zu erstellen.

Anmerkung

Bei der Erstellung eines Tests ist der Konfidenzschwellenwert optional.

  • Bei automatisierten Prüfungen zum logischen Denken werden mehrere umfangreiche Sprachmodelle (LLMs) verwendet, um Tests in natürlicher Sprache in Ergebnisse umzusetzen. Es werden nur „sichere“ Ergebnisse zurückgegeben, die durch einen erheblichen Prozentsatz der LLM-Übersetzungen gestützt werden. Der Konfidenzschwellenwert definiert den Mindestprozentsatz an Unterstützung, der erforderlich ist, damit eine Übersetzung zu einem Ergebnis mit validem Ergebnis wird.

  • Wenn es ein oder mehrere übersetzte Ergebnisse gibt, die nicht durch einen ausreichenden Prozentsatz an LLM-Übersetzungen gestützt werden, wird im Rahmen von Automated Reasoning Checks ein zusätzliches Ergebnis „TRANSLATION_AMBIGULAR“ angezeigt. Dieses Ergebnis wird Informationen enthalten, um die Unterschiede zwischen den widersprüchlichen LLM-Übersetzungen aufzuzeigen.

Generieren Sie Tests automatisch in der Konsole

  1. Gehen Sie zu der Richtlinie für automatisiertes Denken, die Sie testen möchten (z. B. MyHrPolicy).

  2. Wählen Sie Tests anzeigen und anschließend Generieren aus.

  3. Überprüfen Sie im Dialogfeld „Szenarien generieren“ das generierte Szenario und die zugehörigen Regeln. Führen Sie dann einen der folgenden Schritte aus:

    • Wenn Sie glauben, dass das Szenario eintreten könnte (auch als erfüllbares Szenario bezeichnet), klicken Sie auf „Daumen hoch“ (Ja).

    • Falls nicht, klicken Sie auf „Daumen runter“ (nein). Sie können auch eine Anmerkung hinzufügen, um zu erklären, warum das Szenario Ihrer Meinung nach nicht möglich ist. Das ist vergleichbar mit dem Hinterlassen eines Kommentars in einem Dokument.

    • Wenn Sie ein anderes Szenario testen möchten, wählen Sie Szenario neu generieren.

    Tipp

    Wenn Sie die formale Logikversion des Szenarios überprüfen möchten, aktivieren Sie Show SMT-LIB.

  4. Wählen Sie Speichern und schließen aus, um den Test zu speichern, oder Speichern und einen weiteren Test hinzuzufügen.

  5. Wenn Sie Anmerkungen zu einem der Tests angegeben haben, wählen Sie Anmerkungen anwenden aus. Automated Reasoning nimmt auf der Grundlage Ihres Feedbacks Änderungen an Ihren Richtlinien vor.

  6. Überprüfen Sie auf dem Bildschirm Richtlinienänderungen überprüfen die Änderungen an den Regeln, Variablen und Variablentypen Ihrer Richtlinie. Wählen Sie dann Änderungen akzeptieren aus.

Führen Sie Tests in der Konsole aus

  1. Gehen Sie zu der Richtlinie für automatisiertes Denken, die Sie validieren möchten (z. B. MyHrPolicy).

  2. Wählen Sie Tests anzeigen aus.

  3. Führen Sie eine der folgenden Aktionen aus:

    • Um alle Tests Ihrer Richtlinie auszuführen, wählen Sie Alle Tests validieren aus.

    • Um Tests einzeln auszuführen, klicken Sie auf die Aktionsschaltfläche neben dem Test, den Sie ausführen möchten, und wählen Sie Validieren aus.

Erstellen Sie einen Test manuell mithilfe der API

Sie können den CreateAutomatedReasoningPolicyTestCase API-Vorgang verwenden, um programmgesteuert einen Test für Ihre Automated Reasoning-Richtlinie zu erstellen.

Anforderungsparameter

Die folgenden Parameter sind erforderlich oder optional, wenn Sie einen Test erstellen:

policyArn (Erforderlich)

Der Amazon-Ressourcenname (ARN) der Automated Reasoning-Richtlinie, für die der Test erstellt werden soll.

guardContent (Erforderlich)

Der Ausgabeinhalt, der durch die Automated Reasoning-Richtlinie validiert wurde. Dies stellt die Antwort des Basismodells dar, die auf ihre Richtigkeit überprüft wird.

query (optional)

Die Eingabeabfrage oder die Eingabeaufforderung, die den Inhalt generiert hat. Dies bietet den Kontext für die Validierung.

expectedAggregatedFindingsResult (optional)

Das erwartete Überprüfungsergebnis für den Test (z. B. VALID oderINVALID).

confidenceThreshold (optional)

Das minimale Konfidenzniveau für die Logikvalidierung. Inhalte, die den Schwellenwert erreichen, gelten als Ergebnis mit hoher Zuverlässigkeit, das validiert werden kann.

Beispiel

Das folgende Beispiel zeigt, wie Sie einen Test für eine Automated Reasoning-Richtlinie erstellen, indem Sie Folgendes verwenden: AWS CLI

aws bedrock create-automated-reasoning-policy-test-case \
  --policy-arn "arn:aws:bedrock:us-west-2:123456789012:automated-reasoning-policy/k8m9n2p4q7r5" \
  --query-content "Can I take a leave of absence if I'm a part-time employee?" \
  --guard-content "No, only full-time employees are eligible for leave of absence." \
  --expected-aggregated-findings-result "VALID" \
  --confidence-threshold 0.8

Beispielantwort:

{
  "testCaseId": "test-12345abcde",
  "policyArn": "arn:aws:bedrock:us-west-2:123456789012:automated-reasoning-policy/k8m9n2p4q7r5"
}

Generieren Sie Tests automatisch mithilfe der API

Sie können den GenerateAutomatedReasoningPolicyTestScenarios API-Vorgang verwenden, um automatisch Testszenarien auf der Grundlage der Regeln Ihrer Richtlinie zu generieren.

Anforderungsparameter

Die folgenden Parameter sind bei der Generierung von Testszenarien erforderlich oder optional:

policyArn (Erforderlich)

Der Amazon-Ressourcenname (ARN) der Automated Reasoning-Richtlinie, für die Testszenarien generiert werden sollen.

maxResults (optional)

Die maximale Anzahl der zu generierenden Testszenarien.

Beispiel

Das folgende Beispiel zeigt, wie Testszenarien für eine Automated Reasoning-Richtlinie generiert werden. Dabei wird Folgendes AWS CLI verwendet:

aws bedrock generate-automated-reasoning-policy-test-scenarios \
  --policy-arn "arn:aws:bedrock:us-west-2:123456789012:automated-reasoning-policy/k8m9n2p4q7r5" \
  --max-results 3

Die Antwort wird generierte Testszenarien enthalten, die Sie überprüfen und zur Erstellung von Tests verwenden können.

Führen Sie Tests mithilfe der API aus

Sie können den ValidateAutomatedReasoningPolicyTest API-Vorgang verwenden, um einen Test für Ihre Automated Reasoning-Richtlinie und den GetAutomatedReasoningPolicyTestResult Vorgang zum Abrufen der Ergebnisse durchzuführen.

Anforderungsparameter

Die folgenden Parameter sind erforderlich, wenn ein Test ausgeführt wird:

policyArn (Erforderlich)

Der Amazon-Ressourcenname (ARN) der Automated Reasoning-Richtlinie.

testCaseId (Erforderlich)

Die eindeutige Kennung des auszuführenden Tests.

Testergebnisse abrufen

Verwenden Sie die folgenden Parameter, um die Ergebnisse eines Tests abzurufen:

policyArn (Erforderlich)

Der Amazon-Ressourcenname (ARN) der Automated Reasoning-Richtlinie.

buildWorkflowId (Erforderlich)

Die Build-Workflow-ID. Der Build-Workflow muss einen COMPLETED Status anzeigen, um Ergebnisse zu erhalten.

testCaseId (Erforderlich)

Die eindeutige Kennung des Tests, für den Ergebnisse abgerufen werden sollen.

Beispiel

Das folgende Beispiel zeigt, wie Sie einen Test ausführen und die Ergebnisse abrufen, indem Sie AWS CLI:

# Run the test
aws bedrock validate-automated-reasoning-policy-test \
  --policy-arn "arn:aws:bedrock:us-west-2:123456789012:automated-reasoning-policy/k8m9n2p4q7r5" \
  --test-case-id "test-12345abcde"

# Get the test results
aws bedrock get-automated-reasoning-policy-test-result \
  --policy-arn "arn:aws:bedrock:us-west-2:123456789012:automated-reasoning-policy/k8m9n2p4q7r5" \
  --build-workflow-id "workflow-67890fghij" \
  --test-case-id "test-12345abcde"

Die Antwort wird detaillierte Testergebnisse mit Validierungsergebnissen und Ausführungsstatus enthalten.