Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

So verwenden Sie die kontextuelle Begründungsprüfung, um in Antworten nach Halluzinationen zu filtern

Integritätsschutz für Amazon Bedrock unterstützt kontextuelle Begründungsprüfungen, um Halluzinationen in Modellantworten zu erkennen und zu filtern, wenn eine Referenzquelle und eine Benutzerabfrage bereitgestellt werden. Zu den unterstützten Anwendungsfällen gehören Zusammenfassung, Paraphrasierung und Beantwortung von Fragen, wie sie in der Informatikdisziplin definiert sind. (Conversational QA/Chatbot-Anwendungsfälle werden nicht unterstützt.)

Bei kontextuellen Begründungsprüfungen wird die Relevanz jedes verarbeiteten Blocks überprüft. Wenn ein Teil als relevant erachtet wird, gilt die gesamte Antwort als relevant, da sie die Antwort auf die Anfrage des Benutzers enthält. Bei der Streaming-API kann dies zu einem Szenario führen, in dem eine irrelevante Antwort an den Benutzer zurückgegeben wird, die erst als irrelevant markiert wird, nachdem die gesamte Antwort gestreamt wurde.

Contextual Grounding überprüft die folgenden Paradigmen:

Stellen Sie sich ein Beispiel vor, in dem die Referenzquelle den Sachverhalt „London ist die Hauptstadt des Vereinigten Königreichs. enthält. Tokio ist die Hauptstadt Japans“ und die Benutzerabfrage lautet „Was ist die Hauptstadt von Japan?“. Eine Antwort wie „Die Hauptstadt Japan ist London“ wird als unbegründet und sachlich inkorrekt angesehen, wohingegen eine Antwort wie „Die Hauptstadt des Vereinigten Königreichs ist London“ als irrelevant angesehen wird, auch wenn sie korrekt und in der Quelle begründet ist.

Konfidenzwerte und Schwellenwerte

Kontextuelle Begründungsprüfungen erzeugen Vertrauenswerte, die der Begründung und Relevanz jeder verarbeiteten Modellantwort entsprechen – Basierend auf der angegebenen Quelle und der Benutzeranfrage. Sie können Schwellenwerte konfigurieren, um Modellantworten auf Grundlage der generierten Werte zu filtern. Der Filterschwellenwert bestimmt den minimal zulässigen Konfidenzwert, damit die Modellantwort in Ihrer generativen KI-Anwendung als begründet und relevant angesehen werden kann. Wenn Ihr Begründungsschwellenwert und Ihr Relevanzschwellenwert beispielsweise jeweils auf 0,7 festgelegt sind, werden alle Modellantworten mit einem Begründungs- oder Relevanzwert von weniger als 0,7 als Halluzinationen erkannt und in Ihrer Anwendung blockiert. Wenn der Filterschwellenwert erhöht wird, steigt die Wahrscheinlichkeit, dass unbegründete und irrelevante Inhalte blockiert werden, und die Wahrscheinlichkeit, dass halluzinierte Inhalte in Ihrer Anwendung angezeigt werden, sinkt. Sie können Schwellenwerte für Begründung und Relevanz zwischen 0 und 0,99 konfigurieren. Ein Schwellenwert von 1 ist ungültig, da dadurch der gesamte Inhalt blockiert wird.

Für kontextuelle Begründungsprüfungen sind drei Komponenten erforderlich: die Begründungsquelle, die Abfrage und der zu schützende Inhalt (oder die Modellantwort). Diese werden unterschiedlich konfiguriert, je nachdem, ob Sie Invoke,, oder direkt APIs verwenden. Converse APIs ApplyGuardrail

Unbegründet: Beispiel

In diesem Beispiel ist der zu schützende Inhalt für die Abfrage relevant, ist jedoch unbegründet, da er die Begründungsquelle nicht korrekt verwendet. Dies hätte einen niedrigen Begründungswert zur Folge.

Irrelevant: Beispiel

In diesem Beispiel ist der zu schützende Inhalt begründet, aber nicht relevant. Hier werden Informationen aus der Begründungsquelle verwendet, jedoch wird die Anfrage nicht beantwortet. Der Relevanzwert wäre in diesem Fall niedrig.

Unbegründet und irrelevant: Beispiel

In diesem Beispiel ist der zu schützende Inhalt unbegründet und irrelevant. Hier werden weder Informationen aus der Begründungsquelle verwendet noch die Anfrage beantwortet. Dadurch wird ein niedriger Wert für Begründung und Relevanz erzielt.

Weitere Beispiele

Stellen Sie sich eine Bankanwendung vor, die dafür konzipiert ist, Fragen zu Gebühren und Kosten zu beantworten.

Quelle:

Basierend auf der obigen Quelle kann es je nach Benutzeranfrage vier Szenarien geben.

Begründet und relevant

Unbegründet, aber relevant

Begründet, aber irrelevant

Unbegründet und irrelevant

So fügen Sie über die Konsole kontexuelle Begründungsprüfungen hinzu

Kontextuelle Erdungsprüfung mit Invoke aufrufen APIs

Um die Begründungsquelle und die Abfrage innerhalb der Eingabe zu markieren, stellen wir 2 Tags zur Verfügung, die genau wie Eingabe-Tags funktionieren. Diese Tags sind amazon-bedrock-guardrails-groundingSource_xyz und amazon-bedrock-guardrails-query_xyz vorausgesetzt, das Tag-Suffix ist xyz. Beispiel:

{
    "text": """
<amazon-bedrock-guardrails-groundingSource_xyz>London is the capital of UK. Tokyo is the capital of Japan. </amazon-bedrock-guardrails-groundingSource_xyz>

<amazon-bedrock-guardrails-query_xyz>What is the capital of Japan?</amazon-bedrock-guardrails-query_xyz>
""",
    "amazon-bedrock-guardrailConfig": {
        "tagSuffix": "xyz",
    },
}    
        

Beachten Sie, dass die Modellantwort für eine Durchführung der kontextuellen Begründungsprüfungen erforderlich ist. Daher werden die Prüfungen nur bei der Ausgabe und nicht beim Prompt durchgeführt.

Diese Tags können zusammen mit den guardContent-Tags verwendet werden. Wenn keine guardContent-Tags verwendet werden, wendet der Integritätsschutz standardmäßig alle konfigurierten Richtlinien auf die gesamte Eingabe an, einschließlich der Begründungsquelle und der Abfrage. Wenn die guardContent-Tags verwendet werden, untersucht die Richtlinie für die kontextuelle Erdungsprüfung nur die Begründungsquelle, die Abfrage und die Antwort, während die übrigen Richtlinien den Inhalt innerhalb der guardContent-Tags untersuchen.

Kontextuelle Erdungsprüfung aufrufen mit Converse APIs

Um die Erdungsquelle zu markieren und abzufragen Converse APIs, verwenden Sie das Qualifier-Feld in jedem Guard-Inhaltsblock. Beispiel:

[
    {
        "role": "user",
        "content": [
            {
                "guardContent": {
                    "text": {
                        "text": "London is the capital of UK. Tokyo is the capital of Japan",
                        "qualifiers": ["grounding_source"],
                    }
                }
            },
            {
                "guardContent": {
                    "text": {
                        "text": "What is the capital of Japan?",
                        "qualifiers": ["query"],
                    }
                }
            },
        ],
    }
]
        

Beachten Sie, dass die Modellantwort für eine Durchführung der kontextuellen Begründungsprüfungen erforderlich ist. Daher werden die Prüfungen nur bei der Ausgabe und nicht beim Prompt durchgeführt.

Wenn keiner der Inhaltsblöcke mit dem Qualifizierer guard_content gekennzeichnet ist, untersucht die Richtlinie für kontextuelle Begründungsprüfungen nur die Begründungsquelle, die Abfrage und die Antwort. Die übrigen Richtlinien folgen dem standardmäßigen Untersuchungsverhalten: der Systemprompt wird nicht untersucht und Nachrichten werden untersucht. Wenn ein Inhaltsblock jedoch mit dem Qualifizierer guard_content gekennzeichnet ist, untersucht die Richtlinie für kontextuelle Begründungsprüfungen nur die Begründungsquelle, die Anfrage und die Antwort, während die übrigen Richtlinien den Inhalt untersuchen, der mit den guardContent-Tags gekennzeichnet ist.

Kontextuelle Erdungsprüfung mit API aufrufen ApplyGuardrail

Die Verwendung der kontextuellen Erdungsprüfung mit ApplyGuardrail ähnelt der Verwendung mit dem. Converse APIs Verwenden Sie das Qualifiziererfeld in jedem Inhaltsblock, um die Begründungsquelle und die Abfrage für ApplyGuardrail zu markieren. Da jedoch ein Modell nicht mit ApplyGuardrail aufgerufen wird, müssen Sie außerdem einen zusätzlichen Inhaltsblock mit dem zu schützenden Inhalt angeben. Dieser Inhaltsblock kann optional mit guard_content qualifiziert werden und entspricht der Modellantwort in Invoke* oder Converse*. APIs Beispiel:

[
    {
        "text": {
            "text": "London is the capital of UK. Tokyo is the capital of Japan",
            "qualifiers": [
                "grounding_source"
            ]
        }
    },
    {
        "text": {
            "text": "What is the capital of Japan?",
            "qualifiers": [
                "query"
            ]
        }
    },
    {
        "text": {
            "text": "The capital of Japan is Tokyo."
        }
    }
]
        

Beachten Sie, dass die Modellantwort für eine Durchführung der kontextuellen Begründungsprüfungen erforderlich ist. Daher werden die Prüfungen nur bei der Ausgabe und nicht beim Prompt durchgeführt.

Wenn keiner der Inhaltsblöcke mit dem Qualifizierer guard_content gekennzeichnet ist, untersucht die Richtlinie für kontextuelle Begründungsprüfungen nur die Begründungsquelle, die Abfrage und die Antwort. Die übrigen Richtlinien folgen dem standardmäßigen Untersuchungsverhalten: der Systemprompt wird nicht untersucht und Nachrichten werden untersucht. Wenn ein Inhaltsblock jedoch mit dem Qualifizierer guard_content gekennzeichnet ist, untersucht die Richtlinie für kontextuelle Begründungsprüfungen nur die Begründungsquelle, die Anfrage und die Antwort, während die übrigen Richtlinien den Inhalt untersuchen, der mit den guardContent-Tags gekennzeichnet ist.