Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Verwenden Sie die kontextuelle Erdungsprüfung, um Halluzinationen in Antworten zu filtern

Amazon Bedrock Guardrails unterstützt die kontextuelle Erdungsprüfung, um Halluzinationen in Modellantworten zu erkennen und zu filtern, wenn eine Referenzquelle und eine Benutzerabfrage bereitgestellt werden. Die unterstützten Anwendungsfälle umfassen Retrieval-Augmented Generation (RAG), Zusammenfassungs-, Paraphrasierungs- oder Konversationsagenten, die sich auf eine Referenzquelle wie abgerufene Passagen in RAG oder den Konversationsverlauf verlassen, damit Agenten die Konversationen untermauern können.

Beim Contextual Grounding Check wird die Relevanz jedes verarbeiteten Chunks überprüft. Wenn ein Block als relevant erachtet wird, wird die gesamte Antwort als relevant angesehen, da sie die Antwort auf die Anfrage des Benutzers enthält. Bei der Streaming-API kann dies zu einem Szenario führen, in dem eine irrelevante Antwort an den Benutzer zurückgegeben wird, die erst als irrelevant markiert wird, nachdem die gesamte Antwort gestreamt wurde.

Bei der Prüfung der kontextuellen Erdung werden Halluzinationen anhand von zwei Paradigmen untersucht:

Stellen Sie sich ein Beispiel vor, in dem die Referenzquelle „London ist die Hauptstadt des Vereinigten Königreichs“ enthält. Tokio ist die Hauptstadt Japans“ und die Benutzerabfrage lautet „Was ist die Hauptstadt von Japan?“. Eine Antwort wie „Die Hauptstadt Japan ist London“ wird als unbegründet und sachlich falsch angesehen, wohingegen eine Antwort wie „Die Hauptstadt des Vereinigten Königreichs ist London“ als irrelevant angesehen wird, auch wenn sie korrekt und in der Quelle begründet ist.

Konfidenzwerte und Schwellenwerte

Bei der kontextuellen Grundprüfung werden für jede Modellantwort, die auf der Grundlage der angegebenen Quelle und Benutzerabfrage verarbeitet wird, Konfidenzwerte generiert, die der Grundlage und der Relevanz entsprechen. Sie können Schwellenwerte konfigurieren, um Modellantworten auf der Grundlage der generierten Werte zu filtern. Der Filterschwellenwert bestimmt den minimal zulässigen Konfidenzwert, damit die Modellantwort in Ihrer generativen KI-Anwendung als fundiert und relevant angesehen werden kann. Wenn Ihr Grundschwellenwert und Ihr Relevanzschwellenwert beispielsweise jeweils auf 0,7 festgelegt sind, werden alle Modellantworten mit einem Grounding- oder Relevanzwert von weniger als 0,7 als Halluzinationen erkannt und in Ihrer Anwendung blockiert. Wenn der Filterschwellenwert erhöht wird, steigt die Wahrscheinlichkeit, dass unbegründete und irrelevante Inhalte blockiert werden, und die Wahrscheinlichkeit, dass halluzinierte Inhalte in Ihrer Anwendung angezeigt werden, sinkt. Sie können Schwellenwerte für Erdung und Relevanz zwischen 0 und 0,99 konfigurieren. Ein Schwellenwert von 1 ist ungültig, da dadurch der gesamte Inhalt blockiert wird.

Für die Prüfung der kontextuellen Erdung sind drei Komponenten erforderlich: die Erdungsquelle, die Abfrage und der zu schützende Inhalt (oder die Modellantwort). Diese sind unterschiedlich konfiguriert, je nachdem, ob Sie Invoke oder direkt APIs verwenden. Converse APIs ApplyGuardrail

Unbegründetes Beispiel

In diesem Beispiel ist der Inhalt, der geschützt werden soll, für die Abfrage relevant, hat aber keinen Bezug, da er die Erdungsquelle nicht korrekt verwendet. Dies hätte einen niedrigen Grounding Score zur Folge.

Irrelevantes Beispiel

In diesem Beispiel ist der zu schützende Inhalt unbegründet, aber nicht relevant. Es verwendet Informationen aus der Erdungsquelle, beantwortet die Anfrage jedoch nicht. Dies hätte einen niedrigen Relevanzwert.

Unbegründetes und irrelevantes Beispiel

In diesem Beispiel ist der Inhalt, der geschützt werden soll, nicht begründet und nicht relevant. Es verwendet weder Informationen aus der Erdungsquelle noch beantwortet es die Anfrage. Dies hätte einen niedrigen Grundwert und einen niedrigen Relevanzwert.

Weitere Beispiele

Stellen Sie sich eine Bankanwendung vor, die darauf ausgelegt ist, Fragen im Zusammenhang mit Gebühren und Entgelten zu beantworten.

Quelle:

Basierend auf der obigen Quelle kann es je nach Anfrage des Benutzers vier Szenarien geben.

Fundiert und relevant

Unbegründet aber relevant

Begründet, aber irrelevant

Unbegründet und irrelevant

Fügen Sie mit der Konsole kontextbezogene Erdungsprüfungen hinzu

Kontextuelle Erdungsprüfung mit Invoke aufrufen APIs

Um die Erdungsquelle und die Abfrage innerhalb der Eingabe zu markieren, stellen wir zwei Tags zur Verfügung, die genauso funktionieren wie Eingabe-Tags. Diese Tags sind amazon-bedrock-guardrails-groundingSource_xyz und amazon-bedrock-guardrails-query_xyz vorausgesetzt, das Tag-Suffix ist xyz. Zum Beispiel:

{
    "text": """
<amazon-bedrock-guardrails-groundingSource_xyz>London is the capital of UK. Tokyo is the capital of Japan. </amazon-bedrock-guardrails-groundingSource_xyz>

<amazon-bedrock-guardrails-query_xyz>What is the capital of Japan?</amazon-bedrock-guardrails-query_xyz>
""",
    "amazon-bedrock-guardrailConfig": {
        "tagSuffix": "xyz",
    },
}    
        

Beachten Sie, dass die Modellantwort für die Prüfung der kontextuellen Erdung erforderlich ist. Daher wird die Prüfung nur bei der Ausgabe und nicht bei der Aufforderung durchgeführt.

Diese Tags können zusammen mit den GuardContent-Tags verwendet werden. Wenn keine GuardContent-Tags verwendet werden, wendet die Guardrail standardmäßig alle konfigurierten Richtlinien auf die gesamte Eingabe an, einschließlich der Grundquelle und der Abfrage. Wenn die GuardContent-Tags verwendet werden, untersucht die Richtlinie für die kontextuelle Erdungsprüfung nur die Erdungsquelle, -abfrage und -antwort, während die übrigen Richtlinien den Inhalt innerhalb der GuardContent-Tags untersuchen.

Kontextuelle Erdungsprüfung aufrufen mit Converse APIs

Um die Erdungsquelle zu markieren und abzufragen Converse APIs, verwenden Sie das Qualifier-Feld in jedem Guard-Inhaltsblock. Zum Beispiel:

[
    {
        "role": "user",
        "content": [
            {
                "guardContent": {
                    "text": {
                        "text": "London is the capital of UK. Tokyo is the capital of Japan",
                        "qualifiers": ["grounding_source"],
                    }
                }
            },
            {
                "guardContent": {
                    "text": {
                        "text": "What is the capital of Japan?",
                        "qualifiers": ["query"],
                    }
                }
            },
        ],
    }
]
        

Beachten Sie, dass die Modellantwort für die Durchführung der kontextuellen Erdungsprüfung erforderlich ist. Daher wird die Prüfung nur bei der Ausgabe und nicht bei der Aufforderung durchgeführt.

Wenn keiner der Inhaltsblöcke mit dem Qualifier guard_content gekennzeichnet ist, untersucht die Richtlinie für die kontextuelle Erdungsprüfung nur die Erdungsquelle, die Abfrage und die Antwort. Die übrigen Richtlinien folgen dem Standardverhalten bei der Untersuchung: Die Systemaufforderung wird standardmäßig nicht untersucht und Nachrichten werden standardmäßig untersucht. Wenn ein Inhaltsblock jedoch mit dem Qualifier guard_content gekennzeichnet ist, untersucht die Richtlinie für die kontextuelle Erdungsüberprüfung nur die Quelle, Anfrage und Antwort, während die übrigen Richtlinien den Inhalt untersuchen, der mit den GuardContent-Tags gekennzeichnet ist.

ApplyGuardrail Aufruf der kontextuellen Erdungsprüfung mit API

Die Verwendung der kontextuellen Erdungsprüfung mit ähnelt der Verwendung mit ApplyGuardrail der. Converse APIs Verwenden Sie das Qualifier-Feld in jedem Inhaltsblock ApplyGuardrail, um die Erdungsquelle zu markieren und abzufragen. Da ein Modell jedoch nicht mit aufgerufen wird ApplyGuardrail, müssen Sie auch einen zusätzlichen Inhaltsblock mit dem Inhalt angeben, der geschützt werden soll. Dieser Inhaltsblock kann optional mit guard_content qualifiziert werden und entspricht der Modellantwort in Invoke* oder Converse*. APIs Zum Beispiel:

[
    {
        "text": {
            "text": "London is the capital of UK. Tokyo is the capital of Japan",
            "qualifiers": [
                "grounding_source"
            ]
        }
    },
    {
        "text": {
            "text": "What is the capital of Japan?",
            "qualifiers": [
                "query"
            ]
        }
    },
    {
        "text": {
            "text": "The capital of Japan is Tokyo."
        }
    }
]
        

Beachten Sie, dass die Modellantwort erforderlich ist, um die kontextuelle Erdungsprüfung durchzuführen. Daher wird die Prüfung nur bei der Ausgabe und nicht bei der Aufforderung durchgeführt.

Wenn keiner der Inhaltsblöcke mit dem Qualifier guard_content gekennzeichnet ist, untersucht die Richtlinie für die kontextuelle Erdungsprüfung nur die Erdungsquelle, die Abfrage und die Antwort. Die übrigen Richtlinien folgen dem Standardverhalten bei der Untersuchung: Die Systemaufforderung wird standardmäßig nicht untersucht und Nachrichten werden standardmäßig untersucht. Wenn ein Inhaltsblock jedoch mit dem Qualifier guard_content gekennzeichnet ist, untersucht die Richtlinie für die kontextuelle Erdungsüberprüfung nur die Quelle, Anfrage und Antwort, während die übrigen Richtlinien den Inhalt untersuchen, der mit den GuardContent-Tags gekennzeichnet ist.