So konfigurieren Sie Abfragen und die Antwortgenerierung und passen diese an

Folgen Sie den Konsolenschritten unter Abrufen einer Wissensdatenbank und Datenabruf oder So fragen Sie eine Wissensdatenbank ab und generieren Antworten auf Grundlage der abgerufenen Daten. Erweitern Sie im Bereich Konfigurationen den Abschnitt Quellblöcke und geben Sie die maximale Anzahl an Quellblöcken ein, die zurückgegeben werden sollen.

Wenn Sie eine Retrieve- oder RetrieveAndGenerate-Anfrage stellen, schließen Sie zusätzlich ein retrievalConfiguration-Feld ein, das einem KnowledgeBaseRetrievalConfiguration-Objekt zugeordnet ist. Um die Position dieses Feldes zu sehen, konsultieren Sie die Anfragekörper von Retrieve und RetrieveAndGenerate in der API-Referenz.

Das folgende JSON-Objekt zeigt die Felder, die im KnowledgeBaseRetrievalConfiguration-Objekt als Minimum erforderlich sind, um die maximale Anzahl zurückzugebender Ergebnisse festzulegen:

"retrievalConfiguration": {
    "vectorSearchConfiguration": {
        "numberOfResults": number
    }
}

Geben Sie die maximale Anzahl der abzurufenden Ergebnisse an (siehe auch das Feld numberOfResults in KnowledgeBaseRetrievalConfiguration für den Bereich zulässiger Werte), die im Feld numberOfResults zurückgegeben werden sollen.

Folgen Sie den Konsolenschritten unter Abrufen einer Wissensdatenbank und Datenabruf oder So fragen Sie eine Wissensdatenbank ab und generieren Antworten auf Grundlage der abgerufenen Daten. Wenn Sie den Bereich Konfigurationen öffnen, erweitern Sie den Abschnitt Suchtyp, aktivieren dann die Option Überschreiben der Standardsuche und wählen eine Option aus.

Wenn Sie eine Retrieve- oder RetrieveAndGenerate-Anfrage stellen, schließen Sie zusätzlich ein retrievalConfiguration-Feld ein, das einem KnowledgeBaseRetrievalConfiguration-Objekt zugeordnet ist. Um die Position dieses Feldes zu sehen, konsultieren Sie die Anfragekörper von Retrieve und RetrieveAndGenerate in der API-Referenz.

Das folgende JSON-Objekt zeigt die Felder, die im KnowledgeBaseRetrievalConfiguration-Objekt als Minimum erforderlich sind, um Suchtypenkonfigurationen festzulegen:

"retrievalConfiguration": {
    "vectorSearchConfiguration": {
        "overrideSearchType": "HYBRID | SEMANTIC"
    }
}

Geben Sie den Suchtyp im Feld overrideSearchType an. Ihnen stehen folgende Optionen zur Verfügung:

Folgen Sie den Konsolenschritten unter So fragen Sie eine Wissensdatenbank ab und generieren Antworten auf Grundlage der abgerufenen Daten. Wenn Sie den Bereich Konfigurationen öffnen, erweitern Sie den Abschnitt Bevorzugtes Streaming und aktivieren Sie Stream-Antwort.

Verwenden Sie die RetrieveAndGenerateStream-API, um Antworten zu streamen. Weitere Informationen zum Ausfüllen der Felder finden Sie auf der Registerkarte API unter So fragen Sie eine Wissensdatenbank ab und generieren Antworten auf Grundlage der abgerufenen Daten.

Folgen Sie den Konsolenschritten unter Abrufen einer Wissensdatenbank und Datenabruf oder So fragen Sie eine Wissensdatenbank ab und generieren Antworten auf Grundlage der abgerufenen Daten. Wenn Sie den Bereich Konfigurationen öffnen, wird ein Filterabschnitt angezeigt. Die folgenden Verfahren beschreiben verschiedene Anwendungsfälle:

In der folgenden Abbildung sehen Sie ein Beispiel für eine Filterkonfiguration, mit der alle Dokumente zurückgegeben werden, die nach 2018 geschrieben wurden und deren Genre "entertainment" ist sowie Dokumente, deren Genre "cooking" oder "sports" ist und deren Autor mit"C" beginnt.

Wenn Sie eine Retrieve- oder RetrieveAndGenerate-Anfrage stellen, schließen Sie zusätzlich ein retrievalConfiguration-Feld ein, das einem KnowledgeBaseRetrievalConfiguration-Objekt zugeordnet ist. Um die Position dieses Feldes zu sehen, konsultieren Sie die Anfragekörper von Retrieve und RetrieveAndGenerate in der API-Referenz.

Das folgende JSON-Objekt zeigt die Felder, die im KnowledgeBaseRetrievalConfiguration-Objekt als Minimum erforderlich sind, um Filter für verschiedene Anwendungsfälle festzulegen:

In der folgenden Tabelle werden die möglichen Filtertypen beschrieben:

Sie können die folgenden logischen Operatoren verwenden, um Filtertypen zu kombinieren:

Beispiele finden Sie unter Senden einer Abfrage und Filter einschließen (Retrieve) und Senden einer Abfrage und Filter einschließen (RetrieveAndGenerate).

Folgen Sie den Konsolenschritten unter Abrufen einer Wissensdatenbank und Datenabruf oder So fragen Sie eine Wissensdatenbank ab und generieren Antworten auf Grundlage der abgerufenen Daten. Aktivieren Sie im Testfenster die Option Antworten generieren. Erweitern Sie dann im Bereich Konfigurationen den Abschnitt Integritätsschutz.

Wenn Sie eine RetrieveAndGenerate-Anfrage stellen, fügen Sie das Feld guardrailConfiguration innerhalb der generationConfiguration ein, um Ihren Integritätsschutz mit der Anfrage zu verwenden. Um die Position dieses Feldes zu sehen, konsultieren Sie die Anfragekörper RetrieveAndGenerate in der API-Referenz.

Das folgende JSON-Objekt zeigt die Felder, die im GenerationConfiguration-Objekt als Minimum erforderlich sind, um die guardrailConfiguration festzulegen:

"generationConfiguration": {
    "guardrailConfiguration": {
        "guardrailId": "string",
        "guardrailVersion": "string"
    }
}

Geben Sie die guardrailId und guardrailVersion Ihres ausgewählten Integritätsschutzes an.

POST /retrieveAndGenerate HTTP/1.1
Content-type: application/json
{
   "input": {
      "text": "string"
   },
   "retrieveAndGenerateConfiguration": {
      "knowledgeBaseConfiguration": {
         "orchestrationConfiguration": { // Query decomposition
           "queryTransformationConfiguration": {
                "type": "string" // enum of QUERY_DECOMPOSITION
           }
         },
...}
}
     

So modifizieren Sie Inferenzparameter bei der Abfrage einer Wissensdatenbank – folgen Sie den Konsolenanweisungen unter Abrufen einer Wissensdatenbank und Datenabruf oder So fragen Sie eine Wissensdatenbank ab und generieren Antworten auf Grundlage der abgerufenen Daten. Wenn Sie den Bereich Konfigurationen öffnen, wird ein Inferenzparameterabschnitt angezeigt. Ändern Sie die Parameter nach Bedarf.

So modifizieren Sie die Inferenzparameter beim Chatten mit Ihrem Dokument – Folgen Sie den Schritten unter So chatten Sie mit Ihrem Dokument, ohne dass eine Wissensdatenbank konfiguriert ist. Erweitern Sie im Bereich Konfigurationen den Abschnitt Inferenzparameter und modifizieren Sie die Parameter nach Bedarf.

Die Modellparameter geben Sie im Aufruf an die RetrieveAndGenerate-API an. Sie können das Modell anpassen, indem Sie Inferenzparameter entweder im inferenceConfig Feld der knowledgeBaseConfiguration (falls Sie eine Wissensdatenbank abfragen) oder im Feld externalSourcesConfiguration (wenn Sie mit Ihrem Dokument chatten) angeben.

Innerhalb des inferenceConfig-Felds gibt es ein textInferenceConfig-Feld, das die folgenden Parameter enthält, die Sie verwenden können:

Sie können das Modell anpassen, indem Sie die folgenden Parameter im inferenceConfig-Feld von externalSourcesConfiguration und knowledgeBaseConfiguration verwenden:

Eine ausführliche Erläuterung der Funktion der einzelnen Parameter finden Sie unter So beeinflussen Sie die Antwortgenerierung mit Inferenzparametern.

Darüber hinaus können Sie benutzerdefinierte Parameter angeben, die nicht von textInferenceConfig über die additionalModelRequestFields-Zuweisung unterstützt werden. Mit diesem Argument können Sie für bestimmte Modelle eindeutige Parameter angeben. Informationen zu den eindeutigen Parametern finden Sie unter Inferenzanforderungsparameter und Antwortfelder für Basismodelle.

Wenn ein Parameter bei textInferenceConfig ausgelassen wird, wird ein Standardwert verwendet. Alle Parameter werden ignoriert, die unter textInferneceConfig nicht erkannt werden, während alle Parameter unter AdditionalModelRequestFields nicht erkannt werden, eine Ausnahme auslösen.

Eine Validierungsausnahme wird ausgelöst, wenn derselbe Parameter unter additionalModelRequestFields und TextInferenceConfig vorhanden ist.

So verwenden Sie Modellparameter unter RetrieveAndGenerate

Im Folgenden finden Sie ein Beispiel für die Struktur von inferenceConfig und additionalModelRequestFields unter der generationConfiguration im Anforderungstext RetrieveAndGenerate:

"inferenceConfig": {
    "textInferenceConfig": {
        "temperature": 0.5,  
        "topP": 0.5,
        "maxTokens": 2048,
        "stopSequences": ["\nObservation"]
    }
},
"additionalModelRequestFields": {
    "top_k": 50
}

Im folgenden Beispiel wird ein temperature-Wert von 0,5, ein top_p-Wert von 0,5 und ein maxTokens-Wert von 2 048 festgelegt. Die Generierung wird beendet, wenn die Zeichenfolge „\nObservation“ in der generierten Antwort erscheint, und übergibt einen benutzerdefinierten top_k-Wert von 50.

Folgen Sie den Konsolenschritten unter Abrufen einer Wissensdatenbank und Datenabruf oder So fragen Sie eine Wissensdatenbank ab und generieren Antworten auf Grundlage der abgerufenen Daten. Aktivieren Sie im Testfenster die Option Antworten generieren. Erweitern Sie dann im Bereich Konfigurationen den Abschnitt Wissensdatenbank-Promptvorlage.

Wenn Sie eine RetrieveAndGenerate-Anfrage stellen, fügen Sie ein generationConfiguration-Feld hinzu, das einem GenerationConfiguration-Objekt zugeordnet ist. Um die Position dieses Feldes zu sehen, konsultieren Sie die Anfragekörper RetrieveAndGenerate in der API-Referenz.

Das folgende JSON-Objekt zeigt die Felder, die im GenerationConfiguration-Objekt als Minimum erforderlich sind, um die maximale Anzahl der zurückzugebenden abgerufenen Ergebnisse festzulegen:

"generationConfiguration": {
    "promptTemplate": {
        "textPromptTemplate": "string"
    }
}

Geben Sie Ihre benutzerdefinierte Prompt-Vorlage in das Feld textPromptTemplate ein, einschließlich der Prompt-Platzhalter und XML-Tags, falls erforderlich. Die maximale Anzahl zulässiger Zeichen im System-Prompt finden Sie im Feld textPromptTemplate unter GenerationConfiguration.