設定和自訂查詢和回應產生

請遵循 查詢知識庫並擷取資料 或 查詢知識庫並根據擷取的資料產生回應 的主控台步驟。在組態窗格中，展開來源區塊區段，然後輸入要傳回的來源區塊數目上限。

當您提出 Retrieve 或 RetrieveAndGenerate 請求時，請包含對應至 KnowledgeBaseRetrievalConfiguration 物件的 retrievalConfiguration 欄位。若要查看此欄位的位置，請參閱 API 參考中的 Retrieve 和 RetrieveAndGenerate 請求內文。

下列 JSON 物件顯示設定要傳回的結果數目上限時，KnowledgeBaseRetrievalConfiguration 物件中所需的最少欄位：

"retrievalConfiguration": {
    "vectorSearchConfiguration": {
        "numberOfResults": number
    }
}

指定要在 numberOfResults 欄位中傳回的擷取結果數目上限 (請參閱 KnowledgeBaseRetrievalConfiguration 中的 numberOfResults 欄位，以取得接受值的範圍)。

請遵循 查詢知識庫並擷取資料 或 查詢知識庫並根據擷取的資料產生回應 的主控台步驟。當您開啟組態窗格時，請展開搜尋類型區段、開啟覆寫預設搜尋，然後選取選項。

當您提出 Retrieve 或 RetrieveAndGenerate 請求時，請包含對應至 KnowledgeBaseRetrievalConfiguration 物件的 retrievalConfiguration 欄位。若要查看此欄位的位置，請參閱 API 參考中的 Retrieve 和 RetrieveAndGenerate 請求內文。

下列 JSON 物件顯示設定搜尋類型組態時，KnowledgeBaseRetrievalConfiguration 物件中所需的最少欄位：

"retrievalConfiguration": {
    "vectorSearchConfiguration": {
        "overrideSearchType": "HYBRID | SEMANTIC"
    }
}

在 overrideSearchType 欄位中指定搜尋類型。您有下列選項：

請遵循 查詢知識庫並根據擷取的資料產生回應 的主控台步驟。當您開啟組態窗格時，請展開串流偏好設定區段，並開啟串流回應。

若要串流回應，請使用 RetrieveAndGenerateStream API。如需填寫欄位的詳細資訊，請參閱位於 查詢知識庫並根據擷取的資料產生回應 的 API 索引標籤。

請遵循 查詢知識庫並擷取資料 或 查詢知識庫並根據擷取的資料產生回應 的主控台步驟。當您開啟組態窗格時，您會看到篩選條件區段。下列程序說明不同的使用案例：

下圖顯示範例篩選條件組態，除了類型為 "cooking" 或 "sports" 且作者以 "C" 開頭的文件之外，還傳回在 2018 後寫入且類型為 "entertainment" 的所有文件。

當您提出 Retrieve 或 RetrieveAndGenerate 請求時，請包含對應至 KnowledgeBaseRetrievalConfiguration 物件的 retrievalConfiguration 欄位。若要查看此欄位的位置，請參閱 API 參考中的 Retrieve 和 RetrieveAndGenerate 請求內文。

下列 JSON 物件顯示設定不同使用案例的篩選條件時，KnowledgeBaseRetrievalConfiguration 物件中所需的最少欄位：

下表說明您可以使用的篩選條件類型：

若要合併篩選條件類型，您可以使用下列其中一個邏輯運算子：

如需範例，請參閱傳送查詢並包含篩選條件 (擷取) 和傳送查詢並包含篩選條件 RetrieveAndGenerate)。

請遵循 查詢知識庫並擷取資料 或 查詢知識庫並根據擷取的資料產生回應 的主控台步驟。在測試視窗中，開啟產生回應。然後，在組態窗格中，展開防護機制區段。

當您提出 RetrieveAndGenerate 請求時，請在 generationConfiguration 中包含 guardrailConfiguration 欄位，以搭配請求使用您的防護機制。若要查看此欄位的位置，請參閱 API 參考中的 RetrieveAndGenerate 請求內文。

下列 JSON 物件顯示設定 guardrailConfiguration 時，GenerationConfiguration 中所需的最少欄位：

"generationConfiguration": {
    "guardrailConfiguration": {
        "guardrailId": "string",
        "guardrailVersion": "string"
    }
}

指定所選防護機制的 guardrailId 和 guardrailVersion。

POST /retrieveAndGenerate HTTP/1.1
Content-type: application/json
{
   "input": {
      "text": "string"
   },
   "retrieveAndGenerateConfiguration": {
      "knowledgeBaseConfiguration": {
         "orchestrationConfiguration": { // Query decomposition
           "queryTransformationConfiguration": {
                "type": "string" // enum of QUERY_DECOMPOSITION
           }
         },
...}
}
     

若要在查詢知識庫時修改推論參數 – 請遵循 查詢知識庫並擷取資料 或 查詢知識庫並根據擷取的資料產生回應 的主控台步驟。當您開啟組態窗格時，您會看到推論參數區段。視需要修改參數。

若要在與文件聊天時修改推論參數 – 請遵循 與未設定知識庫的文件聊天 中的步驟。在組態窗格中，展開推論參數區段，並視需要修改參數。

您可以在對 RetrieveAndGenerate API 的呼叫中提供模型參數。您可以在 knowledgeBaseConfiguration (如果您查詢知識庫) 或 externalSourcesConfiguration (如果您與文件聊天) 的 inferenceConfig 欄位中提供推論參數，以自訂模型。

inferenceConfig 欄位中有一個 textInferenceConfig 欄位，其中包含您可以執行的下列參數：

您可以在 externalSourcesConfiguration 和 knowledgeBaseConfiguration 的 inferenceConfig 欄位中使用下列參數來自訂模型：

如需這些參數之函數的詳細說明，請參閱 使用推論參數影響回應生成。

此外，您可以透過 additionalModelRequestFields 對應提供 textInferenceConfig 不支援的自訂參數。您可以使用此引數為特定模型提供唯一的參數，如需唯一的參數，請參閱 基礎模型的推論請求參數和回應欄位。

如果參數從 textInferenceConfig 忽略，則會使用預設值。任何在 textInferneceConfig 中無法辨識的參數都會遭到忽略，而在 AdditionalModelRequestFields 中無法辨識的參數則會導致例外狀況。

如果 additionalModelRequestFields 和 TextInferenceConfig 中有相同的參數，則會擲回驗證例外狀況。

在 RetrieveAndGenerate 中使用模型參數

以下是 RetrieveAndGenerate 請求內文中的 generationConfiguration 下，inferenceConfig 和 additionalModelRequestFields 的結構範例：

"inferenceConfig": {
    "textInferenceConfig": {
        "temperature": 0.5,  
        "topP": 0.5,
        "maxTokens": 2048,
        "stopSequences": ["\nObservation"]
    }
},
"additionalModelRequestFields": {
    "top_k": 50
}

程序範例將 temperature 設定為 0.5、將 top_p 設定為 0.5、將 maxTokens 設定為 2048，如果在產生的回應中遇到字串 "\nObservation"，則會停止產生，並傳遞自訂 top_k 值 50。

請遵循 查詢知識庫並擷取資料 或 查詢知識庫並根據擷取的資料產生回應 的主控台步驟。在測試視窗中，開啟產生回應。然後，在組態窗格中，展開知識庫提示範本區段。

當您提出 RetrieveAndGenerate 請求時，請包含對應至 GenerationConfiguration 物件的 generationConfiguration 欄位。若要查看此欄位的位置，請參閱 API 參考中的 RetrieveAndGenerate 請求內文。

下列 JSON 物件會顯示設定要傳回的擷取結果數目上限時，GenerationConfiguration 物件中所需的最少欄位：

"generationConfiguration": {
    "promptTemplate": {
        "textPromptTemplate": "string"
    }
}

在 textPromptTemplate 欄位中輸入您的自訂提示範本，包括提示預留位置和視需要的 XML 標籤。如需系統提示中允許的字元數上限，請參閱 GenerationConfiguration 中的 textPromptTemplate 欄位。