クエリとレスポンスの生成を設定してカスタマイズする

「ナレッジベースのクエリを実行してデータを取得する」または「ナレッジベースをクエリし、取得したデータに基づいてレスポンスを生成する」のコンソールの手順に従ってください。[設定] ペインで、[ソースチャンク] セクションを展開し、返すソースチャンクの最大数を入力します。

Retrieve または RetrieveAndGenerate リクエストを行うときに、retrievalConfiguration フィールドを含め、KnowledgeBaseRetrievalConfiguration オブジェクトを指定してください。このフィールドの位置を確認するには、API リファレンスで Retrieve リクエストと RetrieveAndGenerate リクエストの本文を参照してください。

次の JSON オブジェクトは、検索結果の最大数を設定するために、KnowledgeBaseRetrievalConfiguration オブジェクトに最低限必要なフィールドを示しています。

"retrievalConfiguration": {
    "vectorSearchConfiguration": {
        "numberOfResults": number
    }
}

返される検索結果の最大数 (許容値の範囲については、KnowledgeBaseRetrievalConfiguration の numberOfResults フィールドを参照) を numberOfResults フィールドに指定してください。

「ナレッジベースのクエリを実行してデータを取得する」または「ナレッジベースをクエリし、取得したデータに基づいてレスポンスを生成する」のコンソールの手順に従ってください。[設定] ペインを開いたら、[検索タイプ] セクションを展開し、[デフォルト検索をオーバーライド] をオンにして、オプションを選択します。

Retrieve または RetrieveAndGenerate リクエストを行うときに、retrievalConfiguration フィールドを含め、KnowledgeBaseRetrievalConfiguration オブジェクトを指定してください。このフィールドの位置を確認するには、API リファレンスで Retrieve リクエストと RetrieveAndGenerate リクエストの本文を参照してください。

次の JSON オブジェクトは、検索タイプを設定するために、KnowledgeBaseRetrievalConfiguration オブジェクトに最低限必要なフィールドを示しています。

"retrievalConfiguration": {
    "vectorSearchConfiguration": {
        "overrideSearchType": "HYBRID | SEMANTIC"
    }
}

overrideSearchType フィールドに検索タイプを指定します。次のオプションがあります。

「ナレッジベースをクエリし、取得したデータに基づいてレスポンスを生成する」のコンソールの手順に従ってください。[設定] ペインを開くと、[ストリーミングの環境設定] セクションを展開し、[応答をストリーム] をオンにします。

レスポンスをストリーミングするには、RetrieveAndGenerateStream API を使用します。フィールドに入力する方法の詳細については、「ナレッジベースをクエリし、取得したデータに基づいてレスポンスを生成する」の [API] タブを参照してください。

「ナレッジベースのクエリを実行してデータを取得する」または「ナレッジベースをクエリし、取得したデータに基づいてレスポンスを生成する」のコンソールの手順に従ってください。[設定] ペインを開くと、[フィルター] セクションが表示されます。次の手順では、さまざまなユースケースについて説明します。

次の図は、フィルターの設定例を示しています。2018 以降に執筆された "entertainment" ジャンルのドキュメントを全部と、ジャンルが "cooking" または "sports" で作成者が "C" で始まるドキュメントを返します。

Retrieve または RetrieveAndGenerate リクエストを行うときに、retrievalConfiguration フィールドを含め、KnowledgeBaseRetrievalConfiguration オブジェクトを指定してください。このフィールドの位置を確認するには、API リファレンスで Retrieve リクエストと RetrieveAndGenerate リクエストの本文を参照してください。

次の JSON オブジェクトは、さまざまなユースケースに応じたフィルターを設定するために、KnowledgeBaseRetrievalConfiguration オブジェクトに最低限必要なフィールドを示しています。

次の表では、使用できるフィルタータイプを説明しています。

フィルタータイプを組み合わせるには、次のいずれかの論理演算子を使用できます。

例については、「Send a query and include filters (Retrieve)」および「Send a query and include filters (RetrieveAndGenerate)」を参照してください。

「ナレッジベースのクエリを実行してデータを取得する」または「ナレッジベースをクエリし、取得したデータに基づいてレスポンスを生成する」のコンソールの手順に従ってください。テストウィンドウで、[回答を生成] をオンにします。次に、[設定] ペインで、[ガードレール] セクションを展開します。

RetrieveAndGenerate リクエストを行う際に、そのリクエストでガードレールを使用するには、generationConfiguration 内に guardrailConfiguration フィールドを含めます。このフィールドの位置を確認するには、API リファレンスで RetrieveAndGenerate リクエストの本文を参照してください。

次の JSON オブジェクトは、guardrailConfiguration を設定するために、GenerationConfiguration に最低限必要なフィールドを示しています。

"generationConfiguration": {
    "guardrailConfiguration": {
        "guardrailId": "string",
        "guardrailVersion": "string"
    }
}

選択したガードレールの guardrailId と guardrailVersion を指定してください。

POST /retrieveAndGenerate HTTP/1.1
Content-type: application/json
{
   "input": {
      "text": "string"
   },
   "retrieveAndGenerateConfiguration": {
      "knowledgeBaseConfiguration": {
         "orchestrationConfiguration": { // Query decomposition
           "queryTransformationConfiguration": {
                "type": "string" // enum of QUERY_DECOMPOSITION
           }
         },
...}
}
     

ナレッジベースのクエリ時に推論パラメータを変更するには – 「ナレッジベースのクエリを実行してデータを取得する」または「ナレッジベースをクエリし、取得したデータに基づいてレスポンスを生成する」のコンソールの手順に従ってください。[設定] ペインを開くと、[推論パラメータ] セクションが表示されます。パラメータを適宜変更してください。

ドキュメントチャット機能の使用時に推論パラメータを変更するには – 「ナレッジベースを設定せずにドキュメントとチャットする」の手順に従ってください。[設定] ペインで [推論パラメータ] セクションを展開し、パラメータを適宜変更します。

RetrieveAndGenerate API の呼び出しでモデルパラメータを指定します。knowledgeBaseConfiguration (ナレッジベースをクエリする場合) または externalSourcesConfiguration (ドキュメントチャット機能を使用する場合) の inferenceConfig フィールドに推論パラメータを指定することで、モデルをカスタマイズできます。

inferenceConfig フィールド内に textInferenceConfig フィールドがあり、次のパラメータを指定できます。

externalSourcesConfiguration と knowledgeBaseConfiguration の両方の inferenceConfig フィールドで次のパラメータを使用して、モデルをカスタマイズできます。

これらの各パラメータの機能の詳細については、「推論パラメータでレスポンスの生成に影響を与える」を参照してください。

さらに、textInferenceConfig でサポートされていないカスタムパラメータを additionalModelRequestFields マップで指定することもできます。特定のモデルに固有のパラメータをこの引数で指定できます。固有のパラメータについては、「Inference request parameters and response fields for foundation models」を参照してください。

textInferenceConfig でパラメータを省略すると、デフォルトの値が使用されます。textInferneceConfig のパラメータが認識されない場合は無視され、AdditionalModelRequestFields のパラメータが認識されない場合は例外が発生します。

additionalModelRequestFields と TextInferenceConfig の両方に同じパラメータが指定されている場合は、検証例外がスローされます。

RetrieveAndGenerate でモデルパラメータを使用する

以下は、RetrieveAndGenerate リクエスト本文の generationConfiguration の inferenceConfig と additionalModelRequestFields の構造例です。

"inferenceConfig": {
    "textInferenceConfig": {
        "temperature": 0.5,  
        "topP": 0.5,
        "maxTokens": 2048,
        "stopSequences": ["\nObservation"]
    }
},
"additionalModelRequestFields": {
    "top_k": 50
}

上の例は、temperature を 0.5、top_p を 0.5、maxTokens を 2048 に設定し、生成されたレスポンスで文字列「\nObservation」が見つかると生成を停止します。また、top_k のカスタム値として 50 を渡しています。

「ナレッジベースのクエリを実行してデータを取得する」または「ナレッジベースをクエリし、取得したデータに基づいてレスポンスを生成する」のコンソールの手順に従ってください。テストウィンドウで、[回答を生成] をオンにします。次に、[設定] ペインで、[ナレッジベースプロンプトのテンプレート] セクションを展開します。

RetrieveAndGenerate リクエストを行うときに、generationConfiguration フィールドを含め、GenerationConfiguration オブジェクトを指定してください。このフィールドの位置を確認するには、API リファレンスで RetrieveAndGenerate リクエストの本文を参照してください。

次の JSON オブジェクトは、検索結果の最大数を設定するために、GenerationConfiguration オブジェクトに最低限必要なフィールドを示しています。

"generationConfiguration": {
    "promptTemplate": {
        "textPromptTemplate": "string"
    }
}

必要に応じて、プロンプトプレースホルダーや XML タグなど、カスタムプロンプトテンプレートを textPromptTemplate フィールドに入力します。システムプロンプトで使用できる文字数の上限については、「GenerationConfiguration」の textPromptTemplate フィールドを参照してください。