Configurar e personalizar consultas e geração de respostas

Siga as etapas do console em Consultar uma base de conhecimento e recuperar dados ou Consultar uma base de conhecimento e gerar respostas com base nos dados recuperados. No painel Configurações, expanda a seção Fragmentos de origem e insira o número máximo de fragmentos de origem a serem exibidos.

Ao fazer uma solicitação Retrieve ou RetrieveAndGenerate, inclua um campo retrievalConfiguration, associado a um objeto KnowledgeBaseRetrievalConfiguration. Para ver a localização desse campo, consulte os corpos de solicitação Retrieve e RetrieveAndGenerate na referência de API.

O seguinte objeto JSON mostra os campos mínimos necessários no objeto KnowledgeBaseRetrievalConfiguration para definir o número máximo de resultados a serem mostrados:

"retrievalConfiguration": {
    "vectorSearchConfiguration": {
        "numberOfResults": number
    }
}

Especifique o número máximo de resultados recuperados (consulte o campo numberOfResults em KnowledgeBaseRetrievalConfiguration para obter o intervalo de valores aceitos) a serem retornados no campo numberOfResults.

Siga as etapas do console em Consultar uma base de conhecimento e recuperar dados ou Consultar uma base de conhecimento e gerar respostas com base nos dados recuperados. Ao abrir o painel Configurações, expanda a seção Tipo de pesquisa, ative Substituir pesquisa padrão e selecione uma opção.

Ao fazer uma solicitação Retrieve ou RetrieveAndGenerate, inclua um campo retrievalConfiguration, associado a um objeto KnowledgeBaseRetrievalConfiguration. Para ver a localização desse campo, consulte os corpos de solicitação Retrieve e RetrieveAndGenerate na referência de API.

O seguinte objeto JSON mostra os campos mínimos necessários no objeto KnowledgeBaseRetrievalConfiguration para definir as configurações do tipo de pesquisa:

"retrievalConfiguration": {
    "vectorSearchConfiguration": {
        "overrideSearchType": "HYBRID | SEMANTIC"
    }
}

Especifique o tipo de pesquisa no campo overrideSearchType. Você tem as seguintes opções:

Siga as etapas do console em Consultar uma base de conhecimento e gerar respostas com base nos dados recuperados. Ao abrir o painel Configurações, expanda a seção Preferência de streaming e ative Resposta do fluxo.

Para transmitir respostas, use a API RetrieveAndGenerateStream. Para obter mais detalhes sobre o preenchimento dos campos, consulte a guia API em Consultar uma base de conhecimento e gerar respostas com base nos dados recuperados.

Siga as etapas do console em Consultar uma base de conhecimento e recuperar dados ou Consultar uma base de conhecimento e gerar respostas com base nos dados recuperados. Ao abrir o painel Configurações, você verá uma seção Filtros. Os seguintes procedimentos descrevem casos de uso diferentes:

A imagem a seguir mostra um exemplo de configuração do filtro que mostra todos os documentos gravados depois de 2018 cujo gênero é "entertainment", além de documentos cujo gênero é "cooking" ou "sports" cujo autor começa com "C".

Ao fazer uma solicitação Retrieve ou RetrieveAndGenerate, inclua um campo retrievalConfiguration, associado a um objeto KnowledgeBaseRetrievalConfiguration. Para ver a localização desse campo, consulte os corpos de solicitação Retrieve e RetrieveAndGenerate na referência de API.

O seguinte objeto JSON mostra os campos mínimos necessários no objeto KnowledgeBaseRetrievalConfiguration para definir filtros para casos de uso diferentes:

A seguinte tabela descreve os tipos de filtro que você pode usar:

Para combinar tipos de filtro, você pode usar um dos seguintes operadores lógicos:

Para obter exemplos, consulte Send a query and include filters (Retrieve) e Send a query and include filters (RetrieveAndGenerate).

Siga as etapas do console em Consultar uma base de conhecimento e recuperar dados ou Consultar uma base de conhecimento e gerar respostas com base nos dados recuperados. Na janela de teste, ative Gerar respostas. Em seguida, no painel Configurações, expanda a seção Barreiras de proteção.

Ao fazer uma solicitação RetrieveAndGenerate, inclua o campo guardrailConfiguration em generationConfiguration para usar a barreira de proteção com a solicitação. Para ver a localização desse campo, consulte o corpo da solicitação RetrieveAndGenerate na referência de API.

O seguinte objeto JSON mostra os campos mínimos necessários no objeto GenerationConfiguration para definir guardrailConfiguration:

"generationConfiguration": {
    "guardrailConfiguration": {
        "guardrailId": "string",
        "guardrailVersion": "string"
    }
}

Especifique guardrailId e guardrailVersion das barreiras de proteção escolhidas.

POST /retrieveAndGenerate HTTP/1.1
Content-type: application/json
{
   "input": {
      "text": "string"
   },
   "retrieveAndGenerateConfiguration": {
      "knowledgeBaseConfiguration": {
         "orchestrationConfiguration": { // Query decomposition
           "queryTransformationConfiguration": {
                "type": "string" // enum of QUERY_DECOMPOSITION
           }
         },
...}
}
     

Para modificar os parâmetros de inferência ao consultar uma base de conhecimento: siga as etapas do console em Consultar uma base de conhecimento e recuperar dados ou Consultar uma base de conhecimento e gerar respostas com base nos dados recuperados. Ao abrir o painel Configurações, você verá uma seção Parâmetros de inferência. Modifique os parâmetros conforme necessário.

Para modificar os parâmetros de inferência ao conversar com o documento: siga as etapas em Conversar com seu documento sem uma base de conhecimento configurada. No painel Configurações, expanda a seção Parâmetros de inferência e modifique os parâmetros conforme necessário.

Você fornece os parâmetros de modelo na chamada para a API RetrieveAndGenerate. Você pode personalizar o modelo fornecendo parâmetros de inferência no campo inferenceConfig de knowledgeBaseConfiguration (se você consultar uma base de conhecimento) ou de externalSourcesConfiguration (se você conversar com seu documento).

Dentro do campo inferenceConfig, há um campo textInferenceConfig que contém os seguintes parâmetros:

Você pode personalizar o modelo usando os seguintes parâmetros no campo inferenceConfig de externalSourcesConfiguration e knowledgeBaseConfiguration:

Para obter uma explicação detalhada da função de cada um desses parâmetros, consulte Geração de resposta de influência com parâmetros de inferência.

Além disso, você pode fornecer parâmetros personalizados não compatíveis com textInferenceConfig por meio do mapa additionalModelRequestFields. Você pode fornecer parâmetros exclusivos para modelos específicos com esse argumento. Para os parâmetros exclusivos, consulte Parâmetros de solicitação de inferência e campos de resposta para modelos de base.

Se um parâmetro for omitido de textInferenceConfig, um valor padrão será usado. Todos os parâmetros não reconhecidos em textInferneceConfig serão ignorados, ao passo que todos os parâmetros não reconhecidos em AdditionalModelRequestFields causarão uma exceção.

Uma exceção de validação será lançada se houver o mesmo parâmetro em additionalModelRequestFields e TextInferenceConfig.

Uso dos parâmetros de modelo em RetrieveAndGenerate

Este é um exemplo da estrutura para inferenceConfig e additionalModelRequestFields em generationConfiguration no corpo da solicitação RetrieveAndGenerate:

"inferenceConfig": {
    "textInferenceConfig": {
        "temperature": 0.5,  
        "topP": 0.5,
        "maxTokens": 2048,
        "stopSequences": ["\nObservation"]
    }
},
"additionalModelRequestFields": {
    "top_k": 50
}

O exemplo a seguir vai definir uma temperature de 0,5, top_p de 0,5, maxTokens de 2048, interromper a geração se encontrar a string “\nObservation” na resposta gerada e passa um valor top_k personalizado de 50.

Siga as etapas do console em Consultar uma base de conhecimento e recuperar dados ou Consultar uma base de conhecimento e gerar respostas com base nos dados recuperados. Na janela de teste, ative Gerar respostas. Em seguida, no painel Configurações, expanda a seção Modelo de prompt da base de conhecimento.

Ao fazer uma solicitação RetrieveAndGenerate, inclua um campo generationConfiguration associado a um objeto GenerationConfiguration. Para ver a localização desse campo, consulte o corpo da solicitação RetrieveAndGenerate na referência de API.

O seguinte objeto JSON mostra os campos mínimos necessários no objeto GenerationConfiguration para definir o número máximo de resultados recuperados a serem retornados:

"generationConfiguration": {
    "promptTemplate": {
        "textPromptTemplate": "string"
    }
}

Insira o modelo de prompt personalizado no campo textPromptTemplate, inclusive espaços reservados de prompt e tags XML, conforme necessário. Para obter o número máximo de caracteres permitidos no prompt do sistema, consulte o campo textPromptTemplate em GenerationConfiguration.