Configuración y personalización de las consultas y la generación de respuestas

Sigue los pasos de la consola que aparecen en Consulte una base de conocimientos y recupere datos oConsulte una base de conocimientos y genere respuestas basadas en los datos recuperados. En el panel de configuraciones, expanda la sección Fragmentos de origen e introduzca el número máximo de fragmentos de origen que se van a devolver.

Cuando realices una RetrieveAndGeneratesolicitud Retrieveo una solicitud, incluye un retrievalConfiguration campo asignado a un objeto. KnowledgeBaseRetrievalConfiguration Para ver la ubicación de este campo, consulte los cuerpos de las solicitudes Retrieve y RetrieveAndGenerate en la referencia de la API.

El siguiente objeto JSON muestra los campos mínimos necesarios en el KnowledgeBaseRetrievalConfigurationobjeto para establecer el número máximo de resultados que se van a devolver:

"retrievalConfiguration": {
    "vectorSearchConfiguration": {
        "numberOfResults": number
    }
}

Especifique el número máximo de resultados recuperados (consulte el numberOfResults campo KnowledgeBaseRetrievalConfigurationpara ver el rango de valores aceptados) que se devolverán en el numberOfResults campo.

Sigue los pasos de la consola que se indican en Consulte una base de conocimientos y recupere datos oConsulte una base de conocimientos y genere respuestas basadas en los datos recuperados. Al abrir el panel de configuraciones, expanda la sección Tipo de búsqueda, active Anular la búsqueda predeterminada y seleccione una opción.

Cuando realices una RetrieveAndGeneratesolicitud Retrieveo una solicitud, incluye un retrievalConfiguration campo asignado a un KnowledgeBaseRetrievalConfigurationobjeto. Para ver la ubicación de este campo, consulte los cuerpos de las solicitudes Retrieve y RetrieveAndGenerate en la referencia de la API.

El siguiente objeto JSON muestra los campos mínimos necesarios en el KnowledgeBaseRetrievalConfigurationobjeto para establecer las configuraciones de los tipos de búsqueda:

"retrievalConfiguration": {
    "vectorSearchConfiguration": {
        "overrideSearchType": "HYBRID | SEMANTIC"
    }
}

Especifique el tipo de búsqueda en el campo overrideSearchType. Dispone de las opciones siguientes:

Siga los pasos de la consola que se indican en Consulte una base de conocimientos y genere respuestas basadas en los datos recuperados. Cuando abras el panel de configuraciones, expande la sección de preferencias de transmisión y activa la respuesta de transmisión.

Para transmitir las respuestas, usa la RetrieveAndGenerateStreamAPI. Para obtener más información sobre cómo rellenar los campos, consulta la pestaña API enConsulte una base de conocimientos y genere respuestas basadas en los datos recuperados.

Sigue los pasos de la consola que se indican en Consulte una base de conocimientos y recupere datos oConsulte una base de conocimientos y genere respuestas basadas en los datos recuperados. Al abrir el panel Configuraciones, verá la sección Filtros. Los siguientes procedimientos describen distintos casos de uso:

En la imagen siguiente se muestra un ejemplo de configuración de filtro que devuelve todos los documentos escritos después de 2018 cuyo género es "entertainment", además de los documentos cuyo género es "cooking" o "sports" y cuyo autor comienza por "C".

Cuando realices una RetrieveAndGeneratesolicitud Retrieveo una solicitud, incluye un retrievalConfiguration campo asignado a un KnowledgeBaseRetrievalConfigurationobjeto. Para ver la ubicación de este campo, consulte los cuerpos de las solicitudes Retrieve y RetrieveAndGenerate en la referencia de la API.

Los siguientes objetos JSON muestran los campos mínimos necesarios en el KnowledgeBaseRetrievalConfigurationobjeto para establecer filtros para diferentes casos de uso:

En la siguiente tabla se describen los tipos de filtro que puede utilizar:

Para combinar los tipos de filtro, puede utilizar uno de los siguientes operadores lógicos:

Para ver ejemplos, consulte Enviar una consulta e incluir filtros (Recuperar) y Enviar una consulta e incluir filtros (RetrieveAndGenerate).

Sigue los pasos de la consola que se indican en Consulte una base de conocimientos y recupere datos oConsulte una base de conocimientos y genere respuestas basadas en los datos recuperados. En la ventana de prueba, active Generar respuestas. A continuación, en el panel Configuraciones, expanda la sección Barreras de protección.

Cuando realice una solicitud RetrieveAndGenerate, incluya el campo guardrailConfiguration dentro de la generationConfiguration para usar la barrera de protección con la solicitud. Para ver la ubicación de este campo, consulte el cuerpo de la solicitud RetrieveAndGenerate en la referencia de la API.

El siguiente objeto JSON muestra los campos mínimos necesarios GenerationConfigurationpara configurarguardrailConfiguration:

"generationConfiguration": {
    "guardrailConfiguration": {
        "guardrailId": "string",
        "guardrailVersion": "string"
    }
}

Especifique el guardrailId y la guardrailVersion para las barreras de protección que ha elegido.

POST /retrieveAndGenerate HTTP/1.1
Content-type: application/json
{
   "input": {
      "text": "string"
   },
   "retrieveAndGenerateConfiguration": {
      "knowledgeBaseConfiguration": {
         "orchestrationConfiguration": { // Query decomposition
           "queryTransformationConfiguration": {
                "type": "string" // enum of QUERY_DECOMPOSITION
           }
         },
...}
}
     

Para modificar los parámetros de inferencia al consultar una base de conocimientos, siga los pasos de la consola que aparecen en o. Consulte una base de conocimientos y recupere datos Consulte una base de conocimientos y genere respuestas basadas en los datos recuperados Al abrir el panel Configuraciones, verá la sección Parámetros de inferencia. Modifique los parámetros según sea necesario.

Para modificar los parámetros de inferencia al chatear con el documento: siga los pasos que se indican en Chateo con un documento sin tener configurada una base de conocimientos. En el panel Configuraciones, expanda la sección Parámetros de inferencia y modifique los parámetros según sea necesario.

Los parámetros del modelo se proporcionan en la llamada a la API de RetrieveAndGenerate. Puede personalizar el modelo proporcionando parámetros de inferencia en el campo inferenceConfig de la knowledgeBaseConfiguration (si consulta una base de conocimientos) o en la externalSourcesConfiguration (si chatea con su documento).

Dentro del campo inferenceConfig hay un campo textInferenceConfig que contiene los siguientes parámetros:

Puede personalizar el modelo con los siguientes parámetros en el campo inferenceConfig de externalSourcesConfiguration y knowledgeBaseConfiguration:

Para obtener una explicación detallada de la función de cada uno de estos parámetros, consulte Influencia sobre la generación de respuestas con parámetros de inferencia.

Además, puede proporcionar parámetros personalizados que no sean compatibles con textInferenceConfig mediante la asignación de additionalModelRequestFields. Puede proporcionar parámetros exclusivos para modelos específicos con este argumento; para ver los parámetros exclusivos, consulte Parámetros de solicitud de inferencia y campos de respuesta para los modelos fundacionales.

Si se omite un parámetro de textInferenceConfig, se utilizará un valor predeterminado. Se ignorará cualquier parámetro que no se reconozca en textInferneceConfig, mientras que cualquier parámetro que no se reconozca en AdditionalModelRequestFields generará una excepción.

Se genera una excepción de validación si hay el mismo parámetro en additionalModelRequestFields y TextInferenceConfig.

Uso de los parámetros del modelo en RetrieveAndGenerate

A continuación, se muestra un ejemplo de la estructura para inferenceConfig y additionalModelRequestFields en generationConfiguration del cuerpo de la consulta RetrieveAndGenerate:

"inferenceConfig": {
    "textInferenceConfig": {
        "temperature": 0.5,  
        "topP": 0.5,
        "maxTokens": 2048,
        "stopSequences": ["\nObservation"]
    }
},
"additionalModelRequestFields": {
    "top_k": 50
}

El ejemplo siguiente establece una temperature de 0,5, un top_p de 0,5 y un maxTokens de 2048, detiene la generación si encuentra la cadena “\nObservation” en la respuesta generada y pasa un valor top_k personalizado de 50.

Sigue los pasos de la consola que se indican en Consulte una base de conocimientos y recupere datos oConsulte una base de conocimientos y genere respuestas basadas en los datos recuperados. En la ventana de prueba, active Generar respuestas. A continuación, en el panel Configuraciones, expanda la sección Plantillas de peticiones de la base de conocimientos.

Cuando realices una RetrieveAndGeneratesolicitud, incluye un generationConfiguration campo asignado a un GenerationConfigurationobjeto. Para ver la ubicación de este campo, consulte el cuerpo de la solicitud RetrieveAndGenerate en la referencia de la API.

El siguiente objeto JSON muestra los campos mínimos necesarios en el GenerationConfigurationobjeto para establecer el número máximo de resultados recuperados que se devolverán:

"generationConfiguration": {
    "promptTemplate": {
        "textPromptTemplate": "string"
    }
}

Introduzca su plantilla de petición personalizada en el campo textPromptTemplate, incluidos los marcadores de posición de la petición y las etiquetas XML, según sea necesario. Para ver el número máximo de caracteres permitido en la línea de comandos del sistema, consulte el textPromptTemplate campo en GenerationConfiguration.