Configurare e personalizzare la generazione di query e risposte

Segui i passaggi per la console indicati in Interrogare una knowledge base e recuperare dei dati o in Interrogare una knowledge base e generare risposte basate sui dati recuperati. Nel riquadro Configurazioni, espandi la sezione Blocchi di origine e immetti il numero massimo di blocchi di origine da restituire.

Quando esegui una richiesta Retrieve o RetrieveAndGenerate, includi un campo retrievalConfiguration mappato a un oggetto KnowledgeBaseRetrievalConfiguration. Per visualizzare la posizione del campo, consulta le pagine relative ai corpi delle richieste Retrieve e RetrieveAndGenerate nella documentazione di riferimento dell’API.

L’oggetto JSON seguente mostra i campi minimi richiesti nell’oggetto KnowledgeBaseRetrievalConfiguration per impostare il numero massimo di risultati da restituire:

"retrievalConfiguration": {
    "vectorSearchConfiguration": {
        "numberOfResults": number
    }
}

Specifica il numero massimo di risultati recuperati (consulta la pagina relativa al campo numberOfResults campo in KnowledgeBaseRetrievalConfiguration per l’intervallo di valori accettati) da restituire nel campo numberOfResults.

Segui i passaggi per la console indicati in Interrogare una knowledge base e recuperare dei dati o in Interrogare una knowledge base e generare risposte basate sui dati recuperati. Quando apri il riquadro Configurazioni, espandi la sezione Tipo di ricerca, attiva Sovrascrivi la ricerca predefinita e seleziona un’opzione.

Quando esegui una richiesta Retrieve o RetrieveAndGenerate, includi un campo retrievalConfiguration mappato a un oggetto KnowledgeBaseRetrievalConfiguration. Per visualizzare la posizione del campo, consulta le pagine relative ai corpi delle richieste Retrieve e RetrieveAndGenerate nella documentazione di riferimento dell’API.

L’oggetto JSON seguente mostra i campi minimi richiesti nell’oggetto KnowledgeBaseRetrievalConfiguration per impostare le configurazioni del tipo d ricerca:

"retrievalConfiguration": {
    "vectorSearchConfiguration": {
        "overrideSearchType": "HYBRID | SEMANTIC"
    }
}

Specifica il tipo di ricerca nel campo overrideSearchType. Sono disponibili le seguenti opzioni:

Segui i passaggi per la console indicati in Interrogare una knowledge base e generare risposte basate sui dati recuperati. Quando apri il riquadro Configurazioni, espandi la sezione Preferenza di streaming e attiva Trasmetti risposte in streaming.

Per trasmettere risposte in streaming, utilizza l’API RetrieveAndGenerateStream. Per maggiori dettagli sulla compilazione dei campi, consulta la scheda API all’indirizzoInterrogare una knowledge base e generare risposte basate sui dati recuperati.

Segui i passaggi per la console indicati in Interrogare una knowledge base e recuperare dei dati o in Interrogare una knowledge base e generare risposte basate sui dati recuperati. Quando apri il riquadro Configurazioni, viene visualizzata una sezione Filtri. Le procedure seguenti descrivono casi d’uso diversi:

L’immagine seguente mostra un esempio di configurazione del filtro che restituisce tutti i documenti scritto dopo il 2018 il cui genere è "entertainment", oltre ai documenti il cui genere è "cooking" o "sports" e il cui autore inizia con"C".

Quando esegui una richiesta Retrieve o RetrieveAndGenerate, includi un campo retrievalConfiguration mappato a un oggetto KnowledgeBaseRetrievalConfiguration. Per visualizzare la posizione del campo, consulta le pagine relative ai corpi delle richieste Retrieve e RetrieveAndGenerate nella documentazione di riferimento dell’API.

Gli oggetti JSON seguenti mostrano i campi minimi richiesti nell’oggetto KnowledgeBaseRetrievalConfiguration per impostare i filtri per diversi casi d’uso:

Nella tabella seguente vengono descritti i tipi di filtro che è possibile utilizzare:

Per combinare gli operatori di filtro, è possibile utilizzare uno dei seguenti operatori logici:

Per esempi, consulta Inviare una query e includere filtri (Retrieve) e Inviare una query e includere filtri (RetrieveAndGenerate).

Segui i passaggi per la console indicati in Interrogare una knowledge base e recuperare dei dati o in Interrogare una knowledge base e generare risposte basate sui dati recuperati. Nella finestra di test, attiva Genera risposte. Nel riquadro Configurazioni, espandi la sezione Guardrail.

Quando esegui una richiesta RetrieveAndGenerate, includi il campo guardrailConfiguration in generationConfiguration per utilizzare il guardrail con la richiesta. Per visualizzare la posizione del campo, consulta la pagina relativa al corpo della richiesta RetrieveAndGenerate nella documentazione di riferimento dell’API.

L’oggetto JSON seguente mostra i campi minimi richiesti in GenerationConfiguration per impostare guardrailConfiguration:

"generationConfiguration": {
    "guardrailConfiguration": {
        "guardrailId": "string",
        "guardrailVersion": "string"
    }
}

Specifica i valori guardrailVersion e guardrailId dei guardrail scelti.

POST /retrieveAndGenerate HTTP/1.1
Content-type: application/json
{
   "input": {
      "text": "string"
   },
   "retrieveAndGenerateConfiguration": {
      "knowledgeBaseConfiguration": {
         "orchestrationConfiguration": { // Query decomposition
           "queryTransformationConfiguration": {
                "type": "string" // enum of QUERY_DECOMPOSITION
           }
         },
...}
}
     

Come modificare i parametri di inferenza durante l’esecuzione di query su una knowledge base: segui i passaggi per la console indicati in Interrogare una knowledge base e recuperare dei dati o in Interrogare una knowledge base e generare risposte basate sui dati recuperati. Quando apri il riquadro Configurazioni, viene visualizzata una sezione Parametri di inferenza. Modifica i parametri in base alle esigenze.

Come modificare i parametri di inferenza durante la chat con il documento: segui i passaggi indicati in Chat con un documento senza una knowledge base configurata. Nel riquadro Configurazioni, espandi la sezione Parametri di inferenza e modifica i parametri in base alle esigenze.

I parametri del modello vengono forniti nella chiamata all’API RetrieveAndGenerate. È possibile personalizzare il modello fornendo parametri di inferenza nel campo inferenceConfig campo di knowledgeBaseConfiguration (se si esegue una query su una knowledge base) o del externalSourcesConfiguration (se si comunica tramite chat con il documento).

Nel campo inferenceConfig è presente una campo textInferenceConfig che contiene i seguenti parametri:

È possibile personalizzare il modello utilizzando i seguenti parametri nel campo inferenceConfig di externalSourcesConfiguration e knowledgeBaseConfiguration:

Per una spiegazione dettagliata della funzione di ciascun parametro, consulta Influenza sulla generazione della risposta con i parametri di inferenza.

È inoltre possibile fornire parametri personalizzati non supportati da textInferenceConfig tramite la mappa additionalModelRequestFields. È possibile fornire parametri univoci per modelli specifici con questo argomento. Per i parametri univoci, consulta Parametri di richiesta di inferenza e campi di risposta per i modelli di fondazione.

Se si omette un parametro da textInferenceConfig, viene utilizzato un valore predefinito. Tutti i parametri non riconosciuti in textInferneceConfig vengono ignorati, mentre tutti i parametri non riconosciuti in AdditionalModelRequestFields generano un’eccezione.

Viene generata un’eccezione di convalida se in additionalModelRequestFields e TextInferenceConfig è presente lo stesso parametro.

Utilizzo dei parametri del modello in RetrieveAndGenerate

Di seguito è riportato un esempio della struttura per inferenceConfig e additionalModelRequestFields sottogenerationConfiguration nel corpo della richiesta RetrieveAndGenerate:

"inferenceConfig": {
    "textInferenceConfig": {
        "temperature": 0.5,  
        "topP": 0.5,
        "maxTokens": 2048,
        "stopSequences": ["\nObservation"]
    }
},
"additionalModelRequestFields": {
    "top_k": 50
}

L’esempio seguente imposta il parametro temperature su 0,5, il parametro top_p su 0,5 e il parametro maxTokens su 2.048, interrompe la generazione se incontra la stringa “\nObservation” nella risposta generata e passa un valore top_k personalizzato pari a 50.

Segui i passaggi per la console indicati in Interrogare una knowledge base e recuperare dei dati o in Interrogare una knowledge base e generare risposte basate sui dati recuperati. Nella finestra di test, attiva Genera risposte. Nel riquadro Configurazioni, espandi la sezione Modello di prompt della knowledge base.

Quando esegui una richiesta RetrieveAndGenerate, includi un campo generationConfiguration mappato a un oggetto GenerationConfiguration. Per visualizzare la posizione del campo, consulta la pagina relativa al corpo della richiesta RetrieveAndGenerate nella documentazione di riferimento dell’API.

L’oggetto JSON seguente mostra i campi minimi richiesti nell’oggetto GenerationConfiguration per impostare il numero massimo di risultati recuperati da restituire:

"generationConfiguration": {
    "promptTemplate": {
        "textPromptTemplate": "string"
    }
}

Immetti il modello di prompt personalizzato nel campo textPromptTemplate, inclusi i segnaposto dei prompt e i tag XML in base alle esigenze. Per il numero massimo di caratteri consentiti nel prompt d sistema, consulta la pagina relativa al campo textPromptTemplate in GenerationConfiguration.