Risoluzione dei problemi di chiamata agli strumenti - Amazon Nova

Risoluzione dei problemi di chiamata agli strumenti

Potrebbero verificarsi diversi errori lavorando con strumenti e modelli Amazon Nova. Ecco alcuni esempi e suggerimenti utili per la risoluzione dei problemi.

An error occurred (ModelErrorException) when calling the Converse operation: The model produced an invalid sequence as part of ToolUse. Please refer to the model tool use troubleshooting guide.

Convalidare i parametri di inferenza: i modelli Amazon Nova effettuano un maggior numero di chiamate corrette agli strumenti quando si utilizza la decodifica greedy. Per abilitare la decodifica greedy, imposta i parametri di temperatura su 0.

inferenceConfig={
    "temperature": 0
}

additionalModelRequestFields={"inferenceConfig": {"topK": 1}}

Aumentare il numero massimo di token: spesso gli output degli strumenti richiedono un grande numero di token; assicurati quindi che il numero massimo di token impostato sia sufficientemente elevato da contenere lo schema di restituzione previsto. Se la risposta del modello supera il numero massimo di token, attiverà un’eccezione. Puoi impostare il numero massimo di token nel parametro inferenceConfig:

inferenceConfig={
    "maxTokens": 3000
}

Rivedere i prompt di sistema: per migliorare la precisione delle chiamate agli strumenti, Amazon Nova utilizza il ragionamento basato sulla catena di pensieri quando esegue tali chiamate. Visualizzerai questo output nella risposta all’interno dei tag <thinking>. Non consigliamo di provare a rimuovere questa funzionalità. Consigliamo invece di eliminare l’output se non ne hai bisogno nell’applicazione.

An error occurred (ValidationException) when calling the Converse operation

La configurazione dello strumento trasmessa non è conforme alle convenzioni richieste. Fai riferimento a Converse API spec per le specifiche tecniche di tutti i parametri.

Se sembra che gli strumenti vengano ignorati dal modello, assicurati di seguire lo schema JSON corretto per la configurazione dello strumento:

  • Lo schema di primo livello deve essere del tipo Object.

  • Nello schema Object di primo livello sono supportati solo tre campi: type (deve essere impostato su “object”), properties e required.

  • I campi comuni non supportati al primo livello sono: $schema, description, title e additionalProperties.

Se uno strumento non viene restituito quando previsto, si consiglia di utilizzare il parametro API tool_choice.

  • Tool: verrà effettuata una chiamata allo strumento specificato.

    {
   "toolChoice": {
        "tool": {
            "name": "name_of_tool"
        }
    }
}

  • Any: verrà effettuata almeno una chiamata a uno degli strumenti forniti.

    {
   "toolChoice": {
        "any": {}
    }
}