Fehlerbehebung für Toolaufrufe - Amazon Nova

Fehlerbehebung für Toolaufrufe

Bei der Arbeit mit Tools und Amazon-Nova-Modellen können verschiedene Fehler auftreten. Im Folgenden finden Sie ein paar Beispiele und Tipps zur Problembehebung.

An error occurred (ModelErrorException) when calling the Converse operation: The model produced an invalid sequence as part of ToolUse. Please refer to the model tool use troubleshooting guide.

Überprüfung Ihrer Inferenzparameter – Amazon Nova-Modelle erzielen bessere Ergebnisse beim Aufrufen von Tools, wenn sie Greedy Decoding verwenden. Um Greedy-Decodierung zu aktivieren, setzen Sie die Temperaturparameter auf 0.

inferenceConfig={
    "temperature": 0
}

additionalModelRequestFields={"inferenceConfig": {"topK": 1}}

Maximale Tokenanzahl erhöhen – Es ist üblich, dass Tool-Ausgaben eine große Tokenausgabe erfordern. Stellen Sie sicher, dass die maximale Tokenanzahl groß genug ist, um das erwartete Rückgabeschema zu berücksichtigen. Wenn die Modellantwort größer als Ihre maximale Token-Anzahl ist, wird eine Ausnahme ausgelöst. Sie können die maximale Anzahl an Token im Parameter inferenceConfig festlegen:

inferenceConfig={
    "maxTokens": 3000
}

Überprüfung des System-Prompts – Um die Genauigkeit des Toolaufrufs zu verbessern, verwendet Amazon Nova beim Aufruf eines Tools eine Gedankenkette. Sie werden diese Ausgabe in der Antwort in <thinking>-Tags sehen. Es wird nicht empfohlen, diese Funktion zu entfernen. Stattdessen empfehlen wir, die Ausgabe zu löschen, wenn Sie sie in Ihrer Anwendung nicht benötigen.

An error occurred (ValidationException) when calling the Converse operation

Die übergebene Tool-Konfiguration entspricht nicht den erforderlichen Konventionen. Die Spezifikationen für alle Parameter finden Sie in der Spezifikation der Converse-API.

Sollte es den Anschein haben, dass Tools vom Modell ignoriert werden, stellen Sie bitte sicher, dass Sie das korrekte JSON-Schema für die Tool-Konfiguration verwenden:

  • Das Schema der obersten Ebene muss vom Typ Objekt sein

  • Nur drei Felder werden im Objekt der obersten Ebene unterstützt – type (muss auf „Objekt“ gesetzt sein), properties und required

  • Häufig werden folgende Felder auf der obersten Ebene nicht unterstützt: $schema, description, title und additionalProperties

Sollte ein Tool nicht wie erwartet zurückgegeben werden, wird empfohlen, den tool_choice-API-Parameter zu verwenden.

  • Tool: Das angegebene Tool wird einmal aufgerufen.

    {
   "toolChoice": {
        "tool": {
            "name": "name_of_tool"
        }
    }
}

  • Beliebig: Eines der bereitgestellten Tools wird mindestens einmal aufgerufen.

    {
   "toolChoice": {
        "any": {}
    }
}