Jurassic-2-Modelle von AI21 Labs - Amazon Bedrock
InferenzparameterCodebeispiel

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Jurassic-2-Modelle von AI21 Labs

Dieser Abschnitt enthält Inferenzparameter und ein Codebeispiel für die Verwendung von AI21 Labs Jurassic-2-Modellen von AI21 Labs.

Inferenzparameter

Die Jurassic-2-Modelle von AI21 Labs unterstützen die folgenden Inferenzparameter.

Zufälligkeit und Diversität

Jurassic-2-Modelle von AI21 Labs unterstützen die folgenden Parameter, um die Zufälligkeit und Diversität der Antwort zu kontrollieren.

  • Temperatur (temperature) – Verwenden Sie einen niedrigeren Wert, um die Zufälligkeit der Antwort zu verringern.

  • Top-P (topP) – Verwenden Sie einen niedrigeren Wert, um weniger wahrscheinliche Optionen zu ignorieren.

Länge

Jurassic-2-Modelle von AI21 Labs unterstützen die folgenden Parameter, um die Länge der generierten Antwort zu steuern.

  • Maximale Vervollständigungslänge (maxTokens) – Geben Sie die maximale Anzahl von Token an, die in der generierten Antwort verwendet werden soll.

  • Stoppsequenzen (stopSequences) – Konfigurieren Sie Stoppsequenzen, die das Modell erkennt und nach deren Auftreten es die Generierung weiterer Token beendet. Drücken Sie die Eingabetaste, um ein Zeilenumbruchzeichen in eine Stoppsequenz einzufügen. Verwenden Sie die Tabulatortaste, um das Einfügen einer Stoppsequenz abzuschließen.

Wiederholungen

Jurassic-2-Modelle von AI21 Labs unterstützen die folgenden Parameter, um Wiederholungen in der generierten Antwort zu steuern.

  • Präsenzstrafe (presencePenalty) – Verwenden Sie einen höheren Wert, um die Wahrscheinlichkeit zu verringern, dass neue Token generiert werden, die bereits mindestens einmal in der Eingabeaufforderung oder in der Vervollständigung vorkommen.

  • Zählerstrafe (countPenalty) – Verwenden Sie einen höheren Wert, um die Wahrscheinlichkeit zu verringern, dass neue Token generiert werden, die bereits mindestens einmal in der Eingabeaufforderung oder in der Vervollständigung vorkommen. Proportional zur Anzahl der Vorkommen

  • Häufigkeitsstrafe (frequencyPenalty) – Verwenden Sie einen hohen Wert, um die Wahrscheinlichkeit zu verringern, dass neue Token generiert werden, die bereits mindestens einmal in der Eingabeaufforderung oder in der Vervollständigung vorkommen. Der Wert ist proportional zur Häufigkeit der Token-Vorkommen (normalisiert auf die Textlänge).

  • Strafe für spezielle Token – Verringern Sie die Wahrscheinlichkeit, dass sich Sonderzeichen wiederholen. Die Standard-Werte sind true.

    • Leerzeichen (applyToWhitespaces) – Mit dem Wert true wird die Strafe auf Leerzeichen und Zeilenumbrüche angewendet.

    • Interpunktionen (applyToPunctuation) – Mit dem Wert true wird die Strafe auf Satzzeichen angewendet.

    • Zahlen (applyToNumbers) – Mit dem Wert true wird die Strafe auf Zahlen angewendet.

    • Stoppwörter (applyToStopwords) – Mit dem Wert true wird die Strafe auf Stoppwörter angewendet.

    • Emojis (applyToEmojis) – Mit dem Wert true werden Emojis von der Strafe ausgeschlossen.

Textfeld für die Modellaufrufanforderung

Wenn Sie mit einem Modell von AI21 Labs einen InvokeModel- oder InvokeModelWithResponseStream-Aufruf ausführen, füllen Sie das body-Feld mit einem JSON-Objekt aus, das dem unten stehenden entspricht. Geben Sie die Eingabeaufforderung in das Feld prompt ein.

{
    "prompt": string,
    "temperature": float,
    "topP": float,
    "maxTokens": int,
    "stopSequences": [string],
    "countPenalty": {
        "scale": float
    },
    "presencePenalty": {
        "scale": float
    },
    "frequencyPenalty": {
        "scale": float
    }
}

Wenn Sie spezielle Token bestrafen möchten, fügen Sie diese Felder einem beliebigen Strafobjekt hinzu. Sie können das Feld countPenalty beispielsweise wie folgt ändern.

"countPenalty": {
    "scale": float,
    "applyToWhitespaces": boolean,
    "applyToPunctuations": boolean,
    "applyToNumbers": boolean,
    "applyToStopwords": boolean,
    "applyToEmojis": boolean
}

Die folgende Tabelle zeigt die minimalen, maximalen und standardmäßigen Werte für die numerischen Parameter.

Kategorie Parameter Format des JSON-Objekts Minimum Maximum Standard
Zufälligkeit und Diversität Temperatur temperature 0 1 0.5
Top-P topP 0 1 0.5
Länge Max. Anzahl von Token (Modelle der Größen Mid, Ultra und Large) maxTokens 0 8 191 200
Max. Anzahl von Token (andere Modelle) 0 2 048 200
Wiederholungen Präsenzstrafe presencePenalty 0 5 0
Zählerstrafe countPenalty 0 1 0
Frequenzstrafe frequencyPenalty 0 500 0

Textfeld für die Modellaufruf-Antwort

Informationen zum Format des Felds body in der Antwort finden Sie unter https://docs.ai21.com/reference/j2-complete-api-ref.

Anmerkung

Amazon Bedrock gibt die Antwort-ID (id) als Ganzzahl zurück.

Codebeispiel

Dieses Beispiel zeigt, wie das Modell A2I Jurassic-2 Mid von AI21 Labs aufgerufen wird.

import boto3
import json

brt = boto3.client(service_name='bedrock-runtime')

body = json.dumps({
    "prompt": "Translate to spanish: 'Amazon Bedrock is the easiest way to build and scale generative AI applications with base models (FMs)'.", 
    "maxTokens": 200,
    "temperature": 0.5,
    "topP": 0.5
})

modelId = 'ai21.j2-mid-v1'
accept = 'application/json'
contentType = 'application/json'

response = brt.invoke_model(
    body=body, 
    modelId=modelId, 
    accept=accept, 
    contentType=contentType
)

response_body = json.loads(response.get('body').read())

# text
print(response_body.get('completions')[0].get('data').get('text'))