Generieren von Antworten in der Konsole mithilfe von Playgrounds

Verwenden eines Playgrounds

1. Fordern Sie den Zugriff auf die gewünschten Modelle an, falls noch nicht geschehen. Weitere Informationen finden Sie unter Zugriff auf Amazon-Bedrock-Basismodelle.

2. Melden Sie sich bei der AWS-Managementkonsole mit einer IAM-Identität an, die zur Verwendung der Amazon-Bedrock-Konsole berechtigt ist. Öffnen Sie dann die Amazon-Bedrock-Konsole unter https://console.aws.amazon.com/bedrock.

3. Wählen Sie im Navigationsbereich unter Playgrounds die Option Chat/Text oder Bild aus.

4. Wenn Sie sich im Chat/Text-Playground befinden, wählen Sie einen Modus aus.

5. Wählen Sie Modell auswählen sowie einen Anbieter, ein Modell und den zu verwendenden Durchsatz aus. Weitere Informationen zum Erhöhen des Durchsatzes finden Sie unter Erhöhen des Durchsatzes mit regionenübergreifender Inferenz und Bereitgestellter Durchsatz.

6. Reichen Sie die folgenden Informationen ein, um eine Antwort zu generieren:

   • Prompt – Ein oder mehrere Textsätze, mit denen ein Szenario, eine Frage oder eine Aufgabe für ein Modell eingerichtet wird. Weitere Informationen zum Erstellen von Eingabeaufforderungen finden Sie unter Prompt-Engineering-Konzepte.

     Wenn Sie den Chat-Modus des Chat-/Text-Playgrounds verwenden, können Sie bei einigen Modellen (siehe Unterstützte Modelle und Modellfeatures) eine Datei wie folgt einbinden:

     • Wählen Sie das Anhangssymbol und eine Datei zum Hochladen aus.

     • Wählen Sie das Anhangssymbol und ein Amazon-S3-Objekt zum Hochladen aus.

     • Ziehen Sie eine Datei auf den Prompt.

     Fügen Sie Dateien hinzu, um Ihrem Prompt zu ergänzen. Sie können im Prompt-Text auf die Datei verweisen. Sie könnten beispielsweise Summarize this document for me oder Tell me what's in this image schreiben. Sie können die folgenden Dateitypen hinzufügen:

     • Dokumente – Fügen Sie Dokumente hinzu, um den Prompt zu ergänzen. Eine Liste der unterstützten Dateitypen finden Sie im Feld format in DocumentBlock.

       Warnung

       Dokumentnamen sind anfällig für Promptinjektionen, da das Modell sie versehentlich als Anweisungen interpretieren könnte. Daher wird empfohlen, einen neutralen Namen anzugeben.

     • Bilder – Fügen Sie zur Ergänzung des Prompts Bilder hinzu, wenn das Modell multimodale Bild- und Texteingaben unterstützt. Eine Liste der unterstützten Dateitypen finden Sie im Feld format in ImageBlock.

     • Videos – Fügen Sie zur Ergänzung des Prompts Videos hinzu, wenn das Modell multimodale Bild- und Texteingaben unterstützt. Eine Liste der unterstützten Dateitypen finden Sie im Feld format in VideoBlock.

   • Konfigurationen – Einstellungen, die Sie anpassen, um die Modellantwort zu ändern. Die Konfigurationen umfassen folgende:

     • Inferenzparameter – Werte, die beeinflussen oder einschränken, wie das Modell die Antwort generiert. Weitere Informationen finden Sie unter So beeinflussen Sie die Antwortgenerierung mit Inferenzparametern. Informationen zu den Inferenzparametern für bestimmte Modelle finden Sie unter Inferenzanforderungsparameter und Antwortfelder für Basismodelle.

     • System-Prompts – Hierbei handelt es sich um Prompts, die dem Modell Anweisungen oder Kontext zu der Aufgabe, die es ausführen soll, oder zu der Persona, die es während der Konversation annehmen soll, bereitstellt. Diese sind nur im Chat-Modus des Chat-/Text-Playgrounds verfügbar. Weitere Informationen und eine Liste der Modelle, die System-Prompts unterstützen, finden Sie unter Führen einer Konversation mit den Converse-API-Operationen.

     • Integritätsschutz – Filtert schädliche oder unerwünschte Inhalte aus Prompts und Modellantworten heraus. Weitere Informationen finden Sie unter So erkennen und filtern Sie schädliche Inhalte mithilfe vom Integritätsschutz für Amazon Bedrock.

7. (Optional) Wenn ein Modell Streaming unterstützt, werden die Antworten im Chat-/Text-Playground standardmäßig gestreamt. Sie können das Streaming ausschalten, indem Sie das Optionssymbol ( ) auswählen und die Option Streaming-Präferenz ändern.

8. (Optional) Im Chat-Modus des Chat-/Text-Playgrounds können Sie die Antworten verschiedener Modelle vergleichen, indem Sie wie folgt vorgehen:

   1. Schalten Sie den Vergleichsmodus ein.

   2. Wählen Sie Modell auswählen sowie einen Anbieter, ein Modell und den zu verwendenden Durchsatz aus.

   3. Wählen Sie das Konfigurationssymbol ( ), um die zu verwendenden Konfigurationen zu ändern.

   4. Wenn Sie weitere Modelle zum Vergleichen hinzufügen möchten, klicken Sie auf das Plus-Symbol auf der rechten Seite, wählen ein Modell aus und ändern die Konfigurationen nach Bedarf.

9. (Optional) Wenn ein Modell das Prompt-Caching unterstützt, können Sie das Fenster Konfigurationen öffnen und Prompt-Caching aktivieren, um das Zwischenspeichern Ihrer Eingaben und Modellantworten zu aktivieren und so Kosten und Latenz zu reduzieren. Weitere Informationen finden Sie unter Prompt-Caching für schnellere Modellinferenz.

10. Wählen Sie Ausführen aus, um den Prompt auszuführen. Amazon Bedrock speichert keine Texte, Bilder oder Dokumente, die Sie bereitstellen. Die Daten werden nur verwendet, um die Antwort zu generieren.

    Anmerkung

    Wenn die Antwort gegen die Richtlinie zur Inhaltsmoderation verstößt, zeigt Amazon Bedrock sie nicht an. Wenn Sie Streaming aktiviert haben, löscht Amazon Bedrock die gesamte Antwort, wenn Inhalte generiert werden, die gegen die Richtlinie verstoßen. Wenn Sie weitere Informationen wünschen, navigieren Sie zur Amazon-Bedrock-Konsole, wählen Sie Anbieter aus und lesen Sie den Text im Abschnitt Inhaltsbeschränkungen.

11. Das Modell gibt die Antwort zurück. Wenn Sie den Chat-Modus des Chat-/Text-Playgrounds verwenden, können Sie einen Prompt übermitteln, um auf die Antwort zu reagieren und eine weitere Antwort zu generieren.

12. Nach dem Generieren der Antwort haben Sie folgende Möglichkeiten:

    • Wenn Sie die Antwort als JSON-Datei exportieren möchten, wählen Sie das Optionssymbol ( ) und dann Als JSON exportieren aus.

    • Wenn Sie die von Ihnen gestellte API-Anfrage anzeigen möchten, wählen Sie das Optionssymbol ( ) und dann API-Anfrage anzeigen aus.

    • Im Chat-Modus des Chat-/Text-Playgrounds können Sie Metriken im Abschnitt Modellmetriken einsehen. Die folgenden Modellmetriken sind verfügbar:

      • Latenz – Dies ist die Zeit, die zwischen dem Eingang der Anfrage bei Amazon Bedrock und der Rückgabe der Antwort (für Nicht-Streaming-Antworten) oder dem Abschluss des Antwort-Streams (für Streaming-Antworten) vergeht.

      • Anzahl der Eingabe-Token: Die Anzahl der Token, die während der Inferenz als Eingabe in das Modell eingespeist werden.

      • Anzahl der Ausgabe-Token: Die Anzahl der Token, die als Antwort auf eine Eingabeaufforderung generiert wurden. Längere, gesprächsorientiertere Antworten erfordern mehr Token.

      • Kosten: Die Kosten für die Verarbeitung der Eingabe und die Generierung von Ausgabe-Token.

      Wenn Sie Metrik-Kriterien festlegen möchten, denen die Antwort entsprechen soll, wählen Sie Metrik-Kriterien definieren aus und definieren Bedingungen, die das Modell erfüllen soll. Nachdem Sie die Kriterien angewendet haben, wird im Abschnitt Modellmetriken angezeigt, wie viele und welche Kriterien die Antwort erfüllt hat.

      Wenn die Kriterien nicht erfüllt sind, können Sie ein anderes Modell auswählen, den Prompt neu formulieren oder Konfigurationen ändern und den Prompt erneut ausführen.