Verarbeiten mehrerer Prompts mit der Batch-Inferenz - Amazon Bedrock

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Verarbeiten mehrerer Prompts mit der Batch-Inferenz

Mit der Batch-Inferenz können Sie mehrere Prompts übermitteln und Antworten asynchron generieren. Die Batch-Inferenz hilft Ihnen, eine große Anzahl von Anforderungen effizient zu verarbeiten, indem nur eine einzige Anforderung gesendet und die Antworten in einem Amazon-S3-Bucket generiert werden. Nachdem Sie Modelleingaben in von Ihnen erstellten Dateien definiert haben, laden Sie die Dateien in einen S3-Bucket hoch. Anschließend übermitteln Sie eine Batch-Inferenzanforderung und geben den S3-Bucket an. Nachdem der Auftrag abgeschlossen ist, können Sie die Ausgabedateien von S3 abrufen. Sie können Batch-Inferenz verwenden, um die Leistung der Modellinferenz bei großen Datensätzen zu verbessern.

Anmerkung

Die Batch-Inferenz wird für bereitgestellte Modelle nicht unterstützt.

Allgemeine Informationen zur Batch-Inferenz finden Sie in den folgenden Ressourcen:

Themen