So konfigurieren Sie das Streaming-Antwortverhalten bei der Inhaltsfilterung - Amazon Bedrock

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

So konfigurieren Sie das Streaming-Antwortverhalten bei der Inhaltsfilterung

Die InvokeModelWithResponseStream-API gibt Daten in einem Streaming-Format zurück. Auf diese Weise können Sie blockweise auf Antworten, ohne auf das gesamte Ergebnis warten zu müssen. Bei der Verwendung des Integritätsschutzes für eine Streaming-Antwort gibt es zwei Betriebsmodi: synchron und asynchron.

Synchroner Modus

Im synchronen Standardmodus puffert der Integritätsschutz die konfigurierten Richtlinien und wendet sie auf einen oder mehrere Antwortblöcke an, bevor die Antwort an den Benutzer zurückgesendet wird. Der synchrone Verarbeitungsmodus führt zu einer gewissen Latenz bei den Antwortblöcken, da die Antwort verzögert wird, bis der Integritätsschutz-Scan abgeschlossen ist. Er bietet jedoch eine höhere Genauigkeit, da jeder Antwortblock vom Integritätsschutz gescannt wird, bevor er an den Benutzer gesendet wird.

Asynchroner Modus

Im asynchronen Modus sendet der Integritätsschutz die Antwortblöcke an den Benutzer, sobald sie verfügbar sind, und wendet gleichzeitig die konfigurierten Richtlinien asynchron im Hintergrund an. Der Vorteil besteht darin, dass Antwortblöcke sofort und ohne Auswirkungen auf die Latenz bereitgestellt werden. Antwortblöcke können jedoch unangemessene Inhalte aufweisen, bis der Integritätsschutz-Scan abgeschlossen ist. Sobald unangemessene Inhalte erkannt werden, werden nachfolgende Blöcke durch den Integritätsschutz blockiert.

Warnung

Integritätsschutz für Amazon Bedrock unterstützt nicht die Maskierung sensibler Informationen im asynchronen Modus.

Aktivieren des asynchronen Modus

Um den asynchronen Modus zu aktivieren, müssen Sie den streamProcessingMode-Parameter in das amazon-bedrock-guardrailConfig-Objekt Ihrer InvokeModelWithResponseStream-Anfrage aufnehmen:

{ "amazon-bedrock-guardrailConfig": { "streamProcessingMode": "ASYNCHRONOUS" } }

Wenn Sie die Abwägungen zwischen den synchronen und asynchronen Modi verstehen, können Sie den geeigneten Modus entsprechend den Anforderungen Ihrer Anwendung an Latenz und Genauigkeit der Inhaltsmoderation auswählen.