設定串流回應行為以篩選內容 - Amazon Bedrock

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

設定串流回應行為以篩選內容

InvokeModelWithResponseStream API 會以串流格式傳回資料。這可讓您存取區塊中的回應，而無需等待整個結果。搭配串流回應使用護欄時，有兩種操作模式：同步和非同步。

同步模式

在預設同步模式中，護欄會緩衝並套用設定的政策至一或多個回應區塊，再將回應傳回給使用者。同步處理模式會對回應區塊引入一些延遲，因為這表示回應會延遲到護欄掃描完成為止。不過，它提供了更好的準確性，因為在傳送給使用者之前，護欄會掃描每個回應區塊。

非同步模式

在非同步模式下，護欄會在使用者可用時立即將回應區塊傳送給使用者，同時在背景中非同步套用設定的政策。優點是立即提供回應區塊，而不會影響延遲，但回應區塊可能包含不適當的內容，直到護欄掃描完成為止。一旦發現不適當的內容，後續區塊將被護欄封鎖。

警告

Amazon Bedrock Guardrails 不支援以非同步模式遮罩敏感資訊。

啟用非同步模式

若要啟用非同步模式，您需要在InvokeModelWithResponseStream請求的 amazon-bedrock-guardrailConfig 物件中包含 streamProcessingMode 參數：

{
   "amazon-bedrock-guardrailConfig": {
   "streamProcessingMode": "ASYNCHRONOUS"
   }
}

透過了解同步和非同步模式之間的權衡，您可以根據您應用程式對延遲和內容管制準確性的需求，選擇適當的模式。