配置流式响应行为以筛选内容 - Amazon Bedrock

配置流式响应行为以筛选内容

InvokeModelWithResponseStream API 会返回流式数据。这让您能够分块访问响应,而无需等待整个结果返回完毕。在流式响应中使用护栏时,有两种操作模式:同步模式和异步模式。

同步模式

在默认的同步模式下,护栏会“缓冲”数据并将配置的策略应用于一个或多个响应块,然后再将响应发送给用户。同步处理模式会导致响应块产生一些延迟,因为在护栏扫描完成后,系统才会发送响应。但是,这提高了准确性,因为每个响应块在发送给用户之前都要通过护栏的扫描。

异步模式

在异步模式下,护栏会在响应块可用时立即将其发送给用户,同时在后台异步应用配置的策略。这一模式的优点是可以立即提供响应块,不会受到延迟的影响,但在护栏扫描完成之前,响应块可能包含不当内容。如果护栏发现不当内容,就会立即屏蔽后续的响应块。

警告

Amazon Bedrock 护栏不支持在异步模式下屏蔽敏感信息。

启用异步模式

要启用异步模式,您需要在 InvokeModelWithResponseStream 请求的 amazon-bedrock-guardrailConfig 对象中包含 streamProcessingMode 参数:

{ "amazon-bedrock-guardrailConfig": { "streamProcessingMode": "ASYNCHRONOUS" } }

了解同步模式和异步模式的优缺点后,您可以根据应用程序对延迟和内容审查准确性的要求选择合适的模式。