Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Configuration du comportement des réponses en streaming pour filtrer le contenu
L'InvokeModelWithResponseStreamAPI renvoie les données dans un format de streaming. Cela vous permet d’accéder aux réponses par fragments sans attendre le résultat complet. Lorsque vous utilisez des barrières de protection avec une réponse en streaming, il existe deux modes de fonctionnement : synchrone et asynchrone.
Mode synchrone
Dans le mode synchrone par défaut, les barrières de protection mettent en mémoire tampon et appliquent les politiques configurées à un ou plusieurs fragments de réponse avant que la réponse ne soit renvoyée à l’utilisateur. Le mode de traitement synchrone introduit une certaine latence dans les fragments de réponse, car cela signifie que la réponse est retardée jusqu’à la fin de l’analyse des barrières de protection. Cependant, il offre une meilleure précision, car chaque fragment de réponse est analysé par les barrières de protection avant d’être envoyé à l’utilisateur.
Mode asynchrone
En mode asynchrone, les barrières de protection envoient les fragments de réponse à l’utilisateur dès qu’ils sont disponibles, tout en appliquant de manière asynchrone les politiques configurées en arrière-plan. L’avantage est que les fragments de réponse sont fournis immédiatement, sans impact sur le temps de latence, mais ils peuvent contenir du contenu inapproprié jusqu’à ce que l’analyse des barrières de protection soit terminée. Dès qu’un contenu inapproprié est identifié, les fragments suivants sont bloqués par les barrières de protection.
Avertissement
Les barrières de protection Amazon Bedrock ne prennent pas en charge le masquage d’informations sensibles en mode asynchrone.
Activation du mode asynchrone
Pour activer le mode asynchrone, vous devez inclure le paramètre streamProcessingMode dans l’objet amazon-bedrock-guardrailConfig de votre demande InvokeModelWithResponseStream :
{ "amazon-bedrock-guardrailConfig": { "streamProcessingMode": "ASYNCHRONOUS" } }
En comprenant les compromis entre les modes synchrone et asynchrone, vous pouvez choisir le mode approprié en fonction des exigences de votre application en matière de latence et de précision de la modération de contenu.
