Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Paramètres LLM avancés
Lorsque vous utilisez Amazon Bedrock, vous pouvez configurer certains paramètres avancés pour vos modèles, tels qu'Amazon Bedrock Guardrails, Provisioned Throughput pour Amazon Bedrock et des paramètres de modèle supplémentaires.
Barrières de protections Amazon Bedrock
Amazon Bedrock Guardrails est une fonctionnalité d'Amazon Bedrock qui évalue les entrées des utilisateurs et les réponses LLM en fonction des politiques configurées par l'utilisateur et fournit un niveau de protection supplémentaire, quel que soit le LLM sous-jacent sélectionné par l'utilisateur pour un cas d'utilisation. Un garde-corps comprend deux politiques visant à éviter les contenus appartenant à des catégories indésirables ou nuisibles :
-
Sujets refusés pour définir un ensemble de sujets indésirables dans le contexte de la demande de l'utilisateur, par exemple, les conseils d'investissement dans une application financière, et,
-
Filtres de contenu****qui permettent de filtrer les demandes des utilisateurs ou les modèles de réponses contenant du contenu préjudiciable.
Pour une utilisation dans la solution Generative AI Application Builder, un garde-corps doit être configuré dans la console Amazon Bedrock à l'aide de l'assistant de création de garde-corps. Une fois créé, vous pouvez ajouter ce garde-corps à votre cas d'utilisation du chat créé à l'aide de l'assistant de solution Generative AI Application Builder dans les paramètres supplémentaires de l'étape de sélection du modèle en fournissant votre identifiant de garde-corps et votre version de garde-corps.
Décrit l'assistant de déploiement permettant d'activer Amazon Bedrock Guardrails
Débit provisionné pour Amazon Bedrock
Chaque modèle Amazon Bedrock à la demande respecte la limite de quota de compte spécifique à la région pour l'inférence du modèle. Par exemple, Anthropic Claude 2.x sur Bedrock autorise actuellement le traitement de 500 demandes et 500 000 jetons par minute dans les régions us-east-1 et us-west-2. Vous pouvez également utiliser la solution avec vos modèles affinés ou préentraînés en continu. Dans de tels cas, Amazon Bedrock autorise un débit provisionné, ce qui permet d'exécuter des charges de travail d'inférence importantes et cohérentes pour votre base, ainsi que des modèles préentraînés affinés ou continus à utiliser dans des applications de production.
Une fois que le Provisioned Throughput est acheté dans la console Amazon Bedrock, un ARN de modèle est généré pour être utilisé. Vous pouvez désormais fournir cet ARN du modèle dans l'assistant Generative AI Application Builder lors de l'étape de sélection du modèle. Pour ce faire, sélectionnez Bedrock comme fournisseur de modèles et le nom du modèle de base utilisé pour générer cet ARN de modèle provisionné dans la console Amazon Bedrock. Sélectionnez ensuite « Modèle provisionné » lorsque vous choisissez entre les modèles à la demande et provisionnés, et fournissez votre Model ARN.
Décrit l'assistant de déploiement permettant d'activer le débit provisionné pour Amazon Bedrock
Note
Votre garde-fou et votre débit provisionné doivent se trouver dans la même région que le tableau de bord de déploiement déployé et les piles de cas d'utilisation.
Paramètres du modèle
LLMs acceptent souvent un large éventail de paramètres spécifiques à sa mise en œuvre. Les fournisseurs de modèles fournissent souvent de la documentation décrivant l'ensemble des paramètres pris en charge et leurs utilisations.
La solution transmet les paramètres du modèle directement au modèle sous-jacent. Il est donc important de s'assurer que les paramètres sont correctement définis. Reportez-vous à la documentation du fournisseur du modèle pour obtenir les dernières informations sur les paramètres pris en charge.
