Mise en cache des invites pour une inférence de modèle plus rapide

La mise en cache des invites est une fonctionnalité facultative que vous pouvez utiliser avec les modèles pris en charge dans Amazon Bedrock afin de réduire la latence des réponses d’inférence et les coûts des jetons d’entrée. En ajoutant des parties de votre contexte à un cache, le modèle peut tirer parti du cache pour ignorer le recalcul des entrées, ce qui permet à Bedrock de partager les économies de calcul et de réduire les latences de réponse.

La mise en cache des invites peut être utile lorsque des charges de travail comportant des contextes longs et répétés sont fréquemment réutilisées pour plusieurs requêtes. Par exemple, si vous avez un chatbot où les utilisateurs peuvent charger des documents et poser des questions à leur sujet, le modèle peut prendre beaucoup de temps à traiter les documents chaque fois que l’utilisateur fournit des entrées. Grâce à la mise en cache des invites, vous pouvez mettre le document en cache afin que les futures requêtes contenant le document n’aient pas besoin de le retraiter.

Lorsque vous utilisez la mise en cache des invites, vous êtes facturé à un tarif réduit pour les jetons lus depuis le cache. Selon le modèle, les jetons écrits dans le cache peuvent être facturés à un tarif supérieur à celui des jetons d’entrée non mis en cache. Tous les jetons non lus depuis le cache, ou écrits dans ce dernier, sont facturés au tarif de jeton d’entrée standard pour ce modèle. Pour plus d’informations, consultez la page Tarification Amazon Bedrock.

Fonctionnement

Si vous choisissez d’utiliser la mise en cache des invites, Amazon Bedrock crée un cache composé de points de contrôle du cache. Il s’agit de marqueurs qui définissent la sous-section contiguë de l’invite que vous souhaitez mettre en cache (souvent appelée préfixe d’invite). Ces préfixes d’invite doivent être statiques entre les demandes. Les modifications apportées au préfixe d’invite dans les demandes suivantes entraîneront des échecs de cache.

Les points de contrôle du cache comportent un nombre minimum et maximum de jetons, selon le modèle spécifique que vous utilisez. Vous ne pouvez créer un point de contrôle du cache que si le nombre total de préfixes d’invite correspond au nombre minimum de jetons. Par exemple, le modèle Anthropic Claude 3.7 Sonnet nécessite au moins 1 024 jetons par point de contrôle du cache. Cela signifie que votre premier point de contrôle du cache peut être défini au bout de 1 024 jetons et que le deuxième point de contrôle du cache peut être défini au bout de 2 048 jetons. Si vous essayez d’ajouter un point de contrôle du cache avant d’atteindre le nombre minimum de jetons, l’inférence réussira tout de même, mais le préfixe ne sera pas mis en cache. Le cache a une durée de vie (TTL) de cinq minutes, qui se réinitialise à chaque accès au cache réussi. Pendant cette période, le contexte en cache est conservé. Si aucun accès au cache ne se produit pendant la période TTL, celui-ci expire.

Vous pouvez utiliser la mise en cache des invites chaque fois que vous obtenez une inférence de modèle dans Amazon Bedrock pour les modèles pris en charge. La mise en cache des invites est prise en charge par les fonctionnalités Amazon Bedrock suivantes :

Les API vous offrent le maximum de flexibilité et de contrôle granulaire sur la mise en cache des invites. Vous pouvez définir un point de contrôle du cache individuel au sein des invites. Vous pouvez ajouter du contenu au cache en créant d’autres points de contrôle du cache, dans la limite du nombre maximum de points de contrôle du cache autorisés pour le modèle spécifique. Pour plus d’informations, consultez Modèles, régions et limites pris en charge.

Modèles, régions et limites pris en charge

Le tableau suivant répertorie les modèles pris en charge ainsi que le nombre minimum de jetons, le nombre maximum de points de contrôle du cache et les champs autorisant les points de contrôle du cache.

1 : Les modèles Amazon Nova prennent en charge un nombre maximum de 20 000 jetons pour la mise en cache des invites.

2 : La mise en cache des invites concerne principalement les invites de texte.

Amazon Nova propose la mise en cache automatique des invites pour toutes les invites de texte, y compris les messages User et System. Ce mécanisme peut présenter des avantages concernant la latence lorsque les invites commencent par des parties répétitives, même en l’absence de configuration explicite. Cependant, pour bénéficier d’économies et garantir des avantages de performance plus constants, nous vous recommandons d’activer la mise en cache des invites explicite.

Gestion du cache simplifiée pour les modèles Claude

Pour les modèles Claude, Amazon Bedrock propose une approche simplifiée de la gestion du cache qui réduit la complexité du placement manuel des points de contrôle du cache. Au lieu de vous obliger à spécifier des emplacements précis pour les points de contrôle du cache, vous pouvez utiliser la gestion automatique du cache avec un seul point d’arrêt à la fin de votre contenu statique.

Lorsque vous activez la gestion simplifiée du cache, le système vérifie automatiquement les accès au cache aux limites des blocs de contenu précédents, en remontant jusqu’à environ 20 blocs de contenu par rapport au point d’arrêt spécifié. Cela permet au modèle de trouver le préfixe correspondant le plus long dans votre cache sans que vous ayez à prévoir l’emplacement optimal des points de contrôle. Pour l’utiliser, placez un point de contrôle du cache unique à la fin de votre contenu statique, avant tout contenu dynamique ou variable. Le système trouvera automatiquement la meilleure correspondance dans le cache.

Pour un contrôle plus précis, vous pouvez toujours utiliser plusieurs points de contrôle du cache (jusqu’à 4 pour les modèles Claude) pour définir les limites exactes du cache. Vous devez utiliser plusieurs points de contrôle du cache si vous mettez en cache des sections qui changent à des fréquences différentes ou si vous souhaitez mieux contrôler exactement ce qui est mis en cache.

Mise en route

Les sections suivantes présentent un bref aperçu de l’utilisation de la fonctionnalité de mise en cache des invites pour chaque méthode d’interaction avec les modèles via Amazon Bedrock.