Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Mise en cache des invites pour une inférence de modèle plus rapide

La mise en cache des invites est une fonctionnalité facultative que vous pouvez utiliser avec les modèles pris en charge dans Amazon Bedrock afin de réduire la latence des réponses d’inférence et les coûts des jetons d’entrée. En ajoutant des parties de votre contexte à un cache, le modèle peut tirer parti du cache pour ignorer le recalcul des entrées, ce qui permet à Bedrock de partager les économies de calcul et de réduire les latences de réponse.

La mise en cache des invites peut être utile lorsque des charges de travail comportant des contextes longs et répétés sont fréquemment réutilisées pour plusieurs requêtes. Par exemple, si vous avez un chatbot où les utilisateurs peuvent charger des documents et poser des questions à leur sujet, le modèle peut prendre beaucoup de temps à traiter les documents chaque fois que l’utilisateur fournit des entrées. Grâce à la mise en cache des invites, vous pouvez mettre le document en cache afin que les futures requêtes contenant le document n’aient pas besoin de le retraiter.

Lorsque vous utilisez la mise en cache des invites, vous êtes facturé à un tarif réduit pour les jetons lus depuis le cache. Selon le modèle, les jetons écrits dans le cache peuvent être facturés à un tarif supérieur à celui des jetons d’entrée non mis en cache. Tous les jetons non lus depuis le cache, ou écrits dans ce dernier, sont facturés au tarif de jeton d’entrée standard pour ce modèle. Pour plus d’informations, consultez la page Tarification Amazon Bedrock.

Comment ça marche

Si vous choisissez d’utiliser la mise en cache des invites, Amazon Bedrock crée un cache composé de points de contrôle du cache. Il s’agit de marqueurs qui définissent la sous-section contiguë de l’invite que vous souhaitez mettre en cache (souvent appelée préfixe d’invite). Ces préfixes d’invite doivent être statiques entre les demandes. Les modifications apportées au préfixe d’invite dans les demandes suivantes entraîneront des échecs de cache.

Les points de contrôle du cache comportent un nombre minimum et maximum de jetons, selon le modèle spécifique que vous utilisez. Vous ne pouvez créer un point de contrôle du cache que si le nombre total de préfixes d’invite correspond au nombre minimum de jetons. Par exemple, le modèle Anthropic Claude 3.7 Sonnet nécessite au moins 1 024 jetons par point de contrôle du cache. Cela signifie que votre premier point de contrôle du cache peut être défini au bout de 1 024 jetons et que le deuxième point de contrôle du cache peut être défini au bout de 2 048 jetons. Si vous essayez d’ajouter un point de contrôle du cache avant d’atteindre le nombre minimum de jetons, l’inférence réussira tout de même, mais le préfixe ne sera pas mis en cache. Le cache possède un Time To Live (TTL), qui est réinitialisé à chaque accès réussi au cache. Pendant cette période, le contexte en cache est conservé. Si aucun accès au cache ne se produit pendant la période TTL, celui-ci expire. La plupart des modèles prennent en charge un TTL de 5 minutes, tandis que le format Claude Opus 4,5Claude Haiku 4.5, et Claude Sonnet 4.5 proposent également une option TTL prolongée d'une heure.

Vous pouvez utiliser la mise en cache des invites chaque fois que vous obtenez une inférence de modèle dans Amazon Bedrock pour les modèles pris en charge. La mise en cache des invites est prise en charge par les fonctionnalités Amazon Bedrock suivantes :

Ils vous APIs offrent le maximum de flexibilité et de contrôle granulaire sur le cache des invites. Vous pouvez définir un point de contrôle du cache individuel au sein des invites. Vous pouvez ajouter du contenu au cache en créant d’autres points de contrôle du cache, dans la limite du nombre maximum de points de contrôle du cache autorisés pour le modèle spécifique. Pour de plus amples informations, veuillez consulter Modèles, régions et limites pris en charge.

Modèles, régions et limites pris en charge

Le tableau suivant répertorie les modèles pris en charge ainsi que le nombre minimum de jetons, le nombre maximum de points de contrôle du cache et les champs autorisant les points de contrôle du cache.

1 : Les modèles Amazon Nova prennent en charge un nombre maximum de 20 000 jetons pour la mise en cache des invites.

2 : La mise en cache des invites concerne principalement les invites de texte.

Pour utiliser l'option TTL d'une heure avec les modèles pris en charge (Claude Opus4.5, etClaude Sonnet 4.5)Claude Haiku 4.5, spécifiez le ttl champ dans votre point de contrôle du cache. Dans l'API Converse, ajoutez-le "ttl": "1h" à votre cachePoint objet. Dans l' InvokeModel API pour les modèles Claude, ajoutez-les "ttl": "1h" à votre cache_control objet. Si aucune ttl valeur n'est fournie, le comportement de mise en cache de 5 minutes par défaut s'applique. Le TTL d'une heure est utile pour les sessions de longue durée ou les scénarios de traitement par lots dans lesquels vous souhaitez conserver le cache pendant de longues périodes.

Amazon Nova propose la mise en cache automatique des invites pour toutes les invites de texte, y compris les messages User et System. Ce mécanisme peut présenter des avantages concernant la latence lorsque les invites commencent par des parties répétitives, même en l’absence de configuration explicite. Cependant, pour bénéficier d’économies et garantir des avantages de performance plus constants, nous vous recommandons d’activer la mise en cache des invites explicite.

Gestion du cache simplifiée pour les modèles Claude

Pour les modèles Claude, Amazon Bedrock propose une approche simplifiée de la gestion du cache qui réduit la complexité du placement manuel des points de contrôle du cache. Au lieu de vous obliger à spécifier des emplacements précis pour les points de contrôle du cache, vous pouvez utiliser la gestion automatique du cache avec un seul point d’arrêt à la fin de votre contenu statique.

Lorsque vous activez la gestion simplifiée du cache, le système vérifie automatiquement les accès au cache aux limites des blocs de contenu précédents, en remontant jusqu’à environ 20 blocs de contenu par rapport au point d’arrêt spécifié. Cela permet au modèle de trouver le préfixe correspondant le plus long dans votre cache sans que vous ayez à prévoir l’emplacement optimal des points de contrôle. Pour l’utiliser, placez un point de contrôle du cache unique à la fin de votre contenu statique, avant tout contenu dynamique ou variable. Le système trouvera automatiquement la meilleure correspondance dans le cache.

Pour un contrôle plus précis, vous pouvez toujours utiliser plusieurs points de contrôle du cache (jusqu’à 4 pour les modèles Claude) pour définir les limites exactes du cache. Vous devez utiliser plusieurs points de contrôle du cache si vous mettez en cache des sections qui changent à des fréquences différentes ou si vous souhaitez mieux contrôler exactement ce qui est mis en cache.

Comment utiliser efficacement la mise en cache rapide

Si vous avez des instructions qui sont utilisées à une cadence normale (c'est-à-dire des instructions système utilisées plus fréquemment que toutes les 5 minutes), continuez à utiliser le cache de 5 minutes, car celui-ci continuera à être actualisé sans frais supplémentaires.

Il est préférable d'utiliser le cache d'une heure dans les scénarios suivants :

Vous pouvez utiliser des contrôles de cache d'une heure et de 5 minutes dans la même demande, mais avec une contrainte importante : les entrées de cache avec un TTL plus long doivent apparaître avant le plus court TTLs (c'est-à-dire qu'une entrée de cache d'une heure doit apparaître avant toute entrée de cache de 5 minutes).

Prise en main

Les sections suivantes présentent un bref aperçu de l’utilisation de la fonctionnalité de mise en cache des invites pour chaque méthode d’interaction avec les modèles via Amazon Bedrock.