Prompt-Caching für schnellere Modellinferenz

Prompt-Caching ist ein optionales Feature, das Sie mit unterstützten Modellen in Amazon Bedrock verwenden können, um die Latenz bei Inferenzantworten und die Kosten für Eingabe-Token zu reduzieren. Indem Sie Teile Ihres Kontexts zu einem Cache hinzufügen, kann das Modell den Cache nutzen, um die Neuberechnung von Eingaben zu überspringen, sodass Bedrock an den Recheneinsparungen teilhaben und Ihre Antwortlatenzen verringern kann.

Prompt-Caching kann hilfreich sein, wenn Sie Workloads mit langen und sich wiederholenden Kontexten haben, die häufig für mehrere Abfragen wiederverwendet werden. Wenn Sie beispielsweise über einen Chatbot verfügen, bei dem Benutzer Dokumente hochladen und Fragen zu ihnen stellen können, kann es für das Modell zeitaufwändig sein, das Dokument jedes Mal zu verarbeiten, wenn der Benutzer eine Eingabe vornimmt. Mit Prompt-Caching können Sie das Dokument zwischenspeichern, sodass künftige Abfragen, die das Dokument enthalten, es nicht erneut verarbeiten müssen.

Wenn Sie Prompt-Caching verwenden, wird Ihnen ein reduzierter Tarif für aus dem Cache gelesene Token berechnet. Je nach Modell kann für in den Cache geschriebene Token ein höherer Tarif berechnet werden als für nicht zwischengespeicherte Eingabe-Token. Für alle Token, die nicht aus dem Cache gelesen oder in den Cache geschrieben wurden, wird der Standardsatz für Eingabe-Token für dieses Modell berechnet. Weitere Informationen finden Sie auf der Amazon-Bedrock-Preisseite.

Funktionsweise

Wenn Sie sich für das Prompt-Caching entscheiden, erstellt Amazon Bedrock einen Cache, der aus Cache-Checkpoints besteht. Dies sind Markierungen, die den zusammenhängenden Unterabschnitt Ihres Prompts definieren, den Sie zwischenspeichern möchten (häufig als Prompt-Präfix bezeichnet). Diese Prompt-Präfixe sollten zwischen Anforderungen statisch sein. Änderungen am Prompt-Präfix bei nachfolgenden Anforderungen führen zu Fehleinträgen im Cache.

Cache-Checkpoints haben eine Mindest- und Höchstzahl an Token, abhängig vom jeweiligen Modell, das Sie verwenden. Sie können nur dann einen Cache-Checkpoint erstellen, wenn Ihr gesamtes Prompt-Präfix der Mindestanzahl an Token entspricht. Für das Modell Anthropic Claude 3.7 Sonnet sind beispielsweise mindestens 1 024 Token pro Cache-Checkpoint erforderlich. Das bedeutet, dass Ihr erster Cache-Checkpoint nach 1 024 Token und Ihr zweiter Cache-Checkpoint nach 2 048 Token definiert werden kann. Wenn Sie versuchen, einen Cache-Checkpoint hinzuzufügen, bevor Sie die Mindestanzahl an Token erreicht haben, ist Ihre Inferenz trotzdem erfolgreich, aber Ihr Präfix wird nicht zwischengespeichert. Der Cache hat eine Time To Live (TTL) von fünf Minuten, die bei jedem erfolgreichen Cache-Treffer zurückgesetzt wird. Während dieses Zeitraums bleibt der Kontext im Cache erhalten. Wenn innerhalb des TTL-Fensters keine Cache-Treffer auftreten, läuft Ihr Cache ab.

Sie können das Prompt-Caching jederzeit verwenden, wenn Sie Modellinferenzen in Amazon Bedrock für unterstützte Modelle erhalten. Prompt-Caching wird von den folgenden Amazon-Bedrock-Features unterstützt:

Die APIs bieten Ihnen die größte Flexibilität und detaillierte Kontrolle über den Prompt-Cache. Sie können in Ihren Prompts einen individuellen Cache-Checkpoint festlegen. Sie können den Cache erweitern, indem Sie weitere Cache-Checkpoints erstellen, und zwar bis zur maximalen Anzahl von Cache-Checkpoints, die für das jeweilige Modell zulässig sind. Weitere Informationen finden Sie unter Unterstützte Modelle, Regionen und Limits.

Unterstützte Modelle, Regionen und Limits

In der folgenden Tabelle sind die unterstützten Modelle zusammen mit ihren Token-Mindestwerten, der maximalen Anzahl von Cache-Checkpoints und Feldern, die Cache-Checkpoints zulassen, aufgeführt.

1: Die Modelle von Amazon Nova unterstützen eine maximale Anzahl von 20 000 Token für Prompt-Caching.

2: Prompt-Caching ist hauptsächlich für Text-Prompts vorgesehen.

Amazon Nova bietet automatisches Prompt-Caching für alle Text-Prompts, einschließlich User- und System-Nachrichten. Dieser Mechanismus kann die Latenz verbessern, wenn Prompts mit sich wiederholenden Teilen beginnen, auch ohne explizite Konfiguration. Damit jedoch Kosteneinsparungen erzielt und konsistentere Leistungsvorteile gewährleistet werden können, empfehlen wir Explizites Prompt-Caching.

Vereinfachtes Cache-Management für Claude-Modelle

Für Claude-Modelle bietet Amazon Bedrock einen vereinfachten Ansatz für das Cache-Management, der die Komplexität der manuellen Platzierung von Cache-Checkpoints reduziert. Anstatt von Ihnen die Angabe exakter Cache-Checkpoint-Positionen zu verlangen, können Sie das automatische Cache-Management mit einem einzigen Haltepunkt am Ende Ihres statischen Inhalts verwenden.

Wenn Sie das vereinfachte Cache-Management aktivieren, sucht das System automatisch nach Cache-Treffern an den Grenzen früherer Inhaltsblöcke und schaut dabei bis zu etwa 20 Inhaltsblöcke ab dem angegebenen Haltepunkt zurück. Auf diese Weise kann das Modell das Präfix mit der längsten Übereinstimmung in Ihrem Cache finden, ohne dass Sie die optimalen Checkpoint-Positionen vorhersagen müssen. Damit Sie dieses Verfahren nutzen können, platzieren Sie einen einzelnen Cache-Checkpoint am Ende Ihres statischen Inhalts, und zwar vor dynamischen oder variablen Inhalten. Das System findet automatisch die beste Cache-Übereinstimmung.

Für eine genauere Steuerung können Sie immer noch mehrere Cache-Checkpoints (bis zu 4 bei Claude-Modellen) verwenden, um die genauen Cache-Grenzen festzulegen. Sie sollten mehrere Cache-Checkpoints verwenden, wenn Sie Abschnitte zwischenspeichern, die sich unterschiedlich häufig ändern, oder wenn Sie mehr Kontrolle darüber haben möchten, was genau zwischengespeichert wird.

Erste Schritte

Die folgenden Abschnitte geben Ihnen einen kurzen Überblick darüber, wie Sie das Prompt-Caching-Feature für jede Methode der Interaktion mit Modellen über Amazon Bedrock verwenden können.