Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Grundlegendes zum intelligenten Prompt Routing in Amazon Bedrock

Das intelligente Prompt Routing für Amazon Bedrock bietet einen einzigen Serverless-Endpunkt, um Anforderungen effizient zwischen verschiedenen Basismodellen innerhalb derselben Modellfamilie weiterzuleiten. Es kann die Antwortqualität jedes Modells für jede Anforderung dynamisch vorhersagen und die Anforderung dann an das Modell mit der besten Antwortqualität weiterleiten. Dies trägt zur Optimierung sowohl der Antwortqualität als auch der Kosten bei.

Unterstützte Regionen und Modelle für intelligentes Prompt Routing

Intelligentes Prompt-Routing kann mit verschiedenen Modelltypen verwendet werden. In der folgenden Liste wird die Unterstützung für verschiedene Typen von Amazon Bedrock-Modellen beschrieben:

Die folgende Tabelle zeigt Modelle, die für intelligentes Prompt-Routing unterstützt werden:

Vorteile

Standard- und konfigurierte Prompt-Router

Wenn Sie intelligentes Prompt Routing verwenden, können Sie entweder die von Amazon Bedrock bereitgestellten Standard-Prompt-Router verwenden oder Ihre eigenen Prompt-Router konfigurieren.

Standard-Prompt-Router sind vorkonfigurierte Routing-Systeme, die von Amazon Bedrock bereitgestellt werden. Diese Router verfügen über vordefinierte Einstellungen und sind so konzipiert, dass sie mit bestimmten Basismodellen funktionieren. out-of-the-box Sie bieten eine unkomplizierte ready-to-use Lösung, ohne dass Routing-Einstellungen konfiguriert werden müssen. Wenn Sie mit dem intelligenten Prompt Routing beginnen, empfehlen wir, mit den von Amazon Bedrock bereitgestellten Standardroutern zu experimentieren. In der Vorschauversion können Sie wählen, ob Sie ausgewählte Modelle der Anthropic- und Meta-Familien verwenden möchten.

Mit konfigurierten Prompt-Routern können Sie Ihre eigenen Routing-Konfigurationen definieren, die auf bestimmte Bedürfnisse und Präferenzen zugeschnitten sind. Sie eignen sich besser, wenn Sie mehr Kontrolle darüber benötigen, wie Ihre Anfragen weitergeleitet werden und welche Modelle verwendet werden sollen. Konfigurierte Router ermöglichen eine Optimierung auf der Grundlage von Metriken zur Antwortqualität und Anwendungsfällen. Nachdem Sie mit Standardroutern experimentiert haben, können Sie Ihre eigenen Router konfigurieren, die für Ihre Anwendungen geeignet sind, die Antwortqualität im Playground bewerten und für Produktionsanwendungen nutzen, sofern sie die Anforderungen erfüllen.

Überlegungen und Einschränkungen

Im Folgenden finden Sie Überlegungen und Einschränkungen in Bezug auf intelligentes Prompt Routing in Amazon Bedrock.

Prompt-Router-Kriterien und das Fallback-Modell

Bei der Konfiguration Ihrer Prompt-Router können Sie die Routing-Kriterien angeben, mit denen anhand der unterschiedlichen Antwortqualität bestimmt wird, welches Modell für die Bearbeitung einer Anfrage ausgewählt werden soll. Verwenden Sie diese Kriterien, um zu bestimmen, wie viel näher die Antwortvariablen des Ersatzmodells an den Antwortvariablen der anderen Modelle liegen sollten.

Fallback-Modelle

Wählen Sie ein Fallback-Modell aus, das für Ihre Anforderungen gut geeignet ist. Dieses Modell dient als zuverlässige Ausgangsbasis. Sie können dann ein anderes Modell auswählen, um entweder die Korrektheit zu verbessern oder die Kosten im Vergleich zum Fallback-Modell zu senken. Das Fallback-Modell fungiert als Anker und die Routing-Kriterien legen fest, wann auf der Grundlage von Unterschieden in der Antwortqualität zum anderen Modell gewechselt werden muss.

Unterschied der Antwortqualität

Der Unterschied der Antwortqualität misst die Disparität zwischen den Antworten des Fallback-Modells und denen der anderen Modelle. Ein kleinerer Wert gibt an, dass die Antworten ähnlich sind. Ein höherer Wert weist auf einen signifikanten Unterschied bei den Antworten zwischen dem Fallback-Modell und den anderen Modellen hin.

Beispielsweise bedeutet ein Unterschied der Antwortqualität von 10 %: Wenn etwa die Antwortqualität des Fallback-Modells, Claude Haiku3, 10 % beträgt, wechselt der Router nur dann zu einem anderen Modell, beispielsweise Claude Sonnet3, wenn dessen Antworten um 10 % besser sind als die Antworten von Claude Haiku3.

So funktioniert intelligentes Prompt Routing

So wird intelligentes Prompt Routing eingesetzt

Verwenden Sie die Amazon Bedrock-Konsole oder das AWS SDK, um mit dem intelligenten Prompt-Routing zu beginnen. AWS CLI

In den folgenden Abschnitten sehen Sie, wie Sie dieses Feature über die Konsole und die CLI verwenden. Nachdem Sie Ihren Prompt-Router konfiguriert haben, führt Amazon Bedrock die unter So funktioniert intelligentes Prompt Routing beschriebenen Schritte aus, um eine Antwort von einem der Modelle im ausgewählten Router zu generieren.

console

So wird intelligentes Prompt Routing über die AWS-Managementkonsole verwendet:

1. Gehen Sie in der Amazon-Bedrock-Konsole zum Hub Prompt-Router. Verwenden Sie Ihre AWS-Anmeldeinformationen, um sich bei der Konsole anzumelden.

2. Wählen Sie die Modellfamilie aus, die Sie verwenden möchten. Wenn Sie das Feature zum ersten Mal verwenden, können Sie mit den Standard-Prompt-Routern experimentieren. In der Vorschauversion können Sie Modelle der Anthropic- und Meta-Familien auswählen. Anschließend können Sie den Playground öffnen und mit Ihren Prompts experimentieren.

   Anmerkung

   Sie müssen genau zwei Modelle innerhalb derselben Familie auswählen.

3. Nachdem Sie mit den Standard-Routern experimentiert haben, können Sie Ihren Router konfigurieren. Sie müssen für Ihren Router einen eindeutigen Namen und optional eine Beschreibung angeben.

4. Definieren Sie die Routing-Regeln für die Weiterleitung der Prompts an verschiedene Modelle. Geben Sie die Modelle für das Routing, die Routing-Kriterien und ein Fallback-Modell an, das verwendet werden soll, falls die Routing-Kriterien nicht erfüllt werden.

5. Sie können jetzt den Playground öffnen und verschiedene Prompts ausprobieren, um die Leistung Ihres Prompt-Routers zu überwachen. Durch die Analyse der Weiterleitung von Prompts und der Leistung der einzelnen Modelle können Sie die Weiterleitungskriterien und Modelle nach Bedarf anpassen, um Leistung und Kosten zu optimieren.

API

So wird intelligentes Prompt Routing mit der AWS CLI verwendet:

1. Nachdem Sie mit Standard-Prompt-Routern experimentiert haben, können Sie mithilfe der CreatePromptRouter-API oder des CLI-Befehls create-prompt-router einen Router erstellen, der intelligentes Prompt Routing verarbeiten kann.

   Der folgende Befehl zeigt ein Beispiel für die Erstellung des Prompt-Routers, wobei:

   • <router-name>ist ein eindeutiger Name für Ihren Router.

   • <region>ist der AWS-Region Ort, an dem Sie den Router erstellen möchten.

   • <modelA>und <modelB> sind die Modelle, aus denen Sie für das Routing wählen können. Beispiel, anthropic.claude-3-5-sonnet-20240620-v1:0.

   aws bedrock create-prompt-router \
       --prompt-router-name <router-name> \
       --models '[{"modelArn": "arn:aws:bedrock:<region>::foundation-model/<modelA>"}]' \ 
       --fallback-model '[{"modelArn": "arn:aws:bedrock:<region>::foundation-model/<modelB>"}]' \ 
       --routing-criteria '{"responseQualityDifference": 0.5}'

2. Senden Sie Ihre Prompts mithilfe der AWS CLI an den intelligenten Prompt-Router. Der Router sagt die Antwortqualität jedes Modells vorher und leitet die Anforderung dann an das Modell mit der besten Antwortqualität weiter.

3. Überprüfen Sie die Antwort auf Ihre Anforderung. Sie enthält Informationen über das verwendete Modell und die Routing-Kriterien.

4. Wenn Sie mit Prompt-Routern arbeiten, können Sie auch die folgenden zusätzlichen API-Operationen verwenden:

   • GetPromptRouter

   • ListPromptRouters

   • DeletePromptRouter