So funktioniert Inferenz in Amazon Bedrock
Bei einer Eingabe prognostiziert das Modell eine wahrscheinlich nachfolgende Sequenz von Token und gibt diese Sequenz als Ausgabe zurück. Amazon Bedrock bietet die Möglichkeit, Inferenzen in einem Basismodell Ihrer Wahl auszuführen. Wenn Sie eine Inferenz ausführen, geben Sie die folgenden Eingaben an:
-
Prompt: Eine Eingabe, die dem Modell zur Verfügung gestellt wird, damit es eine Antwort generiert. Informationen zum Schreiben von Prompts finden Sie unter Prompt-Engineering-Konzepte. Hinweise zum Schutz vor Promptinjektionsangriffen finden Sie unter Promptinjektion – Sicherheit.
-
Modell – Sie fordern ein Modell auf, eine Inferenz für einen Prompt auszuführen. Das von Ihnen gewählte Modell gibt außerdem ein Durchsatzniveau an, das die Anzahl und Geschwindigkeit der Eingabe- und Ausgabetokens definiert, die verarbeitet werden können. Sie können Anfragen an folgende Modelltypen stellen:
-
Basismodell – Ein Basismodell, mit dem Inferenzen durchgeführt werden. Anfragen werden an eine einzelne AWS-Region gesendet. Modell-IDs finden Sie unter Unterstützte Basismodelle in Amazon Bedrock. Informationen zu den von Amazon Bedrock unterstützten Basismodellen finden Sie unter Informationen zum Amazon-Bedrock-Basismodell.
-
Inferenzprofil – Ein Basismodell, mit dem Inferenzen ausgeführt werden. Anfragen an das Modell werden in mehreren AWS-Regionen gestellt. Inferenzprofil-IDs finden Sie unter Unterstützte Regionen und Modelle für Inferenzprofile.
Anmerkung
Modelle unterscheiden sich in ihrem Basismodell und in der Verfügbarkeit von Inferenzprofilen nach Region und nach API-Methode. Weitere Informationen finden Sie unter Unterstützte Basismodelle in Amazon Bedrock und auf den einzelnen Modellseiten in der Basismodellreferenz.
-
Bereitgestellter Durchsatz – Ein Basismodell, für das Sie einen dedizierten Durchsatz erworben haben. Weitere Informationen finden Sie unter Bereitgestellter Durchsatz.
-
Benutzerdefiniertes Modell – Ein Basismodell, dessen Gewichtungen durch Modellanpassungen geändert wurden. Weitere Informationen finden Sie unter Anpassen des Modells für eine bessere Leistung im jeweiligen Anwendungsfall.
-
-
Inferenzparameter: Eine Reihe von Werten, die angepasst werden können, um die Modellantwort zu begrenzen oder zu beeinflussen. Informationen zu den Inferenzparametern finden Sie unter So beeinflussen Sie die Antwortgenerierung mit Inferenzparametern und Inferenzanforderungsparameter und Antwortfelder für Basismodelle.
So rufen Sie Modelle in verschiedenen AWS-Regionen auf
Wenn Sie ein Modell aufrufen, wählen Sie die AWS-Region aus, in der es aufgerufen werden soll. Die Kontingente für die Häufigkeit und Größe der Anfragen, die Sie stellen können, hängen von der Region ab. Sie können unter Amazon-Bedrock-Servicekontingente nach folgenden Kontingenten suchen:
-
On-Demand Modellinferenzanforderungen pro Minute für
${Model} -
On-Demand InvokeModel-Token pro Minute für
${Model}
Sie können statt des eigentlichen Basismodells auch ein Inferenzprofil aufrufen. Ein Inferenzprofil definiert ein Modell und eine oder mehrere Regionen, an die das Inferenzprofil Modellaufrufanforderungen leiten kann. Durch den Aufruf eines Inferenzprofils mit mehreren Regionen können Sie Ihren Durchsatz erhöhen. Weitere Informationen finden Sie unter Erhöhen des Durchsatzes mit regionenübergreifender Inferenz. Um die Quoten für die Frequenz und Größe der Anfragen einzusehen, die Sie mit einem Inferenzprofil ausführen können, suchen Sie unter Amazon-Bedrock-Service-Kontingente nach den folgenden Kontingenten:
-
Regionsübergreifende InvokeModel-Anfragen pro Minute für
${Model} -
Regionsübergreifende InvokeModel-Token pro Minute für
${Model} -
Globale regionsübergreifende InvokeModel-Anfragen pro Minute für
${Model} -
Globale regionsübergreifende InvokeModel-Token pro Minute für
${Model}
Anfragen an eine Region können von lokalen Zonen aus bedient werden, die dieselbe übergeordnete Region teilen. Beispielsweise können Anfragen an USA Ost (Nord-Virginia) (us-east-1) von jeder zugehörigen lokalen Zone aus bedient werden, z. B. Atlanta, USA (us-east-1-atl-2a).
Das gleiche Prinzip gilt für die Verwendung der regionsübergreifender Inferenz. Beispielsweise können Anfragen an das US-Inferenzprofil Anthropic Claude 3 Haiku von jeder lokalen Zone aus bedient werden, deren übergeordnete Region sich in den USA befindet, z. B. Seattle, USA (us-west-2-sea-1a). Wenn neue lokale Zonen zu AWS hinzugefügt werden, werden diese auch dem entsprechenden regionsübergreifenden Inferenzendpunkt hinzugefügt.
Eine Liste der lokalen Endpunkte und der übergeordneten Regionen, mit denen sie verknüpft sind, finden Sie unter Local Zones von AWS – Standorte
Wenn Sie ein regionenübergreifendes Inferenzprofil in Amazon Bedrock aufrufen, stammt Ihre Anforderung aus einer Quellregion und wird automatisch an eine der in diesem Profil definierten Zielregionen weitergeleitet, wodurch die Leistung optimiert wird. Die Zielregionen für ein globales regionenübergreifendes Inferenzprofil umfassen alle kommerziellen Regionen.
Das globale regionenübergreifende Inferenzprofil für ein bestimmtes Modell kann sich im Laufe der Zeit ändern, da AWS kommerziellere Regionen hinzufügt, in denen Ihre Anforderungen verarbeitet werden können. Wenn ein Inferenzprofil jedoch mit einer Region verknüpft ist (z. B. USA, Europa oder Asien-Pazifik), ändert sich die Liste der Zielregionen nicht. In AWS können neue Inferenzprofile erstellt werden, die neue Regionen einbeziehen. Sie können Ihre Systeme so aktualisieren, dass diese Inferenzprofile verwendet werden, indem Sie die IDs in Ihrer Einrichtung auf die neuen IDs ändern.
Anmerkung
Die Zielregionen in einem regionsübergreifenden Inferenzprofil können Opt-in-Regionen beinhalten. Dabei handelt es sich um Regionen, die Sie ausdrücklich auf AWS-Konto- oder Organisationsebene aktivieren müssen. Weitere Informationen finden Sie unter Aktivieren und Deaktivieren von AWS-Regionen im Konto. Bei Verwendung eines regionsübergreifenden Inferenzprofils kann Ihre Inferenzanforderung an eine der Zielregionen im Profil weitergeleitet werden, auch wenn Sie sich in Ihrem Konto nicht für solche Regionen angemeldet haben.
Die Service-Kontrollrichtlinien (SCPs) und IAM-Richtlinien (AWS Identity and Access Management) kontrollieren gemeinsam, wo regionenübergreifende Inferenzen zulässig sind. Mithilfe von Service-Kontrollrichtlinien können Sie steuern, welche Regionen Amazon Bedrock für Inferenzen verwenden kann, und mithilfe von IAM-Richtlinien können Sie definieren, welche Benutzer oder Rollen zum Ausführen von Inferenzen berechtigt sind. Wenn eine Zielregion in einem regionsübergreifenden Inferenzprofil in Ihren Service-Kontrollrichtlinien blockiert ist, schlägt die Anforderung fehl, auch wenn andere Regionen weiterhin zulässig sind. Zum Sicherstellen eines effizienten Betriebs mit regionenübergreifender Inferenz können Sie Ihre SCP- und IAM-Richtlinien aktualisieren, um alle erforderlichen Amazon-Bedrock-Inferenzaktionen (z. B. bedrock:InvokeModel* oder bedrock:CreateModelInvocationJob) in allen Zielregionen zuzulassen, die in Ihrem ausgewählten Inferenzprofil enthalten sind. Weitere Informationen finden Sie unter https://aws.amazon.com/blogs/machine-learning/enable-amazon-bedrock-cross-region-inference-in-multi-account-environments/
