So richten Sie eine Modellaufrufressource mithilfe von Inferenzprofilen ein - Amazon Bedrock

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

So richten Sie eine Modellaufrufressource mithilfe von Inferenzprofilen ein

Inferenzprofile sind eine Ressource in Amazon Bedrock, die ein Modell sowie eine oder mehrere Regionen definieren, an die das Inferenzprofil Modellaufrufe weiterleiten kann. Sie können Inferenzprofile für folgende Aufgaben verwenden:

  • Nutzungsmetriken verfolgen – Richten CloudWatch-Protokolle ein und senden Sie Modellaufrufanforderungen mit einem Anwendungsinferenzprofil, um Nutzungsmetriken für den Modellaufruf zu sammeln. Sie können diese Metriken überprüfen, wenn Sie Informationen zum Inferenzprofil anzeigen, und diese als Grundlage für Ihre Entscheidungen verwenden. Weitere Informationen zum Einrichten von Protokollen in CloudWatch finden Sie unter Überwachen Sie den Modellaufruf mithilfe von CloudWatch Logs und Amazon S3.

  • Verwenden von Tags zur Kostenüberwachung – Fügen Sie Tags an ein Anwendungsinferenzprofil an, um die Kosten nachzuverfolgen, wenn Sie On-Demand-Modellaufrufanfragen senden. Weitere Informationen zur Verwendung von Tags für die Kostenzuordnung finden Sie unter Verwenden von AWS-Kostenzuordnungs-Tags im AWS Billing-Benutzerhandbuch.

  • Regionalübergreifende Inferenz – Erhöhen Sie Ihren Durchsatz, indem Sie ein Inferenzprofil verwenden, das mehrere AWS-Regionen umfasst. Das Inferenzprofil verteilt Modellaufrufanforderungen auf diese Regionen, um Durchsatz und Leistung zu erhöhen. Weitere Informationen zur regionsübergreifenden Inferenz finden Sie unter Erhöhen des Durchsatzes mit regionenübergreifender Inferenz.

Amazon Bedrock bietet die folgenden Arten von Inferenzprofilen:

  • Regionsübergreifende (systemdefinierte) Inferenzprofile – Inferenzprofile, die in Amazon Bedrock vordefiniert sind und mehrere Regionen umfassen, an die Anfragen für ein Modell weitergeleitet werden können.

  • Anwendungsinferenzprofile – Inferenzprofile, die ein Benutzer erstellt, um Kosten und Modellnutzung zu verfolgen. Sie können ein Inferenzprofil erstellen, das Modellaufrufanforderungen an eine Region oder mehrere Regionen weiterleitet:

    • Um ein Inferenzprofil zu erstellen, das Kosten und Nutzung für ein Modell in einer einzelnen Region verfolgt, geben Sie das Basismodell in der Region an, an die das Inferenzprofil Anfragen weiterleiten soll.

    • Um ein Inferenzprofil zu erstellen, das Kosten und Nutzung für ein Modell über mehrere Regionen hinweg verfolgt, geben Sie das regionsübergreifende (systemdefinierte) Inferenzprofil an, das das Modell und die Regionen definiert, an die das Inferenzprofil Anfragen weiterleiten soll.

Sie können Inferenzprofile mit den folgenden Features verwenden, um Anfragen an mehrere Regionen weiterzuleiten und um die Nutzung und Kosten von Aufrufanforderungen zu verfolgen, die mit diesen Features gestellt wurden:

Der Preis für die Verwendung eines Inferenzprofils wird auf Grundlage des Modellpreises in der Region berechnet, aus der Sie das Inferenzprofil aufrufen. Weitere Informationen zur Preisgestaltung finden Sie unter Amazon Bedrock – Preise.

Weitere Informationen zum Durchsatz, den ein regionsübergreifendes Inferenzprofil bieten kann, finden Sie unter Erhöhen des Durchsatzes mit regionenübergreifender Inferenz.

Themen