View a markdown version of this page

Anwendungsinferenzprofile - Amazon Bedrock
Wie funktioniert die KostenzuweisungKosten des Profils anzeigenÜberlegungen zur Skalierung

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Anwendungsinferenzprofile

Mithilfe von Anwendungsinferenzprofilen (AIPs) können Sie die Amazon Bedrock-Kosten für die Amazon Bedrock- InvokeModel und https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html Converse-APIs auf dem Endpunkt nach Anwendung, Team oder Arbeitslast zuordnen. bedrock-runtime Jedes AIP ist modellspezifisch und enthält Tags zur Kostenzuweisung, die in den Cost Explorer und die AWS AWS Kosten- und Nutzungsberichte (sowohl klassisch CUR als auch CUR 2.0) fließen.

Verwenden Sie stattdessen für Workloads, die Antworten und Chat-Abschlüsse auf dem Endpunkt verwenden. bedrock-mantle Projekte

Wichtig

Anwendungsinferenzprofile werden von den APIs für Antworten und Chat-Abschlüsse auf beiden Endpunkten nicht unterstützt. Eine Anfrage an diese APIs, die ein Anwendungsinferenzprofil als Inferenzziel benennt, wird mit einem Fehler 400 abgelehnt. Verwenden Sie ein AIP mit den APIs InvokeModel und Converse und ordnen Sie die Nutzung von Antworten und Chat-Abschlüssen stattdessen mit oder zu. Hauptzuweisung nach IAM Per-request Tagging von Metadaten System-, geografische und globale Inferenzprofile funktionieren normal mit all diesen APIs.

Wie funktioniert die Kostenzuweisung

Ein Anwendungsinferenzprofil ist eine Ressource, die auf ein bestimmtes Amazon Bedrock-Modell verweist. Sie erstellen das Profil, fügen Kostenzuordnungs-Tags hinzu und verwenden dann den Profil-ARN anstelle der Modell-ID in Ihren API-Aufrufen. Die Tags des Profils werden für jede Anfrage an den Rechnungsdatensatz angehängt.

Das folgende Beispiel zeigt, wie beim Aufrufen der Converse-API ein Anwendungsinferenzprofil-ARN anstelle einer Modell-ID verwendet wird:

import boto3

client = boto3.client("bedrock-runtime")

response = client.converse(
    modelId="arn:aws:bedrock:us-east-1:123456789012:inference-profile/my-team-profile",
    messages=[
        {"role": "user", "content": [{"text": "Hello"}]}
    ]
)

Weitere Informationen zum Erstellen von Profilen finden Sie unter. So erstellen Sie ein Anwendungsinferenzprofil

Anmerkung

Anwendungsinferenzprofile liefern aggregierte fakturierte Dollars an AWS Cost Explorer und CUR (klassische CUR und CUR 2.0). Die beste Körnung ist pro Nutzungsart und Tag erhältlich. Die Kosten werden nicht pro Anfrage berechnet. Für Token-Details pro Aufforderung verwenden Sie sie Per-request Tagging von Metadaten zusammen mit Ihren Modellaufrufprotokollen.

Kosten des Profils anzeigen

Nachdem Sie Ihre Profile erstellt und mit Tags versehen haben, aktivieren Sie die Stichwörter in der AWS Fakturierungs- und Kostenmanagement-Konsole als Kostenzuordnungs-Tags:

  1. Öffnen Sie die AWS Rechnungs- und Kostenmanagement-Konsole.

  2. Wählen Sie im Navigationsbereich die Option Cost Allocation Tags (Kostenzuordnungs-Tags) aus.

  3. Wählen Sie die Tags aus, die Sie Ihren Profilen zugewiesen haben.

  4. Wählen Sie Aktivieren.

Es kann bis zu 24 Stunden dauern, bis Stichwörter nach der Aktivierung im Cost Explorer und CUR angezeigt werden. Tags für die Kostenzuweisung sind nicht rückwirkend gültig. Nur Kosten, die nach der Aktivierung anfallen, werden gekennzeichnet. Weitere Informationen finden Sie unter Benutzerdefinierte Kostenzuordnungs-Tags https://docs.aws.amazon.com/awsaccountbilling/latest/aboutv2/activating-tags.html aktivieren.

Nach der Tag-Aktivierung können Sie die Amazon Bedrock-Kosten anhand des Anwendungsinferenzprofils in den folgenden Tools analysieren:

  • AWS Cost Explorer — Filtern Sie nach Profil-Tags, um Kostentrends im Zeitverlauf anzuzeigen. Gruppieren Sie nach Tags, um die Kosten profilübergreifend zu vergleichen.

  • AWS Kosten- und Nutzungsberichte — Fragen Sie CUR-Daten nach Kostenaufschlüsselungen für Einzelposten nach Profil-Tag ab. Stichwörter werden sowohl in klassischen CUR- als auch in CUR 2.0-Exporten angezeigt.

Überlegungen zur Skalierung

Jedes Anwendungsinferenzprofil ist an ein bestimmtes Modell gebunden. Das bedeutet, dass Sie für jede einzigartige Kombination aus Modell, Team und Tag-Set ein separates Profil benötigen. Wenn Unternehmen wachsen, kann die Anzahl der Profile schnell ansteigen, insbesondere wenn neue Modellversionen neue Profile erfordern.

So reduzieren Sie die Profilverbreitung:

  • Empfohlen: Verwenden Sie diese Projekte Option, um die Kosten flexibel und einfach zu verfolgen.

  • Taggen Sie auf Team- oder Kostenstellenebene und nicht pro Benutzer.

  • Wenn Sie die Kosten pro Benutzer zuordnen möchten, ohne zusätzliche Profile zu erstellen, verwenden Sie. Hauptzuweisung nach IAM Das IAM-Principal-Tracking funktioniert zusammen mit Anwendungsinferenzprofilen und ordnet die Kosten automatisch auf Identitätsebene zu.

  • Verwenden Sie diese Option zusammen mit Ihren Modellaufrufprotokollen, um Token-Details pro Aufforderung statt aggregierter Dollars Per-request Tagging von Metadaten zu erhalten. Es werden keine Ressourcen pro Modell benötigt.