View a markdown version of this page

Profili di inferenza delle applicazioni - Amazon Bedrock
Come funziona l'attribuzione dei costiVisualizzazione dei costi del profiloConsiderazioni sul dimensionamento

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Profili di inferenza delle applicazioni

I profili di inferenza delle applicazioni (AIP) consentono di attribuire i costi di Amazon Bedrock per applicazione, team o carico di lavoro per le API Amazon Bedrock InvokeModel e Converse sull'endpoint. bedrock-runtime Ogni AIP è specifico del modello e contiene tag di allocazione dei costi che confluiscono in Cost Explorer e AWS Cost and Usage Reports (entrambi classici AWS CUR e CUR 2.0).

Per i carichi di lavoro che utilizzano Responses and Chat Completions sull'endpoint, usa invece. bedrock-mantle Progetti

Importante

I profili di inferenza delle applicazioni non sono supportati dalle API Responses e Chat Completions, su nessuno degli endpoint. Una richiesta alle API che nomina un profilo di inferenza dell'applicazione come destinazione di inferenza viene respinta con un errore 400. Utilizza un AIP con le API InvokeModel e Converse e attribuisci l'utilizzo delle risposte e dei completamenti delle chat con o invece. Attribuzione principale IAM Per-request etichettatura dei metadati I profili di inferenza di sistema, geografici e globali funzionano normalmente con tutte queste API.

Come funziona l'attribuzione dei costi

Un profilo di inferenza applicativa è una risorsa che fa riferimento a uno specifico modello Amazon Bedrock. Crei il profilo, alleghi i tag di allocazione dei costi e quindi utilizzi l'ARN del profilo al posto dell'ID del modello nelle chiamate API. I tag del profilo sono allegati al record di fatturazione di ogni richiesta.

L'esempio seguente mostra come utilizzare un profilo di inferenza dell'applicazione ARN anziché un ID modello quando si chiama l'API Converse:

import boto3

client = boto3.client("bedrock-runtime")

response = client.converse(
    modelId="arn:aws:bedrock:us-east-1:123456789012:inference-profile/my-team-profile",
    messages=[
        {"role": "user", "content": [{"text": "Hello"}]}
    ]
)

Per ulteriori informazioni sulla creazione di profili, vedere. Creare un profilo di inferenza dell’applicazione

Nota

I profili di inferenza applicativa forniscono un importo aggregato fatturato a AWS Cost Explorer e CUR (CUR classici e CUR 2.0). La granulometria migliore viene calcolata per tipo di utilizzo giornaliero; non comportano costi per richiesta. Per informazioni dettagliate sui token per prompt, utilizzateli Per-request etichettatura dei metadati con i log di richiamo del modello.

Visualizzazione dei costi del profilo

Dopo aver creato e taggato i profili, attiva i tag come tag di allocazione dei costi nella console di AWS fatturazione e gestione dei costi:

  1. Apri la console di AWS fatturazione e gestione dei costi.

  2. Nel riquadro di navigazione scegli Tag per l'allocazione dei costi.

  3. Seleziona i tag che hai applicato ai tuoi profili.

  4. Selezionare Attiva.

La visualizzazione dei tag in Cost Explorer e in CUR può richiedere fino a 24 ore dopo l'attivazione. I tag di allocazione dei costi non sono retroattivi. Vengono contrassegnati solo i costi sostenuti dopo l'attivazione. Per ulteriori informazioni, vedere Attivazione dei tag di allocazione dei costi definiti dall'utente.

Dopo l'attivazione dei tag, puoi analizzare i costi di Amazon Bedrock in base al profilo di inferenza dell'applicazione nei seguenti strumenti:

  • AWS Cost Explorer: filtra in base ai tag del profilo per visualizzare l'andamento dei costi nel tempo. Raggruppa per tag per confrontare i costi tra i vari profili.

  • AWS Rapporti su costi e utilizzo: interroga i dati CUR per la suddivisione dei costi delle singole voci per tag di profilo. I tag vengono visualizzati sia nelle esportazioni CUR classiche che in CUR 2.0.

Considerazioni sul dimensionamento

Ogni profilo di inferenza dell'applicazione è legato a un modello specifico. Ciò significa che è necessario un profilo separato per ogni combinazione univoca di modello, team e set di tag. Man mano che le organizzazioni crescono, il numero di profili può aumentare rapidamente, soprattutto quando le nuove versioni del modello richiedono nuovi profili.

Per ridurre la proliferazione dei profili:

  • Consigliato: utilizzalo Progetti per garantire flessibilità e facilità nel monitoraggio dei costi.

  • Contrassegna i tag a livello di team o centro di costo anziché a livello di utente.

  • Per l'attribuzione dei costi per utente senza creare profili aggiuntivi, usa. Attribuzione principale IAM Il monitoraggio principale di IAM funziona automaticamente insieme ai profili di inferenza delle applicazioni e attribuisce automaticamente i costi a livello di identità.

  • Per visualizzare i dettagli relativi ai singoli token anziché i dollari aggregati, utilizzali Per-request etichettatura dei metadati con i log di richiamo del modello. Non necessita di risorse per modello.