Profili di inferenza delle applicazioni

I profili di inferenza dell'applicazione (AIPs) consentono di attribuire i costi di Amazon Bedrock per applicazione, team o carico di lavoro per Amazon Bedrock InvokeModele Converse APIs sull'endpoint. bedrock-runtime Ogni AIP è specifico del modello e contiene tag di allocazione dei costi che confluiscono in Cost Explorer e AWS AWS Cost and Usage Reports (CUR 2.0).

Per i carichi di lavoro che utilizzano Responses e Chat Completions sull'endpoint, utilizza invece. bedrock-mantle Progetti

Come funziona l'attribuzione dei costi

Un profilo di inferenza dell'applicazione è una risorsa che fa riferimento a uno specifico modello Amazon Bedrock. È necessario creare il profilo, allegare i tag di allocazione dei costi e quindi utilizzare l'ARN del profilo al posto dell'ID del modello nelle chiamate API. I tag del profilo sono allegati al record di fatturazione per ogni richiesta.

L'esempio seguente mostra come utilizzare un profilo di inferenza dell'applicazione ARN anziché un ID modello quando si chiama l'API Converse:

import boto3

client = boto3.client("bedrock-runtime")

response = client.converse(
    modelId="arn:aws:bedrock:us-east-1:123456789012:inference-profile/my-team-profile",
    messages=[
        {"role": "user", "content": [{"text": "Hello"}]}
    ]
)

Per ulteriori informazioni sulla creazione di profili, consulta. Creare un profilo di inferenza dell’applicazione

Visualizzazione dei costi dei profili

Dopo aver creato e taggato i tuoi profili, attiva i tag come tag di allocazione dei costi nella console AWS Billing and Cost Management:

I tag possono impiegare fino a 24 ore per apparire in Cost Explorer e CUR dopo l'attivazione. I tag di allocazione dei costi non sono retroattivi. Vengono contrassegnati solo i costi sostenuti dopo l'attivazione. Per ulteriori informazioni, vedere Attivazione dei tag di allocazione dei costi definiti dall'utente.

Dopo l'attivazione del tag, puoi analizzare i costi di Amazon Bedrock in base al profilo di inferenza dell'applicazione nei seguenti strumenti:

Considerazioni sul dimensionamento

Ogni profilo di inferenza dell'applicazione è legato a un modello specifico. Ciò significa che è necessario un profilo separato per ogni combinazione unica di modello, team e set di tag. Man mano che le organizzazioni crescono, il numero di profili può aumentare rapidamente, soprattutto quando le nuove versioni del modello richiedono nuovi profili.

Per ridurre la proliferazione dei profili: