Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Monitoraggio dell’utilizzo dei token contando i token prima di eseguire l’inferenza

Quando esegui l’inferenza del modello, il numero di token inviati nell’input contribuisce al costo della richiesta e alla quota di token che puoi utilizzare al minuto e al giorno. L'CountTokensAPI consente di stimare l'utilizzo dei token prima di inviare richieste ai modelli di base restituendo il numero di token che verrebbe utilizzato se lo stesso input fosse inviato al modello in una richiesta di inferenza.

Il conteggio dei token è specifico per ogni modello, poiché modelli diversi utilizzano strategie di tokenizzazione diverse. Il conteggio dei token restituito da questa operazione corrisponderà al conteggio dei token che verrebbe addebitato se lo stesso input fosse inviato al modello per eseguire l’inferenza.

Puoi usare l’API CountTokens per effettuare quanto segue:

Modelli e Regioni supportati per il conteggio dei token

Per vedere quali modelli supportano il conteggio dei token, visita i modelli a colpo d'occhio e scegli il modello che ti interessa.

Conta i token utilizzando l'endpoint bedrock-runtime

Per contare il numero di token di input in una richiesta di inferenza, invia una CountTokens richiesta con un endpoint di runtime Amazon Bedrock, specifica il modello nell'intestazione e l'input per cui contare i token nel campo. body Il valore del body campo dipende dal fatto che tu stia contando i token di input per una richiesta o per Converse: InvokeModel https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html

Esempio: conta i token per una richiesta bedrock-runtime

Gli esempi in questa sezione consentono di contare i token per una richiesta InvokeModel e Converse con Anthropic Claude 3 Haiku.

Per provare a contare i token per una InvokeModel richiesta, esegui il seguente codice Python:

import boto3
import json

bedrock_runtime = boto3.client("bedrock-runtime")

input_to_count = json.dumps({
    "anthropic_version": "bedrock-2023-05-31",
    "max_tokens": 500,
    "messages": [
        {
            "role": "user",
            "content": "What is the capital of France?"
        }
    ]
})

response = bedrock_runtime.count_tokens(
    modelId="anthropic.claude-3-5-haiku-20241022-v1:0",
    input={
        "invokeModel": {
            "body": input_to_count
        }
    }
)

print(response["inputTokens"])

Per provare a contare i token per una richiesta Converse, esegui il seguente codice Python:

import boto3
import json 

bedrock_runtime = boto3.client("bedrock-runtime")

input_to_count = {
    "messages": [
        {
            "role": "user",
            "content": [
                {
                    "text": "What is the capital of France?"
                }
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "The capital of France is Paris."
                }
            ]
        },
        {
            "role": "user",
            "content": [
                {
                    "text": "What is its population?"
                }
            ]
        }
    ],
    "system": [
        {
            "text": "You're an expert in geography."
        }
    ]
}

response = bedrock_runtime.count_tokens(
    modelId="anthropic.claude-3-5-haiku-20241022-v1:0",
    input={
        "converse": input_to_count
    }
)

print(response["inputTokens"])

Conta i token usando l'endpoint bedrock-mantle

L'bedrock-mantleendpoint espone l'API di Anthropic all'indirizzo. count_tokens /anthropic/v1/messages/count_tokens Usalo per contare i token di input per i modelli Anthropic Claude che non supportano CountTokens onbedrock-runtime, ad esempio, quando il modello viene offerto solo tramite Cross-region inference (CRIS) e quindi non ha un endpoint a cui puntare. bedrock-runtime Region-specific CountTokens Il /anthropic/v1/messages percorso è: modelli non antropici in cambio. Claude-specific bedrock-mantle The model 'X' does not support the '/anthropic/v1/messages' API

L'esempio seguente viene utilizzato curl con una chiave API Amazon Bedrock per contare i token sull'endpoint: bedrock-mantle

curl -X POST https://bedrock-mantle.us-east-1.api.aws/anthropic/v1/messages/count_tokens \
  -H "x-api-key: $BEDROCK_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "anthropic.claude-opus-4-7",
    "messages": [
        {"role": "user", "content": "How many tokens is this prompt?"}
    ]
  }'

La risposta contiene un input_tokens campo il cui valore è il numero di token per l'input fornito.