翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

推論を実行する前にトークンをカウントしてトークンの使用量をモニタリングする

モデル推論を実行する場合、入力で送信するトークンの数は、リクエストのコストと、1 分間および 1 日に使用できるトークンのクォータに影響します。CountTokens API は、推論リクエストで同じ入力がモデルに送信された場合に使用されるトークン数を返すため、基盤モデルにリクエストを送信する前にトークンの使用量を推定するのに役立ちます。

使用されるトークン化戦略はモデルによって異なるため、トークンのカウントはモデル固有です。このオペレーションによって返されるトークン数は、推論を実行するために同じ入力がモデルに送信された場合に課金対象となるトークン数と一致します。

CountTokens API を使用して、以下のことを実行できます。

トークンのカウントでサポートされているモデルおよびリージョン

トークンカウントをサポートするモデルを確認するには、モデルを一目で確認し、関心のあるモデルを選択してください。

bedrock-runtime エンドポイントを使用してトークンをカウントする

推論リクエスト内の入力トークンの数をカウントするには、Amazon Bedrock ランタイムエンドポイントを使用して CountTokens リクエストを送信します。モデルをヘッダーに指定し、トークンをカウントする入力を body フィールドに指定します。body フィールドの値は、InvokeModel リクエストの入力トークンをカウントするのか、Converse リクエストの入力トークンをカウントするのかによって異なります。

例: bedrock-runtime リクエストのトークンをカウントする

このセクションの例では、Anthropic Claude 3 Haiku を使用して InvokeModel リクエストと Converse リクエストのトークンをカウントします。

InvokeModel リクエストのトークンのカウントを試すには、次の Python コードを実行します。

import boto3
import json

bedrock_runtime = boto3.client("bedrock-runtime")

input_to_count = json.dumps({
    "anthropic_version": "bedrock-2023-05-31",
    "max_tokens": 500,
    "messages": [
        {
            "role": "user",
            "content": "What is the capital of France?"
        }
    ]
})

response = bedrock_runtime.count_tokens(
    modelId="anthropic.claude-3-5-haiku-20241022-v1:0",
    input={
        "invokeModel": {
            "body": input_to_count
        }
    }
)

print(response["inputTokens"])

Converse リクエストのトークンのカウントを試すには、次の Python コードを実行します。

import boto3
import json 

bedrock_runtime = boto3.client("bedrock-runtime")

input_to_count = {
    "messages": [
        {
            "role": "user",
            "content": [
                {
                    "text": "What is the capital of France?"
                }
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "The capital of France is Paris."
                }
            ]
        },
        {
            "role": "user",
            "content": [
                {
                    "text": "What is its population?"
                }
            ]
        }
    ],
    "system": [
        {
            "text": "You're an expert in geography."
        }
    ]
}

response = bedrock_runtime.count_tokens(
    modelId="anthropic.claude-3-5-haiku-20241022-v1:0",
    input={
        "converse": input_to_count
    }
)

print(response["inputTokens"])

bedrock-mantle エンドポイントを使用してトークンをカウントする

bedrock-mantle エンドポイントは、 で Anthropic の count_tokens API を公開します/anthropic/v1/messages/count_tokens。これを使用して、 で CountTokens をサポートしていない Anthropic Claude モデルの入力トークンをカウントしますbedrock-runtime。たとえば、モデルが でクロスリージョン推論 (CRIS) を介してのみ提供されbedrock-runtime、CountTokens がターゲットとするリージョン固有のエンドポイントがない場合などです。/anthropic/v1/messages パスは Claude 固有です。bedrock-mantle戻り値は Anthropic 以外のモデルですThe model 'X' does not support the '/anthropic/v1/messages' API。

次の例では、Amazon Bedrock API キーcurlで を使用してbedrock-mantleエンドポイントのトークンをカウントします。

curl -X POST https://bedrock-mantle.us-east-1.api.aws/anthropic/v1/messages/count_tokens \
  -H "x-api-key: $BEDROCK_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "anthropic.claude-opus-4-7",
    "messages": [
        {"role": "user", "content": "How many tokens is this prompt?"}
    ]
  }'

レスポンスには input_tokensフィールドが含まれており、その値は指定された入力のトークン数です。