本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

在运行推理之前，通过计算词元来监控您的词元使用情况

运行模型推理时，您在输入中发送的词元数量，会计入到请求的成本中，还会计入到您每分钟和每天可以使用的词元配额中。该 CountTokensAPI 可帮助您在向基础模型发送请求之前估算令牌使用情况，方法是返回在推理请求中向模型发送相同输入时将使用的令牌数量。

词元计数特定于模型，因为不同的模型使用不同的词元计算策略。此操作返回的词元计数，与向模型发送相同输入来运行推理时将收费的词元计数相符。

您可以使用 CountTokens API 来执行以下操作：

支持词元计数的模型和区域

要查看哪些型号支持代币计数，请快速访问模型并选择您感兴趣的型号。

使用基岩运行时端点对代币进行计数

要计算推理请求中输入令牌的数量，请发送带有 Amazon Bedrock 运行时终端节点的CountTokens请求，在标题中指定模型，在字段中指定要计算令牌的输入。body该body字段的值取决于您是在计算输入令牌还是 C onverse 请求InvokeModel的输入标记：

示例：计算基岩运行时请求的代币

此部分中的示例让您可以对通过 InvokeModel 和 Converse 发出的 Anthropic 和 Claude 3 Haiku 计算词元数量。

要尝试计算InvokeModel请求的令牌，请运行以下 Python 代码：

import boto3
import json

bedrock_runtime = boto3.client("bedrock-runtime")

input_to_count = json.dumps({
    "anthropic_version": "bedrock-2023-05-31",
    "max_tokens": 500,
    "messages": [
        {
            "role": "user",
            "content": "What is the capital of France?"
        }
    ]
})

response = bedrock_runtime.count_tokens(
    modelId="anthropic.claude-3-5-haiku-20241022-v1:0",
    input={
        "invokeModel": {
            "body": input_to_count
        }
    }
)

print(response["inputTokens"])

要尝试计算用于 Converse 请求的词元，请运行以下 Python 代码：

import boto3
import json 

bedrock_runtime = boto3.client("bedrock-runtime")

input_to_count = {
    "messages": [
        {
            "role": "user",
            "content": [
                {
                    "text": "What is the capital of France?"
                }
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "The capital of France is Paris."
                }
            ]
        },
        {
            "role": "user",
            "content": [
                {
                    "text": "What is its population?"
                }
            ]
        }
    ],
    "system": [
        {
            "text": "You're an expert in geography."
        }
    ]
}

response = bedrock_runtime.count_tokens(
    modelId="anthropic.claude-3-5-haiku-20241022-v1:0",
    input={
        "converse": input_to_count
    }
)

print(response["inputTokens"])

使用基岩地幔端点计算代币

bedrock-mantle端点在以下位置公开了 Anthropic 的 count_tokens API。/anthropic/v1/messages/count_tokens使用它来计算不支持CountTokens的 Anthropic Claude 模型的输入标记，例如，当模型仅通过跨区域推理 (CRIS) 提供bedrock-runtime且没有 Region-specific 目标端点时。bedrock-runtime CountTokens路/anthropic/v1/messages径是 Claude-specific；非人类模型回归。bedrock-mantle The model 'X' does not support the '/anthropic/v1/messages' API

以下示例使用curl与 Amazon Bedrock API 密钥一起计算bedrock-mantle终端节点上的令牌数量：

curl -X POST https://bedrock-mantle.us-east-1.api.aws/anthropic/v1/messages/count_tokens \
  -H "x-api-key: $BEDROCK_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "anthropic.claude-opus-4-7",
    "messages": [
        {"role": "user", "content": "How many tokens is this prompt?"}
    ]
  }'

响应包含一个input_tokens字段，其值是所提供输入的令牌计数。