本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

在运行推理之前，通过计算词元来监控您的词元使用情况

运行模型推理时，您在输入中发送的词元数量，会计入到请求的成本中，还会计入到您每分钟和每天可以使用的词元配额中。该 CountTokensAPI 可帮助您在向基础模型发送请求之前估算令牌使用情况，方法是返回在推理请求中向模型发送相同输入时将使用的令牌数量。

词元计数特定于模型，因为不同的模型使用不同的词元计算策略。此操作返回的词元计数，与向模型发送相同输入来运行推理时将收费的词元计数相符。

您可以使用 CountTokens API 来执行以下操作：

支持词元计数的模型和区域

下表显示了基础模型对代币计数的支持：

计算请求中的词元

要计算推理请求中输入令牌的数量，请发送带有 Amazon Bedrock 运行时终端节点的CountTokens请求，在标题中指定模型，在字段中指定要计算令牌的输入。body该body字段的值取决于您是在计算输入令牌还是 C onverse 请求InvokeModel的输入标记：

尝试示例

此部分中的示例让您可以对通过 InvokeModel 和 Converse 发出的 Anthropic 和 Claude 3 Haiku 计算词元数量。

要尝试计算InvokeModel请求的令牌，请运行以下 Python 代码：

import boto3
import json

bedrock_runtime = boto3.client("bedrock-runtime")

input_to_count = json.dumps({
    "anthropic_version": "bedrock-2023-05-31",
    "max_tokens": 500,
    "messages": [
        {
            "role": "user",
            "content": "What is the capital of France?"
        }
    ]
})

response = bedrock_runtime.count_tokens(
    modelId="anthropic.claude-3-5-haiku-20241022-v1:0",
    input={
        "invokeModel": {
            "body": input_to_count
        }
    }
)

print(response["inputTokens"])

要尝试计算用于 Converse 请求的词元，请运行以下 Python 代码：

import boto3
import json 

bedrock_runtime = boto3.client("bedrock-runtime")

input_to_count = {
    "messages": [
        {
            "role": "user",
            "content": [
                {
                    "text": "What is the capital of France?"
                }
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "The capital of France is Paris."
                }
            ]
        },
        {
            "role": "user",
            "content": [
                {
                    "text": "What is its population?"
                }
            ]
        }
    ],
    "system": [
        {
            "text": "You're an expert in geography."
        }
    ]
}

response = bedrock_runtime.count_tokens(
    modelId="anthropic.claude-3-5-haiku-20241022-v1:0",
    input={
        "converse": input_to_count
    }
)

print(response["inputTokens"])