기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

추론을 실행하기 전에 토큰을 계산하여 토큰 사용량 모니터링

모델 추론을 실행하면 입력에서 전송하는 토큰 수가 요청 비용과 분당 및 하루에 사용할 수 있는 토큰 할당량에 영향을 미칩니다. CountTokens API를 사용하면 추론 요청에서 동일한 입력이 모델에 전송된 경우 사용할 토큰 수를 반환하여 파운데이션 모델에 요청을 보내기 전에 토큰 사용량을 추정할 수 있습니다.

토큰 계산은 모델별로 다릅니다. 모델마다 토큰화 전략이 다르기 때문입니다. 이 작업에서 반환되는 토큰 수는 추론을 실행하기 위해 동일한 입력이 모델에 전송된 경우 청구되는 토큰 수와 일치합니다.

CountTokens API를 사용하여 다음을 수행할 수 있습니다.

토큰 계산에 지원되는 모델 및 리전

토큰 계산을 지원하는 모델을 확인하려면 모델을 한 눈에 보고 관심 있는 모델을 선택하세요.

bedrock-runtime 엔드포인트를 사용하여 토큰 수 계산

추론 요청의 입력 토큰 수를 계산하려면 Amazon Bedrock 런타임 엔드포인트를 사용하여 CountTokens 요청을 보냅니다. 헤더에 모델을 지정하고 body 필드에 대한 토큰을 계산할 입력을 지정합니다. body 필드 값은 InvokeModel 또는 Converse 요청에 대한 입력 토큰을 계산하는지 여부에 따라 달라집니다.

예: bedrock-runtime 요청에 대한 토큰 수 계산

이 섹션의 예제는 Anthropic Claude 3 Haiku를 사용하여 InvokeModel 및 Converse 요청에 대한 토큰을 계산할 수 있도록 합니다.

InvokeModel 요청에 대한 토큰 수 계산을 시도하려면 다음 Python 코드를 실행합니다.

import boto3
import json

bedrock_runtime = boto3.client("bedrock-runtime")

input_to_count = json.dumps({
    "anthropic_version": "bedrock-2023-05-31",
    "max_tokens": 500,
    "messages": [
        {
            "role": "user",
            "content": "What is the capital of France?"
        }
    ]
})

response = bedrock_runtime.count_tokens(
    modelId="anthropic.claude-3-5-haiku-20241022-v1:0",
    input={
        "invokeModel": {
            "body": input_to_count
        }
    }
)

print(response["inputTokens"])

Converse 요청에 대한 토큰 수 계산을 시도하려면 다음 Python 코드를 실행합니다.

import boto3
import json 

bedrock_runtime = boto3.client("bedrock-runtime")

input_to_count = {
    "messages": [
        {
            "role": "user",
            "content": [
                {
                    "text": "What is the capital of France?"
                }
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "The capital of France is Paris."
                }
            ]
        },
        {
            "role": "user",
            "content": [
                {
                    "text": "What is its population?"
                }
            ]
        }
    ],
    "system": [
        {
            "text": "You're an expert in geography."
        }
    ]
}

response = bedrock_runtime.count_tokens(
    modelId="anthropic.claude-3-5-haiku-20241022-v1:0",
    input={
        "converse": input_to_count
    }
)

print(response["inputTokens"])

bedrock-mantle 엔드포인트를 사용하여 토큰 계산

bedrock-mantle 엔드포인트는에서 Anthropic의 count_tokens API를 노출합니다/anthropic/v1/messages/count_tokens. 이를 사용하여 CountTokens on을 지원하지 않는 Anthropic Claude 모델의 입력 토큰 수를 계산합니다bedrock-runtime. 예를 들어, 모델이의 교차 리전 추론(CRIS)을 통해서만 제공bedrock-runtime되므로 CountTokens가 대상으로 지정할 리전별 엔드포인트가 없는 경우입니다. /anthropic/v1/messages 경로는 Claude별이며 bedrock-mantle 반환 시 Anthropic 모델이 아닙니다The model 'X' does not support the '/anthropic/v1/messages' API.

다음 예제에서는를 Amazon Bedrock API 키curl와 함께 사용하여 bedrock-mantle 엔드포인트의 토큰 수를 계산합니다.

curl -X POST https://bedrock-mantle.us-east-1.api.aws/anthropic/v1/messages/count_tokens \
  -H "x-api-key: $BEDROCK_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "anthropic.claude-opus-4-7",
    "messages": [
        {"role": "user", "content": "How many tokens is this prompt?"}
    ]
  }'

응답에는 값이 제공된 입력의 토큰 수인 input_tokens 필드가 포함됩니다.