기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

추론을 실행하기 전에 토큰을 계산하여 토큰 사용량 모니터링

모델 추론을 실행하면 입력에서 전송하는 토큰 수가 요청 비용과 분당 및 하루에 사용할 수 있는 토큰 할당량에 영향을 미칩니다. CountTokens API를 사용하면 추론 요청에서 동일한 입력이 모델에 전송된 경우 사용할 토큰 수를 반환하여 파운데이션 모델에 요청을 보내기 전에 토큰 사용량을 추정할 수 있습니다.

토큰 계산은 모델별로 다릅니다. 모델마다 토큰화 전략이 다르기 때문입니다. 이 작업에서 반환되는 토큰 수는 추론을 실행하기 위해 동일한 입력이 모델에 전송된 경우 청구되는 토큰 수와 일치합니다.

CountTokens API를 사용하여 다음을 수행할 수 있습니다.

토큰 계산에 지원되는 모델 및 리전

다음 표에는 토큰 계산에 대한 파운데이션 모델 지원이 나와 있습니다.

요청의 토큰 수 계산

추론 요청의 입력 토큰 수를 계산하려면 Amazon Bedrock 런타임 엔드포인트를 사용하여 CountTokens 요청을 보냅니다. 헤더에 모델을 지정하고 body 필드에 대한 토큰을 계산할 입력을 지정합니다. body 필드 값은 InvokeModel 또는 Converse 요청에 대한 입력 토큰을 계산하는지 여부에 따라 달라집니다.

예제 시도

이 섹션의 예제는 Anthropic Claude 3 Haiku를 사용하여 InvokeModel 및 Converse 요청에 대한 토큰을 계산할 수 있도록 합니다.

InvokeModel 요청에 대한 토큰 수 계산을 시도하려면 다음 Python 코드를 실행합니다.

import boto3
import json

bedrock_runtime = boto3.client("bedrock-runtime")

input_to_count = json.dumps({
    "anthropic_version": "bedrock-2023-05-31",
    "max_tokens": 500,
    "messages": [
        {
            "role": "user",
            "content": "What is the capital of France?"
        }
    ]
})

response = bedrock_runtime.count_tokens(
    modelId="anthropic.claude-3-5-haiku-20241022-v1:0",
    input={
        "invokeModel": {
            "body": input_to_count
        }
    }
)

print(response["inputTokens"])

Converse 요청에 대한 토큰 수 계산을 시도하려면 다음 Python 코드를 실행합니다.

import boto3
import json 

bedrock_runtime = boto3.client("bedrock-runtime")

input_to_count = {
    "messages": [
        {
            "role": "user",
            "content": [
                {
                    "text": "What is the capital of France?"
                }
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "The capital of France is Paris."
                }
            ]
        },
        {
            "role": "user",
            "content": [
                {
                    "text": "What is its population?"
                }
            ]
        }
    ],
    "system": [
        {
            "text": "You're an expert in geography."
        }
    ]
}

response = bedrock_runtime.count_tokens(
    modelId="anthropic.claude-3-5-haiku-20241022-v1:0",
    input={
        "converse": input_to_count
    }
)

print(response["inputTokens"])