기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

요청별 메타데이터 태그 지정

요청 메타데이터를 사용하면 bedrock-runtime 엔드포인트의 개별 Amazon Bedrock 추론 호출에 키-값 태그를 연결할 수 있습니다. 태그는 요청과 함께 모델 호출 로그에 기록됩니다. 그런 다음 팀, 애플리케이션, 환경, 실험 또는 호출마다 다른 기타 차원에 사용량을 속성으로 지정할 수 있습니다. 미리 생성하거나 구성할 리소스는 없습니다. 각 호출은 다른 태그 세트를 전달할 수 있습니다.

요청 메타데이터는 다음 bedrock-runtime APIs

요청 메타데이터 작동 방식

호출하는 API에 따라 요청에 메타데이터를 다르게 연결합니다.

요청 메타데이터는 호출 AWS 리전 이 이루어진에서 로깅이 활성화된 경우에만 모델 호출 로그에 기록됩니다. 설정 지침은 단원을 참조하십시오CloudWatch Logs 및 Amazon S3를 사용하여 모델 간접 호출 모니터링.

다음 예제는 팀 이름, 환경 및 테스트 사례 식별자로 호출에 태그를 지정하는 InvokeModel 요청을 보여줍니다.

POST /model/anthropic.claude-3-haiku-20240307-v1:0/invoke HTTP/1.1
Content-Type: application/json
X-Amzn-Bedrock-Request-Metadata: {"team": "orchestrator", "environment": "preview-test", "test_case": "invoke_model_sync"}

{
  "anthropic_version": "bedrock-2023-05-31",
  "max_tokens": 50,
  "messages": [{"role": "user", "content": "Say hello in one word."}]
}

InvokeModelWithResponseStream에서 동일한 헤더가 지원됩니다.

POST /model/anthropic.claude-3-haiku-20240307-v1:0/invoke-with-response-stream HTTP/1.1
Content-Type: application/json
X-Amzn-Bedrock-Request-Metadata: {"team": "orchestrator", "environment": "preview-test", "test_case": "invoke_model_stream"}

{
  "anthropic_version": "bedrock-2023-05-31",
  "max_tokens": 50,
  "messages": [{"role": "user", "content": "Say hello in one word."}]
}

다음 예제에서는 Converse 호출에서 AWS SDK for Python(Boto3)을 사용하여 요청 메타데이터를 설정합니다. SDK에는 SigV4-signed 헤더에 메타데이터가 포함되어 있습니다.

import boto3

client = boto3.client("bedrock-runtime")

response = client.converse(
    modelId="us.anthropic.claude-opus-4-8",  # or an inference profile ARN
    messages=[{"role": "user", "content": [{"text": "Summarize this ticket."}]}],
    requestMetadata={
        "user": "alice@example.com",
        "team": "growth",
        "feature": "summarizer",
        "environment": "prod",
    },
)

한도

요청 메타데이터에는 X-Amzn-Bedrock-Request-Metadata 헤더(InvokeModel, InvokeModelWithResponseStream)와 requestMetadata 본문 필드(Converse, ConverseStream) 모두에 적용되는 다음과 같은 제한이 있습니다.

이러한 제한을 초과하는 요청은 검증 오류와 함께 거부됩니다.

요청 메타데이터가 나타나는 위치

요청 메타데이터는 최상위 requestMetadata 필드 아래의 Amazon Bedrock 모델 호출 로그에 표시됩니다. 다음 약식 로그 항목은 InvokeModel 호출의 필드를 보여줍니다.

{
    "schemaType": "ModelInvocationLog",
    "schemaVersion": "1.0",
    "timestamp": "2024-01-15T12:00:00Z",
    "accountId": "123456789012",
    "region": "us-east-1",
    "requestId": "abcd1234-5678-efgh-ijkl-mnopqrstuvwx",
    "operation": "InvokeModel",
    "modelId": "anthropic.claude-3-haiku-20240307-v1:0",
    "requestMetadata": {
        "team": "orchestrator",
        "environment": "preview-test",
        "test_case": "invoke_model_sync"
    },
    "input":  { "...": "..." },
    "output": { "...": "..." }
}

Amazon CloudWatch Logs Insights, Amazon Athena와 같은 Amazon S3 쿼리 도구 또는 호출 로그를 읽는 기타 시스템의 메타데이터 필드를 기준으로 로그를 필터링하고 집계할 수 있습니다.

로그에서 비용 가져오기

요청 메타데이터 및 토큰 수는 청구서가 아닌 모델 호출 로그에 기록됩니다. 두 가지 방법으로 비용을 절감할 수 있습니다.

고려 사항