As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Per-request marcação de metadados

Os metadados de solicitação permitem que você anexe tags de valor-chave a chamadas de inferência individuais do Amazon Bedrock no endpoint. bedrock-runtime As tags são registradas com a solicitação nos registros de invocação do modelo. Em seguida, você pode atribuir o uso a uma equipe, aplicativo, ambiente, experimento ou qualquer outra dimensão que varie por chamada. Não há nenhum recurso para criar ou configurar com antecedência — cada chamada pode conter um conjunto diferente de tags.

Os metadados de solicitação são compatíveis com as seguintes bedrock-runtimeAPIs:

Como funcionam os metadados da solicitação

Você anexa metadados a uma solicitação de forma diferente, dependendo da API que você chama:

Os metadados da solicitação são registrados nos registros de invocação do modelo somente quando o registro está ativado no local em Região da AWS que a chamada é feita. Para obter instruções de configuração, consulteMonitore a invocação do modelo usando CloudWatch Logs e Amazon S3.

O exemplo a seguir mostra uma InvokeModel solicitação que marca a chamada com um nome de equipe, um ambiente e um identificador de caso de teste:

POST /model/anthropic.claude-3-haiku-20240307-v1:0/invoke HTTP/1.1
Content-Type: application/json
X-Amzn-Bedrock-Request-Metadata: {"team": "orchestrator", "environment": "preview-test", "test_case": "invoke_model_sync"}

{
  "anthropic_version": "bedrock-2023-05-31",
  "max_tokens": 50,
  "messages": [{"role": "user", "content": "Say hello in one word."}]
}

O mesmo cabeçalho é suportado em InvokeModelWithResponseStream:

POST /model/anthropic.claude-3-haiku-20240307-v1:0/invoke-with-response-stream HTTP/1.1
Content-Type: application/json
X-Amzn-Bedrock-Request-Metadata: {"team": "orchestrator", "environment": "preview-test", "test_case": "invoke_model_stream"}

{
  "anthropic_version": "bedrock-2023-05-31",
  "max_tokens": 50,
  "messages": [{"role": "user", "content": "Say hello in one word."}]
}

O exemplo a seguir define metadados de solicitação com o AWS SDK para Python (Boto3) em uma chamada Converse. O SDK inclui os metadados nos SigV4-signed cabeçalhos para você.

import boto3

client = boto3.client("bedrock-runtime")

response = client.converse(
    modelId="us.anthropic.claude-opus-4-8",  # or an inference profile ARN
    messages=[{"role": "user", "content": [{"text": "Summarize this ticket."}]}],
    requestMetadata={
        "user": "alice@example.com",
        "team": "growth",
        "feature": "summarizer",
        "environment": "prod",
    },
)

Limites

Os metadados da solicitação têm os seguintes limites, que se aplicam tanto ao X-Amzn-Bedrock-Request-Metadata cabeçalho (InvokeModel, InvokeModelWithResponseStream) quanto ao campo do requestMetadata corpo (Converse, ConverseStream):

Solicitações que excedem esses limites são rejeitadas com um erro de validação.

Onde os metadados da solicitação aparecem

Os metadados da solicitação aparecem nos registros de invocação do modelo Amazon Bedrock no campo de nível superior. requestMetadata A seguinte entrada de registro abreviada mostra o campo de uma chamada: InvokeModel

{
    "schemaType": "ModelInvocationLog",
    "schemaVersion": "1.0",
    "timestamp": "2024-01-15T12:00:00Z",
    "accountId": "123456789012",
    "region": "us-east-1",
    "requestId": "abcd1234-5678-efgh-ijkl-mnopqrstuvwx",
    "operation": "InvokeModel",
    "modelId": "anthropic.claude-3-haiku-20240307-v1:0",
    "requestMetadata": {
        "team": "orchestrator",
        "environment": "preview-test",
        "test_case": "invoke_model_sync"
    },
    "input":  { "...": "..." },
    "output": { "...": "..." }
}

Você pode filtrar e agregar registros por campos de metadados no Amazon CloudWatch Logs Insights, nas ferramentas de consulta do Amazon S3, como o Amazon Athena, ou em qualquer outro sistema que leia registros de invocação.

Obtendo o custo de seus registros

Os metadados da solicitação e as contagens de tokens são gravados nos registros de invocação do modelo, não na fatura. Há duas maneiras de transformá-las em custo.

Considerações