Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Per-request Tagging von Metadaten

Mit Metadaten anfordern können Sie Key-Value-Tags an einzelne Amazon Bedrock-Inferenzaufrufe auf dem Endpunkt anhängen. bedrock-runtime Die Tags werden zusammen mit der Anfrage in Ihren Modellaufrufprotokollen aufgezeichnet. Anschließend können Sie die Nutzung einem Team, einer Anwendung, einer Umgebung, einem Experiment oder einer anderen Dimension zuordnen, die je nach Anruf unterschiedlich ist. Es gibt keine Ressource, die im Voraus erstellt oder konfiguriert werden müsste — jeder Anruf kann einen anderen Satz von Tags enthalten.

Die Anforderung von Metadaten wird auf den folgenden bedrock-runtimeAPIs unterstützt:

So funktionieren Metadaten anfordern

Je nachdem, welche API Sie aufrufen, hängen Sie Metadaten unterschiedlich an eine Anfrage an:

Anforderungsmetadaten werden nur dann in Ihren Modellaufrufprotokollen aufgezeichnet, wenn die Protokollierung an dem Ort aktiviert ist, an AWS-Region dem der Anruf getätigt wird. Anweisungen zur Einrichtung finden Sie unterÜberwachen Sie den Modellaufruf mithilfe von CloudWatch Logs und Amazon S3.

Das folgende Beispiel zeigt eine InvokeModel Anfrage, die den Anruf mit einem Teamnamen, einer Umgebung und einer Testfall-ID kennzeichnet:

POST /model/anthropic.claude-3-haiku-20240307-v1:0/invoke HTTP/1.1
Content-Type: application/json
X-Amzn-Bedrock-Request-Metadata: {"team": "orchestrator", "environment": "preview-test", "test_case": "invoke_model_sync"}

{
  "anthropic_version": "bedrock-2023-05-31",
  "max_tokens": 50,
  "messages": [{"role": "user", "content": "Say hello in one word."}]
}

Derselbe Header wird unterstützt auf InvokeModelWithResponseStream:

POST /model/anthropic.claude-3-haiku-20240307-v1:0/invoke-with-response-stream HTTP/1.1
Content-Type: application/json
X-Amzn-Bedrock-Request-Metadata: {"team": "orchestrator", "environment": "preview-test", "test_case": "invoke_model_stream"}

{
  "anthropic_version": "bedrock-2023-05-31",
  "max_tokens": 50,
  "messages": [{"role": "user", "content": "Say hello in one word."}]
}

Im folgenden Beispiel werden Anforderungsmetadaten mit dem AWS SDK for Python (Boto3) bei einem Converse-Aufruf festgelegt. Das SDK schließt die Metadaten für Sie in die SigV4-signed Header ein.

import boto3

client = boto3.client("bedrock-runtime")

response = client.converse(
    modelId="us.anthropic.claude-opus-4-8",  # or an inference profile ARN
    messages=[{"role": "user", "content": [{"text": "Summarize this ticket."}]}],
    requestMetadata={
        "user": "alice@example.com",
        "team": "growth",
        "feature": "summarizer",
        "environment": "prod",
    },
)

Einschränkungen

Für die Anforderung von Metadaten gelten die folgenden Beschränkungen, die sowohl für den X-Amzn-Bedrock-Request-Metadata Header (InvokeModel, InvokeModelWithResponseStream) als auch für das requestMetadata Textfeld (Converse, ConverseStream) gelten:

Anfragen, die diese Grenzwerte überschreiten, werden mit einem Validierungsfehler abgelehnt.

Wo die Metadaten der Anfrage angezeigt werden

Metadaten anfordern werden in Ihren Amazon Bedrock-Modellaufrufprotokollen unter dem Feld der obersten requestMetadata Ebene angezeigt. Der folgende abgekürzte Protokolleintrag zeigt das Feld für einen Anruf: InvokeModel

{
    "schemaType": "ModelInvocationLog",
    "schemaVersion": "1.0",
    "timestamp": "2024-01-15T12:00:00Z",
    "accountId": "123456789012",
    "region": "us-east-1",
    "requestId": "abcd1234-5678-efgh-ijkl-mnopqrstuvwx",
    "operation": "InvokeModel",
    "modelId": "anthropic.claude-3-haiku-20240307-v1:0",
    "requestMetadata": {
        "team": "orchestrator",
        "environment": "preview-test",
        "test_case": "invoke_model_sync"
    },
    "input":  { "...": "..." },
    "output": { "...": "..." }
}

Sie können Protokolle in Amazon Logs Insights, Amazon S3-Abfragetools wie Amazon Athena oder jedem anderen System, das CloudWatch Aufrufprotokolle liest, nach Metadatenfeldern filtern und aggregieren.

Kosten aus Ihren Protokollen ableiten

Anforderungsmetadaten und die Anzahl der Tokens werden in Ihre Modellaufrufprotokolle geschrieben, nicht in Ihre Rechnung. Es gibt zwei Möglichkeiten, sie in Kosten umzuwandeln.

Überlegungen