View a markdown version of this page

Inferenzanfragen stellen - Amazon Bedrock

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Inferenzanfragen stellen

Inferenz ist der Prozess der Generierung einer Ausgabe aus einer Eingabe, die für ein Modell bereitgestellt wird. Bevor Sie eine Inferenzanforderung an Amazon Bedrock senden können, müssen Sie Ihrer Rolle erlauben, die API-Aktionen für den Modellaufruf auszuführen. Das hängt von dem Endpunkt ab, den Sie verwenden.

bedrock-mantle-Endpunkt

Wenn an Ihre Rolle die AmazonBedrockMantleInferenceAccess AWS verwaltete Richtlinie angehängt ist, können Sie diesen Abschnitt überspringen. Fügen Sie andernfalls die folgenden Berechtigungen hinzu, um Rückschlüsse über den bedrock-mantle Endpunkt zu ermöglichen (Responses API, Chat Completions, Messages API):

{
    "Version": "2012-10-17", 
    "Statement": [
        {
            "Sid": "MantleInferencePermissions",
            "Effect": "Allow",
            "Action": [
                "bedrock-mantle:CreateInference",
                "bedrock-mantle:GetProject",
                "bedrock-mantle:ListProjects",
                "bedrock-mantle:ListTagsForResources"
            ],
            "Resource": "*"
        }
    ]
}

bedrock-runtime-Endpunkt

Wenn an Ihre Rolle die AmazonBedrockFullAccess AWS verwaltete Richtlinie angehängt ist, können Sie diesen Abschnitt überspringen. Fügen Sie andernfalls die folgenden Berechtigungen hinzu, um Inferenzen über den bedrock-runtime Endpunkt (Converse- und Invoke-APIs) zu ermöglichen:

{
    "Version": "2012-10-17", 
    "Statement": [
        {
            "Sid": "ModelInvocationPermissions",
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel",
                "bedrock:InvokeModelWithResponseStream",
                "bedrock:GetInferenceProfile",
                "bedrock:ListInferenceProfiles",
                "bedrock:RenderPrompt",
                "bedrock:GetCustomModel",
                "bedrock:ListCustomModels",
                "bedrock:GetImportedModel",
                "bedrock:ListImportedModels",
                "bedrock:GetProvisionedModelThroughput",
                "bedrock:ListProvisionedModelThroughputs",
                "bedrock:GetGuardrail",
                "bedrock:ListGuardrails",
                "bedrock:ApplyGuardrail"
            ],
            "Resource": "*"
        }
    ]
}

Eine detaillierte Aufschlüsselung der einzelnen Berechtigungen finden Sie unter. Voraussetzungen für die Ausführung der Modellinferenz

Themen