Fazendo solicitações de inferência

Inferência é o processo de gerar uma saída a partir de uma entrada fornecida a um modelo. Antes de enviar uma solicitação de inferência para o Amazon Bedrock, você precisa permitir que sua função execute as ações da API de invocação do modelo. Isso depende do endpoint que você está usando.

Endpoint do bedrock-mantle

Se sua função tiver a política AmazonBedrockMantleInferenceAccess AWS gerenciada anexada, você poderá pular esta seção. Caso contrário, anexe as seguintes permissões para permitir a inferência por meio do bedrock-mantle endpoint (API de respostas, conclusão de bate-papo, API de mensagens):

{
    "Version": "2012-10-17", 
    "Statement": [
        {
            "Sid": "MantleInferencePermissions",
            "Effect": "Allow",
            "Action": [
                "bedrock-mantle:CreateInference",
                "bedrock-mantle:GetProject",
                "bedrock-mantle:ListProjects",
                "bedrock-mantle:ListTagsForResources"
            ],
            "Resource": "*"
        }
    ]
}

Endpoint do bedrock-runtime

Se sua função tiver a política AmazonBedrockFullAccess AWS gerenciada anexada, você poderá pular esta seção. Caso contrário, anexe as seguintes permissões para permitir a inferência por meio do bedrock-runtime endpoint (APIs Converse e Invoke):

{
    "Version": "2012-10-17", 
    "Statement": [
        {
            "Sid": "ModelInvocationPermissions",
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel",
                "bedrock:InvokeModelWithResponseStream",
                "bedrock:GetInferenceProfile",
                "bedrock:ListInferenceProfiles",
                "bedrock:RenderPrompt",
                "bedrock:GetCustomModel",
                "bedrock:ListCustomModels",
                "bedrock:GetImportedModel",
                "bedrock:ListImportedModels",
                "bedrock:GetProvisionedModelThroughput",
                "bedrock:ListProvisionedModelThroughputs",
                "bedrock:GetGuardrail",
                "bedrock:ListGuardrails",
                "bedrock:ApplyGuardrail"
            ],
            "Resource": "*"
        }
    ]
}

Para obter uma análise detalhada de cada permissão, consultePré-requisitos para executar a inferência do modelo.