Realizar solicitudes de inferencia

La inferencia es el proceso de generar una salida a partir de una entrada proporcionada a un modelo. Antes de poder enviar una solicitud de inferencia a Amazon Bedrock, debe permitir que su rol realice las acciones de la API de invocación del modelo. Esto depende del punto final que utilice.

Punto de enlace de bedrock-mantle

Si su función tiene la política AmazonBedrockMantleInferenceAccess AWS gestionada adjunta, puede omitir esta sección. De lo contrario, adjunta los siguientes permisos para permitir la inferencia a través del bedrock-mantle punto final (API de respuestas, finalización de chat, API de mensajes):

{
    "Version": "2012-10-17", 
    "Statement": [
        {
            "Sid": "MantleInferencePermissions",
            "Effect": "Allow",
            "Action": [
                "bedrock-mantle:CreateInference",
                "bedrock-mantle:GetProject",
                "bedrock-mantle:ListProjects",
                "bedrock-mantle:ListTagsForResources"
            ],
            "Resource": "*"
        }
    ]
}

Punto de enlace de bedrock-runtime

Si tu función tiene la política AmazonBedrockFullAccess AWS gestionada adjunta, puedes saltarte esta sección. De lo contrario, adjunta los siguientes permisos para permitir la inferencia a través del bedrock-runtime punto final (API de Converse e Invoke):

{
    "Version": "2012-10-17", 
    "Statement": [
        {
            "Sid": "ModelInvocationPermissions",
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel",
                "bedrock:InvokeModelWithResponseStream",
                "bedrock:GetInferenceProfile",
                "bedrock:ListInferenceProfiles",
                "bedrock:RenderPrompt",
                "bedrock:GetCustomModel",
                "bedrock:ListCustomModels",
                "bedrock:GetImportedModel",
                "bedrock:ListImportedModels",
                "bedrock:GetProvisionedModelThroughput",
                "bedrock:ListProvisionedModelThroughputs",
                "bedrock:GetGuardrail",
                "bedrock:ListGuardrails",
                "bedrock:ApplyGuardrail"
            ],
            "Resource": "*"
        }
    ]
}

Para obtener un desglose detallado de cada permiso, consulte. Requisitos previos para ejecutar la inferencia de modelos