Envío de solicitudes y generación de respuestas mediante la API - Amazon Bedrock

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Envío de solicitudes y generación de respuestas mediante la API

Amazon Bedrock ofrece las siguientes operaciones de API para realizar la inferencia de modelos:

  • InvokeModel: envía una única petición y genera una respuesta. El cuerpo de la solicitud es específico del modelo. Para generar respuestas de streaming, use InvokeModelWithResponseStream.

  • Converse: envíe una petición y genere respuestas con una estructura unificada en todos los modelos. Los campos de solicitud específicos del modelo se pueden especificar en el campo additionalModelRequestFields. También puede incluir peticiones del sistema y conversaciones anteriores para ofrecer contexto. Para generar respuestas de streaming, use ConverseStream.

  • StartAsyncInvoke: envíe una petición y genere una respuesta de forma asíncrona que se pueda recuperar más adelante. Se utiliza para generar vídeos.

  • InvokeModelWithBidirectionalStream:

  • API Chat Completions de OpenAI: utilice la API Chat Completions de OpenAI con los modelos compatibles con Amazon Bedrock para generar una respuesta.

Para la inferencia del modelo, debe determinar los siguientes parámetros:

  • ID de modelo: el ID o nombre de recurso de Amazon (ARN) del modelo o perfil de inferencia que se va a utilizar en el campo modelId para la inferencia. En la tabla siguiente se describe cómo buscar ID de diferentes tipos de modelo:

    Tipo de modelo Descripción Buscar el ID en la consola Buscar el ID en la API Documentación relacionada
    Modelo básico Modelo fundacional de un proveedor. Elija Modelos base en el panel de navegación de la izquierda, busque un modelo y localice el ID de modelo. Envíe una solicitud GetFoundationModel o ListFoundationModels y busque el modelId en la respuesta. Consulte una lista de ID en Modelos fundacionales compatibles en Amazon Bedrock.
    Perfil de inferencia Aumenta el rendimiento al permitir la invocación de un modelo en varias regiones. Seleccione Inferencia entre regiones en el panel de navegación de la izquierda y busque un ID de perfil de inferencia. Envíe una solicitud GetInferenceProfile o ListInferenceProfiles y busque el inferenceProfileId en la respuesta. Consulte una lista de ID en Regiones y modelos compatibles con los perfiles de inferencia.
    Prompt Una petición que se creó mediante Administración de peticiones. Elija Administración de peticiones en el panel de navegación izquierdo, seleccione una petición en la sección Peticiones y busque el ARN de la petición. Envíe una solicitud GetPrompt o ListPrompts y busque el promptArn en la respuesta. Obtenga información sobre la creación de una petición en Administración de peticiones en Creación y almacenamiento de peticiones reutilizables con la administración de peticiones en Amazon Bedrock.
    Rendimiento aprovisionado Proporciona un mayor nivel de rendimiento para un modelo a un costo fijo. Elija Rendimiento aprovisionado en el panel de navegación de la izquierda, seleccione un rendimiento aprovisionado y busque el ARN. Envíe una solicitud GetProvisionedModelThroughput o ListProvisionedModelThroughputs y busque el provisionedModelArn en la respuesta. Obtenga información sobre cómo adquirir rendimiento aprovisionado para un modelo en Aumento de la capacidad de invocación de modelos con el rendimiento aprovisionado en Amazon Bedrock.
    Modelo personalizado Es un modelo cuyos parámetros se han tomado de un modelo fundacional basado en los datos de entrenamiento. Después de adquirir rendimiento aprovisionado para un modelo personalizado, siga los pasos para encontrar el ID del rendimiento aprovisionado. Después de adquirir rendimiento aprovisionado para un modelo personalizado, siga los pasos para encontrar el ID del rendimiento aprovisionado. Obtenga información sobre cómo optimizar un modelo en Personalización del modelo para mejorar su rendimiento según su caso de uso. Tras la personalización, debe adquirir rendimiento aprovisionado y utilizar el ID del rendimiento aprovisionado.

  • Cuerpo de la solicitud: contiene los parámetros de inferencia de un modelo y otras configuraciones. Cada modelo base tiene sus propios parámetros de inferencia. Los parámetros de inferencia de un modelo personalizado o aprovisionado dependen del modelo base a partir del cual se creó. Para obtener más información, consulte Parámetros de solicitud de inferencia y campos de respuesta para los modelos fundacionales.

Seleccione un tema para aprender a usar las API de invocación de modelos.

Temas