Envío de solicitudes y generación de respuestas mediante la API - Amazon Bedrock

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Envío de solicitudes y generación de respuestas mediante la API

Amazon Bedrock ofrece las siguientes operaciones de API para realizar la inferencia de modelos:

  • InvokeModel— Envíe un mensaje y genere una respuesta. El cuerpo de la solicitud es específico del modelo. Para generar respuestas en streaming, utilice InvokeModelWithResponseStream.

  • Converse: envíe una petición y genere respuestas con una estructura unificada en todos los modelos. Los campos de solicitud específicos del modelo se pueden especificar en el campo additionalModelRequestFields. También puede incluir peticiones del sistema y conversaciones anteriores para ofrecer contexto. Para generar respuestas de streaming, utilice ConverseStream.

  • StartAsyncInvoke— Envíe un mensaje y genere una respuesta de forma asíncrona que se pueda recuperar más adelante. Se utiliza para generar vídeos.

  • InvokeModelWithBidirectionalStream –

  • API Chat Completions de OpenAI: utilice la API Chat Completions de OpenAI con los modelos compatibles con Amazon Bedrock para generar una respuesta.

nota

Se aplican restricciones a las siguientes operaciones:InvokeModel,InvokeModelWithResponseStream, Converse y. ConverseStream Consulte las restricciones de la API para obtener más información.

Para la inferencia del modelo, debe determinar los siguientes parámetros:

  • ID de modelo: el ID o nombre de recurso de Amazon (ARN) del modelo o perfil de inferencia que se va a utilizar en el campo modelId para la inferencia. En la siguiente tabla se describe cómo IDs buscar diferentes tipos de recursos:

    Tipo de modelo Description (Descripción) Buscar el ID en la consola Buscar el ID en la API Documentación relacionada
    Modelo básico Modelo fundacional de un proveedor. Elija Modelos base en el panel de navegación de la izquierda, busque un modelo y localice el ID de modelo. Envía una ListFoundationModelssolicitud GetFoundationModelo y búscala modelId en la respuesta. Vea una lista de IDs arrobaModelos fundacionales compatibles en Amazon Bedrock.
    Perfil de inferencia Aumenta el rendimiento al permitir la invocación de un modelo en varias regiones. Seleccione Inferencia entre regiones en el panel de navegación de la izquierda y busque un ID de perfil de inferencia. Envíe una ListInferenceProfilessolicitud GetInferenceProfileo y búsquela inferenceProfileId en la respuesta. Vea una lista de IDs arrobaRegiones y modelos compatibles con los perfiles de inferencia.
    Petición Una petición que se creó mediante Administración de peticiones. Elija Administración de peticiones en el panel de navegación izquierdo, seleccione una petición en la sección Peticiones y busque el ARN de la petición. Envíe una ListPromptssolicitud GetPrompto y búsquela promptArn en la respuesta. Obtenga información sobre la creación de una petición en Administración de peticiones en Creación y almacenamiento de peticiones reutilizables con la administración de peticiones en Amazon Bedrock.
    Rendimiento aprovisionado Proporciona un mayor nivel de rendimiento para un modelo a un costo fijo. Elija Rendimiento aprovisionado en el panel de navegación de la izquierda, seleccione un rendimiento aprovisionado y busque el ARN. Envía una ListProvisionedModelThroughputssolicitud GetProvisionedModelThroughputo y búscala provisionedModelArn en la respuesta. Obtenga información sobre cómo adquirir rendimiento aprovisionado para un modelo en Aumento de la capacidad de invocación de modelos con el rendimiento aprovisionado en Amazon Bedrock.
    Modelo personalizado Es un modelo cuyos parámetros se han tomado de un modelo fundacional basado en los datos de entrenamiento. Después de adquirir rendimiento aprovisionado para un modelo personalizado, siga los pasos para encontrar el ID del rendimiento aprovisionado. Después de adquirir rendimiento aprovisionado para un modelo personalizado, siga los pasos para encontrar el ID del rendimiento aprovisionado. Obtenga información sobre cómo optimizar un modelo en Personalización del modelo para mejorar su rendimiento según su caso de uso. Tras la personalización, debe adquirir rendimiento aprovisionado y utilizar el ID del rendimiento aprovisionado.

  • Cuerpo de la solicitud: contiene los parámetros de inferencia de un modelo y otras configuraciones. Cada modelo base tiene sus propios parámetros de inferencia. Los parámetros de inferencia de un modelo personalizado o aprovisionado dependen del modelo base a partir del cual se creó. Para obtener más información, consulte Parámetros de solicitud de inferencia y campos de respuesta para los modelos fundacionales.

Seleccione un tema para aprender a usar la invocación APIs modelo.

Temas