Adquisición de rendimiento aprovisionado para un modelo personalizado - Amazon Bedrock

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Adquisición de rendimiento aprovisionado para un modelo personalizado

Para utilizar un modelo personalizado con capacidad de procesamiento dedicada y rendimiento garantizado, puede adquirir el rendimiento aprovisionado para ello. A continuación, puede utilizar el modelo aprovisionado resultante como inferencia. Para obtener más información sobre el rendimiento aprovisionado, consulte Aumento de la capacidad de invocación de modelos con el rendimiento aprovisionado en Amazon Bedrock.

Console
Para adquirir un rendimiento aprovisionado para un modelo personalizado.

  1. Inicie sesión AWS Management Console con una identidad de IAM que tenga permisos para usar la consola Amazon Bedrock. A continuación, abra la consola Amazon Bedrock en https://console.aws.amazon.com/bedrock/.

  2. En el panel de navegación de la izquierda, seleccione Modelos personalizados en Modelos fundacionales.

  3. En la pestaña Modelos, pulse el botón de opción situado junto al modelo para el que desee comprar rendimiento aprovisionado o seleccione el nombre del modelo para ir a la página de detalles.

  4. A continuación, seleccione Adquisición de rendimiento aprovisionado.

  5. Para obtener más detalles, siga los pasos de Adquisición de un rendimiento aprovisionado para un modelo de Amazon Bedrock.

  6. Tras adquirir el rendimiento aprovisionado para el modelo personalizado, siga los pasos que se indican en Uso de un rendimiento aprovisionado con un recurso de Amazon Bedrock.

Cuando realice cualquier operación que permita usar modelos personalizados, verá su modelo personalizado como una opción en el menú de selección de modelos.

API

Para adquirir Provisioned Throughput para un modelo personalizado, siga los pasos que se indican Adquisición de un rendimiento aprovisionado para un modelo de Amazon Bedrock a continuación para enviar una solicitud CreateProvisionedModelThroughput(consulte el enlace para ver los formatos de solicitud y respuesta y los detalles de los campos) a un punto final del plano de control de Amazon Bedrock. Utilice el nombre o el ARN del modelo personalizado como modelId. La respuesta devuelve un valor provisionedModelArn que puede utilizar modelId al realizar una InvokeModelsolicitud o solicitud. InvokeModelWithResponseStream

Ver ejemplos de código