Adquisición de rendimiento aprovisionado para un modelo personalizado - Amazon Bedrock

Adquisición de rendimiento aprovisionado para un modelo personalizado

Para usar un modelo personalizado con capacidad de procesamiento dedicada y rendimiento aprovisionado, puede adquirir rendimiento aprovisionado para él. A continuación, puede utilizar el modelo aprovisionado resultante como inferencia. Para obtener más información sobre el rendimiento aprovisionado, consulte Rendimiento aprovisionado.

Console
Para adquirir un rendimiento aprovisionado para un modelo personalizado.

  1. Inicie sesión en la Consola de administración de AWS con una identidad de IAM que tenga permisos para usar la consola de Amazon Bedrock. A continuación, abra la consola de Amazon Bedrock en https://console.aws.amazon.com/bedrock/.

  2. En el panel de navegación de la izquierda, seleccione Modelos personalizados en Ajustar.

  3. En la pestaña Modelos, pulse el botón de opción situado junto al modelo para el que desee comprar rendimiento aprovisionado o seleccione el nombre del modelo para ir a la página de detalles.

  4. A continuación, seleccione Adquisición de rendimiento aprovisionado.

  5. Para obtener más información, siga los pasos de la documentación sobre rendimiento aprovisionado.

  6. Después de adquirir rendimiento aprovisionado para un modelo personalizado, siga los pasos de la documentación sobre el uso de rendimiento aprovisionado.

Cuando realice cualquier operación que permita usar modelos personalizados, verá su modelo personalizado como una opción en el menú de selección de modelos.

API

Para adquirir rendimiento aprovisionado para un modelo aprovisionado, siga los pasos descritos en la documentación sobre rendimiento aprovisionado para enviar una solicitud CreateProvisionedModelThroughput (consulte el enlace para ver los formatos de solicitud y respuesta y los detalles de los campos) con un punto de conexión del plano de control de Amazon Bedrock. Utilice el nombre o el ARN del modelo personalizado como modelId. La respuesta devuelve un provisionedModelArn que puede usar como modelId al realizar una solicitud InvokeModel o InvokeModelWithResponseStream.

Ver ejemplos de código