Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Uso de un perfil de inferencia en la invocación del modelo
Puede utilizar un perfil de inferencia entre regiones en lugar de un modelo básico para dirigir las solicitudes a varias regiones. Para realizar un seguimiento de los costes y el uso de un modelo, en una o varias regiones, puede utilizar un perfil de inferencia de aplicaciones. Para aprender a usar un perfil de inferencia al ejecutar la inferencia de un modelo, elija la pestaña correspondiente al método que prefiera y, a continuación, siga estos pasos:
- Console
-
Para usar un perfil de inferencia con una función que lo admita, haga lo siguiente:
-
Inicie sesión en AWS Management Console con un director de IAM que tenga permisos para usar la consola Amazon Bedrock. A continuación, abra la consola Amazon Bedrock en https://console.aws.amazon.com/bedrock/
. -
Navegue hasta la página de la función para la que desee utilizar un perfil de inferencia. Por ejemplo, seleccione Chat/Text playground en el panel de navegación izquierdo.
-
Elija Seleccionar modelo y, a continuación, elija el modelo. Por ejemplo, elija Amazon y, a continuación, Nova Premier.
-
En Inferencia, selecciona Perfiles de inferencia en el menú desplegable.
-
Seleccione el perfil de inferencia que desee utilizar (por ejemplo, US Nova Premier) y, a continuación, elija Aplicar.
-
- API
-
Para usar un perfil de inferencia al ejecutar la inferencia desde cualquier región que incluya, utilice las siguientes operaciones de la API:
-
InvokeModelo InvokeModelWithResponseStream— Para utilizar un perfil de inferencia en la invocación de modelos, siga los pasos que se indican en Envíe un único mensaje con InvokeModel y especifique el nombre de recurso de Amazon (ARN) del perfil de inferencia en el campo.
modelIdPara ver un ejemplo, consulte Uso de un perfil de inferencia en la invocación del modelo. -
Converse o ConverseStream: para usar un perfil de inferencia en la invocación de modelos con la Converse API, siga los pasos que se indican en Mantén una conversación con las operaciones de la Converse API y especifique el ARN del perfil de inferencia en el campo.
modelIdPara ver un ejemplo, consulte Uso de un perfil de inferencia en la invocación del modelo. -
RetrieveAndGenerate— Para utilizar un perfil de inferencia al generar respuestas a partir de los resultados de una consulta a una base de conocimientos, siga los pasos de la pestaña API Prueba de la base de conocimientos mediante consultas y respuestas y especifique el ARN del perfil de inferencia en el campo.
modelArnPara obtener más información, consulte Use an inference proflie to generate a response bedrock/latest/api_reference. -
CreateEvaluationJob— Para enviar un perfil de inferencia para la evaluación del modelo, siga los pasos de la pestaña API Inicio de un trabajo de evaluación automática de modelos en Amazon Bedrock y especifique el ARN del perfil de inferencia en el campo.
modelIdentifier -
CreatePrompt— Para usar un perfil de inferencia al generar una respuesta para una solicitud que cree en la administración de solicitudes, siga los pasos de la pestaña API Creación de una petición con la administración de peticiones y especifique el ARN del perfil de inferencia en el campo.
modelId -
CreateFlow— Para usar un perfil de inferencia al generar una respuesta para una solicitud en línea que se defina dentro de un nodo de solicitud de un flujo, siga los pasos que se indican en la pestaña API de. Cree y diseñe un flujo en Amazon Bedrock Al definir el nodo de solicitud, especifique el ARN del perfil de inferencia en el campo.
modelId -
CreateDataSource— Para utilizar un perfil de inferencia al analizar información no textual en una fuente de datos, siga los pasos de la sección API y Opciones de análisis para su fuente de datos especifique el ARN del perfil de inferencia en el campo.
modelArn
nota
Si utiliza un perfil de inferencia entre regiones (definido por el sistema), puede utilizar el ARN o el ID del perfil de inferencia.
-
