Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Uso de un perfil de inferencia en la invocación del modelo
Puede utilizar un perfil de inferencia entre regiones en lugar de un modelo fundacional para enrutar las solicitudes a varias regiones. Para realizar un seguimiento de los costos y el uso de un modelo, en una o varias regiones, puede utilizar un perfil de inferencia de aplicaciones. Para obtener más información sobre cómo usar un perfil de inferencia al ejecutar la inferencia del modelo, seleccione la pestaña correspondiente al método que prefiera y siga los pasos:
- Console
-
Para usar un perfil de inferencia con una característica que lo admita, haga lo siguiente:
-
Inicie sesión en la Consola de administración de AWS con una identidad de IAM que tenga permisos para usar la consola de Amazon Bedrock. A continuación, abra la consola de Amazon Bedrock en https://console.aws.amazon.com/bedrock/
. -
Desplácese hasta la página de la característica para la que desee usar un perfil de inferencia. Por ejemplo, seleccione Sitio de pruebas de chat/texto en el panel de navegación izquierdo.
-
Elija Seleccionar modelo y, a continuación, elija el modelo. Por ejemplo, elija Amazon y, a continuación, Nova Premier.
-
En Inferencia, seleccione Perfiles de inferencia en el menú desplegable.
-
Seleccione el perfil de inferencia que desee utilizar (por ejemplo, US Nova Premier) y, a continuación, elija Aplicar.
-
- API
-
Para usar un perfil de inferencia al ejecutar la inferencia desde cualquier región que incluya, utilice las siguientes operaciones de la API:
-
InvokeModel o InvokeModelWithResponseStream: para utilizar un perfil de inferencia en la invocación del modelo, siga los pasos que se indican en Envíe un único mensaje con InvokeModel y especifique el Nombre de recurso de Amazon (ARN) del perfil de inferencia en el campo
modelId. Para ver un ejemplo, consulte Uso de un perfil de inferencia en la invocación del modelo. -
Converse o ConverseStream: para utilizar un perfil de inferencia en la invocación del modelo con la API Converse, siga los pasos que se indican en Cómo mantener una conversación con las operaciones de la API Converse y especifique el ARN del perfil de inferencia en el campo
modelId. Para ver un ejemplo, consulte Uso de un perfil de inferencia en la invocación del modelo. -
RetrieveAndGenerate: para utilizar un perfil de inferencia al generar respuestas a partir de los resultados de una consulta a una base de conocimiento, siga los pasos de la pestaña API en Prueba de la base de conocimientos mediante consultas y respuestas y especifique el ARN del perfil de inferencia en el campo
modelArn. Para obtener más información, consulte Use an inference proflie to generate a response bedrock/latest/api_reference. -
CreateEvaluationJob: para enviar un perfil de inferencia para la evaluación del modelo, siga los pasos de la pestaña API en Inicio de un trabajo de evaluación automática de modelos en Amazon Bedrock y especifique el ARN del perfil de inferencia en el campo
modelIdentifier. -
CreatePrompt: para usar un perfil de inferencia al generar una respuesta para una petición creada en Administración de peticiones, siga los pasos de la pestaña API en Creación de una petición con la administración de peticiones y especifique el ARN del perfil de inferencia en el campo
modelId. -
CreateFlow: para usar un perfil de inferencia al generar una respuesta para una petición insertada definida dentro de un nodo de petición de un flujo, siga los pasos de la pestaña API en Creación y diseño de un flujo en Amazon Bedrock. Al definir el nodo de petición, especifique el ARN del perfil de inferencia en el campo
modelId. -
CreateDataSource: para usar un perfil de inferencia al analizar información no textual en un origen de datos, siga los pasos de la sección API en Opciones de análisis del origen de datos y especifique el ARN del perfil de inferencia en el campo
modelArn.
nota
Si utiliza un perfil de inferencia entre regiones (definido por el sistema), puede utilizar el ARN o el ID del perfil de inferencia.
-
