Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Enrutamiento de peticiones inteligente en Amazon Bedrock

El enrutamiento inteligente de peticiones de Amazon Bedrock proporciona un único punto de conexión sin servidor para enrutar de manera eficiente las solicitudes entre diferentes modelos fundacionales dentro de la misma familia de modelos. Puede predecir dinámicamente la calidad de respuesta de cada modelo para cada solicitud y, a continuación, dirigir la solicitud al modelo con la mejor calidad de respuesta. Esto ayuda a optimizar tanto la calidad como el costo de la respuesta.

Regiones y modelos compatibles con el enrutamiento inteligente de peticiones

El enrutamiento rápido inteligente se puede utilizar con diferentes tipos de modelos. En la siguiente lista se describe la compatibilidad con distintos tipos de modelos de Amazon Bedrock:

En la siguiente tabla se muestran los modelos compatibles con el enrutamiento rápido inteligente:

Ventajas

Enrutadores de peticiones predeterminados y configurados

Cuando utilice el enrutamiento inteligente de peticiones, puede utilizar los enrutadores de peticiones predeterminados que proporciona Amazon Bedrock o configurar sus propios enrutadores de peticiones.

Los enrutadores de peticiones predeterminados son sistemas de enrutamiento preconfigurados proporcionados por Amazon Bedrock. Estos enrutadores vienen con configuraciones predefinidas y están diseñados para funcionar con modelos básicos específicos. out-of-the-box Proporcionan una ready-to-use solución sencilla sin necesidad de configurar ningún ajuste de enrutamiento. Al empezar a trabajar con el enrutamiento inteligente de peticiones, le recomendamos que pruebe los enrutadores predeterminados que proporciona Amazon Bedrock. Durante la vista previa, puede optar por utilizar modelos seleccionados de las familias Anthropic y Meta.

Los enrutadores de peticiones configurados le permiten definir sus propias configuraciones de enrutamiento adaptadas a necesidades y preferencias específicas. Son más adecuados cuando se necesita más control sobre cómo enrutar las solicitudes y los modelos que se van a utilizar. Los enrutadores configurados permiten la optimización en función de las métricas de calidad de la respuesta y los casos de uso. Tras experimentar con los enrutadores predeterminados, puede configurar los suyos propios para que se adapten a sus aplicaciones, evaluar la calidad de la respuesta en el entorno de pruebas y utilizarlos en aplicaciones de producción si cumplen los requisitos.

Consideraciones y limitaciones

A continuación, se indican las consideraciones y las limitaciones del enrutamiento inteligente de peticiones en Amazon Bedrock.

Criterios de enrutadores de peticiones y modelo alternativo

Al configurar los enrutadores de peticiones, puede especificar los criterios de enrutamiento, que se utilizan para determinar qué modelo se debe seleccionar para procesar una solicitud en función de la diferencia de calidad de la respuesta. Utilice este criterio para determinar lo cerca que deben estar las respuestas del modelo alternativo de las respuestas de los demás modelos.

Modelos alternativos

Elija un modelo alternativo que funcione bien para las solicitudes. Este modelo sirve como un referencia fiable. A continuación, puede elegir otro modelo para mejorar la precisión o reducir los costos en comparación con el modelo alternativo. El modelo alternativo actúa como ancla y los criterios de enrutamiento determinan cuándo cambiar al otro modelo en función de las diferencias de calidad de la respuesta.

Diferencia en la calidad de la respuesta

La diferencia en la calidad de la respuesta mide la disparidad entre las respuestas del modelo alternativo y las de los demás modelos. Un valor pequeño indica que las respuestas son similares. Un valor alto indica una diferencia significativa en las respuestas entre el modelo alternativo y los demás modelos.

Por ejemplo, una diferencia de calidad de respuesta del 10 % significa que, por ejemplo, la calidad de respuesta del modelo alternativo, Claude Haiku3, es del 10 %; entonces el enrutador cambiará a otro modelo, por ejemplo Claude Sonnet3, solo si sus respuestas son un 10 % mejores que las de Claude Haiku3.

Funcionamiento del enrutamiento inteligente de peticiones

Uso del enrutamiento inteligente de peticiones

Para empezar a utilizar el enrutamiento rápido inteligente, utilice la consola o AWS SDK de Amazon Bedrock. AWS CLI

En las siguientes secciones, se muestra cómo utilizar esta característica desde la consola y la CLI. Tras configurar el enrutador de peticiones, Amazon Bedrock realizará los pasos descritos en Funcionamiento del enrutamiento inteligente de peticiones para generar una respuesta de uno de los modelos del enrutador elegido.

console

Cómo usar el enrutamiento inteligente de peticiones desde la Consola de administración de AWS:

1. Vaya al centro Enrutadores de peticiones de la consola de Amazon Bedrock. Utilice sus credenciales de AWS para iniciar sesión en la consola.

2. Elija la familia de modelos que desea utilizar. Si es la primera vez que usa la característica, puede experimentar con los enrutadores de peticiones predeterminados. Durante la vista previa, puede elegir modelos de las familias Anthropic y Meta. A continuación, puede abrir el entorno de pruebas y experimentar con sus peticiones.

   nota

   Debe elegir exactamente dos modelos de la misma familia.

3. Una vez que haya experimentado con los enrutadores predeterminados, puede configurar su enrutador. Debe proporcionar un nombre exclusivo para su enrutador y una descripción (opcional).

4. Defina las reglas de enrutamiento para enrutar las peticiones a diferentes modelos. Especifique los modelos de enrutamiento, los criterios de enrutamiento y el modelo alternativo que se utilizará en caso de que no se cumplan los criterios de enrutamiento.

5. Ahora puede abrir el entorno de pruebas y probar diferentes peticiones para supervisar el rendimiento de su enrutador de peticiones. Al analizar cómo se enrutan las peticiones y el rendimiento de cada modelo, puede ajustar los criterios y modelos de enrutamiento según sea necesario para optimizar el rendimiento y el costo.

API

Cómo usar el enrutamiento inteligente de peticiones con la AWS CLI:

1. Después de experimentar con los enrutadores de peticiones predeterminados, puede crear un enrutador que pueda gestionar el enrutamiento inteligente de peticiones mediante la API CreatePromptRouter o el comando create-prompt-router de la CLI.

   El comando siguiente muestra un ejemplo de creación del enrutador de peticiones, donde:

   • <router-name>es un nombre exclusivo para su router.

   • <region>es el Región de AWS lugar donde desea crear el router.

   • <modelA>y <modelB> son los modelos entre los que puede elegir para el enrutamiento. Por ejemplo, anthropic.claude-3-5-sonnet-20240620-v1:0.

   aws bedrock create-prompt-router \
       --prompt-router-name <router-name> \
       --models '[{"modelArn": "arn:aws:bedrock:<region>::foundation-model/<modelA>"}]' \ 
       --fallback-model '[{"modelArn": "arn:aws:bedrock:<region>::foundation-model/<modelB>"}]' \ 
       --routing-criteria '{"responseQualityDifference": 0.5}'

2. Envíe sus peticiones al enrutador inteligente de peticiones mediante la AWS CLI. El enrutador predecirá la calidad de respuesta de cada modelo y dirigirá la solicitud al modelo con la mejor calidad de respuesta.

3. Revise la respuesta a su solicitud. Contendrá información sobre el modelo que se utilizó y los criterios de enrutamiento.

4. Al trabajar con enrutadores de peticiones, también puede utilizar estas operaciones de la API adicionales:

   • GetPromptRouter

   • ListPromptRouters

   • DeletePromptRouter