Enrutamiento de peticiones inteligente en Amazon Bedrock
El enrutamiento inteligente de peticiones de Amazon Bedrock proporciona un único punto de conexión sin servidor para enrutar de manera eficiente las solicitudes entre diferentes modelos fundacionales dentro de la misma familia de modelos. Puede predecir dinámicamente la calidad de respuesta de cada modelo para cada solicitud y, a continuación, dirigir la solicitud al modelo con la mejor calidad de respuesta. Esto ayuda a optimizar tanto la calidad como el costo de la respuesta.
Regiones y modelos compatibles con el enrutamiento inteligente de peticiones
Los siguientes modelos admiten el enrutamiento inteligente de peticiones:
| Proveedor | Modelo | Regiones que admiten el modelo fundacional | Regiones que admiten el perfil de inferencia |
|---|---|---|---|
| Amazon | Nova Lite |
us-east-1 us-gov-west-1 |
us-east-1 us-east-2 us-west-2 ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-2 eu-central-1 eu-west-1 eu-west-3 |
| Amazon | Nova Pro |
us-east-1 us-gov-west-1 |
us-east-1 us-east-2 us-west-2 ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-2 eu-central-1 eu-west-1 eu-west-3 |
| Anthropic | Claude 3.5 Haiku |
us-west-2 |
us-east-1 us-east-2 us-west-2 |
| Anthropic | Claude 3.5 Sonnet |
us-east-1 us-west-2 us-gov-west-1 ap-northeast-1 ap-northeast-2 eu-central-1 |
us-east-1 us-east-2 us-west-2 us-gov-east-1 ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-2 eu-central-1 eu-west-1 eu-west-3 |
| Anthropic | Claude 3.5 Sonnet v2 |
us-west-2 ap-southeast-2 |
us-east-1 us-east-2 us-west-2 ap-northeast-1 ap-south-1 ap-southeast-2 eu-west-3 |
| Anthropic | Claude 3 Haiku |
us-east-1 us-west-2 us-gov-west-1 ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-2 eu-central-1 eu-west-1 eu-west-3 |
us-east-1 us-east-2 us-west-2 us-gov-east-1 ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-2 eu-central-1 eu-west-1 eu-west-3 |
| Meta | Llama 3.1 70B Instruct |
us-west-2 |
us-east-1 us-east-2 us-west-2 |
| Meta | Llama 3.1 8B Instruct |
us-west-2 |
us-east-1 us-east-2 us-west-2 |
| Meta | Llama 3.2 11B Instruct |
N/A |
us-east-1 us-east-2 us-west-2 |
| Meta | Llama 3.2 90B Instruct |
N/A |
us-east-1 us-east-2 us-west-2 |
| Meta | Llama 3.3 70B Instruct |
us-east-2 |
us-east-1 us-east-2 us-west-2 |
Ventajas
-
Calidad y costo de respuesta optimizados: dirige las peticiones a diferentes modelos fundacionales para lograr la mejor calidad de respuesta al menor costo.
-
Administración simplificada: elimina la necesidad de una lógica de orquestación compleja.
-
Preparado para el futuro: incorpora nuevos modelos a medida que están disponibles.
Enrutadores de peticiones predeterminados y configurados
Cuando utilice el enrutamiento inteligente de peticiones, puede utilizar los enrutadores de peticiones predeterminados que proporciona Amazon Bedrock o configurar sus propios enrutadores de peticiones.
Los enrutadores de peticiones predeterminados son sistemas de enrutamiento preconfigurados proporcionados por Amazon Bedrock. Estos enrutadores vienen con configuraciones predefinidas y están diseñados para funcionar de forma inmediata con modelos fundacionales específicos. Proporcionan una solución sencilla y lista para usar sin necesidad de configurar ajustes de enrutamiento. Al empezar a trabajar con el enrutamiento inteligente de peticiones, le recomendamos que pruebe los enrutadores predeterminados que proporciona Amazon Bedrock. Durante la vista previa, puede optar por utilizar modelos seleccionados de las familias Anthropic y Meta.
Los enrutadores de peticiones configurados le permiten definir sus propias configuraciones de enrutamiento adaptadas a necesidades y preferencias específicas. Son más adecuados cuando se necesita más control sobre cómo enrutar las solicitudes y los modelos que se van a utilizar. Los enrutadores configurados permiten la optimización en función de las métricas de calidad de la respuesta y los casos de uso. Tras experimentar con los enrutadores predeterminados, puede configurar los suyos propios para que se adapten a sus aplicaciones, evaluar la calidad de la respuesta en el entorno de pruebas y utilizarlos en aplicaciones de producción si cumplen los requisitos.
Consideraciones y limitaciones
A continuación, se indican las consideraciones y las limitaciones del enrutamiento inteligente de peticiones en Amazon Bedrock.
-
El enrutamiento inteligente de peticiones solo está optimizado para las peticiones en inglés.
-
El enrutamiento inteligente de peticiones no puede ajustar las decisiones o respuestas de enrutamiento en función de los datos de rendimiento específicos de la aplicación.
-
Es posible que el enrutamiento inteligente de peticiones no siempre proporcione el enrutamiento óptimo para casos de uso únicos o especializados. La eficacia del enrutamiento depende de los datos de entrenamiento iniciales.
Criterios de enrutadores de peticiones y modelo alternativo
Al configurar los enrutadores de peticiones, puede especificar los criterios de enrutamiento, que se utilizan para determinar qué modelo se debe seleccionar para procesar una solicitud en función de la diferencia de calidad de la respuesta. Utilice este criterio para determinar lo cerca que deben estar las respuestas del modelo alternativo de las respuestas de los demás modelos.
Modelos alternativos
Elija un modelo alternativo que funcione bien para las solicitudes. Este modelo sirve como un referencia fiable. A continuación, puede elegir otro modelo para mejorar la precisión o reducir los costos en comparación con el modelo alternativo. El modelo alternativo actúa como ancla y los criterios de enrutamiento determinan cuándo cambiar al otro modelo en función de las diferencias de calidad de la respuesta.
Diferencia en la calidad de la respuesta
La diferencia en la calidad de la respuesta mide la disparidad entre las respuestas del modelo alternativo y las de los demás modelos. Un valor pequeño indica que las respuestas son similares. Un valor alto indica una diferencia significativa en las respuestas entre el modelo alternativo y los demás modelos.
Por ejemplo, una diferencia de calidad de respuesta del 10 % significa que, por ejemplo, la calidad de respuesta del modelo alternativo, Claude Haiku3, es del 10 %; entonces el enrutador cambiará a otro modelo, por ejemplo Claude Sonnet3, solo si sus respuestas son un 10 % mejores que las de Claude Haiku3.
Funcionamiento del enrutamiento inteligente de peticiones
-
Selección del modelo y configuración del enrutador
Elija la familia de modelos que desea utilizar para su aplicación. Si utiliza enrutadores de peticiones predeterminados, puede elegir entre los modelos de las familias Anthropic o Meta. Si utiliza enrutadores de peticiones configurados, puede elegir entre modelos adicionales y configurar los criterios de enrutamiento. Para obtener más información, consulte Uso del enrutamiento inteligente de peticiones.
-
Análisis de solicitudes entrantes
Para cada solicitud entrante, el sistema analiza la petición para comprender su contenido y contexto.
-
Predicción de la calidad de la respuesta
Amazon Bedrock predice la calidad de respuesta de cada modelo especificado de la familia elegida en función de la petición. Si configuró un enrutador de peticiones, este tendrá en cuenta los criterios de enrutamiento, que son la diferencia en la calidad de la respuesta, y dirigirá las solicitudes al modelo alternativo especificado si no se cumplen los criterios.
-
Selección del modelo y reenvío de solicitudes
En función de la predicción de la calidad de la respuesta, Amazon Bedrock elige de forma dinámica el modelo que ofrece la mejor combinación de calidad de respuesta y costo para la solicitud específica. A continuación, la solicitud se reenvía al modelo elegido para su procesamiento.
-
Tratamiento de respuestas
La respuesta del modelo elegido se recupera y se devuelve al usuario. La respuesta incluye información sobre el modelo que se utilizó para procesar la solicitud.
Uso del enrutamiento inteligente de peticiones
Para empezar a utilizar el enrutamiento inteligente de peticiones, utilice la consola de Amazon Bedrock, la AWS CLI o AWS SDK.
nota
Para utilizar de forma óptima el enrutamiento inteligente de peticiones, debe revisar periódicamente el rendimiento para aprovechar los nuevos modelos. Para optimizar su uso, supervise las métricas de rendimiento y costo disponibles.
En las siguientes secciones, se muestra cómo utilizar esta característica desde la consola y la CLI. Tras configurar el enrutador de peticiones, Amazon Bedrock realizará los pasos descritos en Funcionamiento del enrutamiento inteligente de peticiones para generar una respuesta de uno de los modelos del enrutador elegido.
