Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Configuración avanzada de LLM
Al utilizar Amazon Bedrock, puede configurar algunos ajustes avanzados para sus modelos, como Amazon Bedrock Guardrails, el rendimiento aprovisionado para Amazon Bedrock y parámetros de modelo adicionales.
Barreras de protección para Amazon Bedrock
Amazon Bedrock Guardrails es una función de Amazon Bedrock que evalúa las entradas de los usuarios y las respuestas de LLM en función de las políticas configuradas por el usuario y proporciona un nivel adicional de protección, independientemente del LLM subyacente que el usuario seleccione para un caso de uso. Un Guardrail consta de dos políticas para evitar que el contenido se clasifique en las categorías no deseadas o dañinas:
-
Temas denegados para definir un conjunto de temas que no son deseables en el contexto de la solicitud del usuario, por ejemplo, el asesoramiento de inversión en una aplicación financiera y,
-
Filtros de contenido****que permiten filtrar los mensajes introducidos por los usuarios o modelar las respuestas que contienen contenido dañino.
Para su uso en la solución Generative AI Application Builder, se debe configurar una barandilla en la consola de Amazon Bedrock mediante el asistente Create Guardrail. Una vez creado, puede añadir este guardrail a su caso de uso de chat creado mediante el asistente de la solución Generative AI Application Builder en los ajustes adicionales del paso de selección del modelo, proporcionando su identificador de barandilla y la versión de guardarail.
Muestra el asistente de implementación, que habilita Amazon Bedrock Guardrails
Rendimiento aprovisionado para Amazon Bedrock
Cada modelo de Amazon Bedrock bajo demanda sigue el límite de cuota de cuenta específico de la región para la inferencia de modelos. Por ejemplo, Anthropic Claude 2.x en Bedrock actualmente permite procesar 500 solicitudes y 500 000 fichas por minuto en las regiones us-east-1 y us-west-2. Es posible que también desee utilizar la solución con sus modelos perfeccionados o previamente entrenados de forma continua. En estos casos, Amazon Bedrock permite un rendimiento aprovisionado, lo que permite ejecutar grandes cargas de trabajo de inferencias consistentes para su base, modelos ajustados o continuos previamente entrenados para su uso en aplicaciones de nivel de producción.
Una vez que se adquiere el rendimiento aprovisionado en la consola Amazon Bedrock, se genera un ARN modelo para su uso. Ahora puede proporcionar este ARN de modelo en el asistente Generative AI Application Builder en el paso de selección del modelo. Para ello, seleccione Bedrock como proveedor del modelo y el nombre del modelo base que se utilizó para generar este ARN de modelo aprovisionado en la consola de Amazon Bedrock. A continuación, seleccione «Modelo aprovisionado» al elegir entre los modelos bajo demanda y aprovisionados y suministre el ARN de su modelo.
Describe el asistente de implementación: Cómo habilitar el rendimiento aprovisionado para Amazon Bedrock
nota
El rendimiento provisional y el aprovisionamiento deben estar en la misma región que el panel de implementación implementado y las pilas de casos de uso.
Parámetros del modelo
LLMs suelen aceptar una amplia gama de parámetros específicos para su implementación. Los proveedores de modelos suelen proporcionar documentación en la que se describe el conjunto de parámetros admitidos y sus usos.
La solución transfiere los parámetros del modelo directamente al modelo subyacente, por lo que es importante asegurarse de que los parámetros estén configurados correctamente. Consulte la documentación del proveedor del modelo para obtener la información más reciente sobre los parámetros admitidos.
