Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Uso de la solución
Acceso a la interfaz de usuario
Durante el proceso de implementación de la pila (tanto para el panel de implementación como para los casos de uso), se envía un correo electrónico a la dirección de correo electrónico configurada. El correo electrónico contiene las credenciales temporales del usuario que puede usar para registrarse y acceder a la interfaz web.
nota
El DevOps usuario con acceso a la consola de administración de AWS debe proporcionar al usuario administrador la CloudFront URL de la interfaz de usuario del panel de implementación cuando se complete la pila.
Para los casos de uso, el usuario administrador con acceso a la interfaz de usuario del panel de implementación debe proporcionar al usuario empresarial la CloudFront URL de la interfaz de usuario del caso de uso cuando se complete la implementación.
Una vez que haya iniciado sesión, el usuario puede interactuar con la solución UIs, ya sea en el panel de implementación en el caso de los administradores o en el caso de uso en el caso de los usuarios empresariales.
¿Cómo actualizar una implementación
En la página de inicio del panel de control de despliegue (o en la página de detalles de un despliegue), puede editar la configuración utilizada por un despliegue. Solo puede editar las implementaciones que se encuentren en los estados CREATE_COMPLETE o UPDATE_COMPLETE.
A excepción del nombre del caso de uso, todas las demás opciones se pueden editar para una implementación. Solo tiene que cambiar los valores que desee editar y volver a implementar.
Según el alcance de las ediciones realizadas, el tiempo de redistribución variará. Pueden pasar unos segundos si se ha modificado una configuración simple (por ejemplo, los parámetros del modelo) o más de 30 minutos si se han modificado opciones más amplias relacionadas con la infraestructura (por ejemplo, solicitar la creación del índice de Amazon Kendra para el caso de uso de texto RAG).
Una vez que la edición se haya completado correctamente, el estado de la solicitud mostrará el estado UPDATE_COMPLETE. En este momento, puede acceder a la interfaz de usuario implementada a través de la CloudFront URL e interactuar con la implementación modificada.
nota
Puede que sea más fácil ejecutar varias implementaciones side-by-side si desea comparar diferentes configuraciones o LLMs. Utilice la función de clonación para utilizar rápidamente una configuración existente para lanzar una nueva implementación.
¿Cómo clonar una implementación
En la página de inicio del panel de control de despliegues (o en la página de detalles de un despliegue), puede clonar la configuración utilizada por un despliegue. Al clonar una implementación, se inicia el asistente Implementar nuevos casos de uso, pero la mayoría de los campos se rellenan previamente con los mismos valores.
Se trata de una práctica operación que le ayuda a duplicar rápidamente despliegues con una configuración modificada, reactivar un despliegue eliminado o comparar varios despliegues que, por lo demás, serían LLMs idénticos.
¿Cómo eliminar una implementación
Cuando se encuentre en la página de inicio del panel de control de despliegues (o en la página de detalles de un despliegue), podrá eliminarlo cuando ya no necesite el despliegue. Al eliminar una implementación, se invoca una operación de eliminación de CloudFormation pilas y se desaprovisionan los recursos para la implementación.
De forma predeterminada, una implementación eliminada permanece en el panel de control para habilitar la funcionalidad de clonación. Para eliminar por completo una implementación del panel de control y dejar de rastrearla en la interfaz de usuario, selecciona Eliminar permanentemente en la ventana de confirmación de eliminación.
importante
Algunos recursos se quedan atrás durante la eliminación de la pila y se deben eliminar manualmente. Consulte la sección de desinstalación manual para obtener más información sobre los recursos que se conservan y cómo limpiarlos.
Uso de Amazon SageMaker AI como proveedor de LLM
A partir de la versión 1.3.0, Amazon SageMaker AI
importante
La solución no gestiona el ciclo de vida de sus terminales de SageMaker IA. Usted es responsable de eliminar los puntos finales de SageMaker IA una vez que ya no sean necesarios para dejar de incurrir en cargos adicionales.
Crear un punto final de IA SageMaker
Puede usar Amazon SageMaker AI JumpStart
También puede utilizar un punto final de SageMaker IA basado en la generación de texto e implementarlo mediante el servicio de SageMaker IA básico. Consulte la JumpStart documentación de SageMaker IA para obtener una guía paso a paso sobre cómo implementar un modelo de inferencia.
nota
models/LLMs Las bases suelen ser bastante grandes y, a menudo, pueden requerir el uso de grandes instancias de cómputo acelerado. Es posible que muchas de estas instancias más grandes no estén disponibles de forma predeterminada en su cuenta de AWS. Consulte las cuotas de SageMaker IA predeterminadas y asegúrese de solicitar un aumento de cuota antes de realizar la implementación para evitar errores habituales en la implementación.
Utilice un punto final de SageMaker IA para crear un despliegue de casos de uso de Text
Para implementar un nuevo caso de uso de Text utilizando un punto final de SageMaker IA a modo de inferencia:
-
Cree un nuevo caso de uso mediante el asistente del panel de implementación y complete los formularios hasta llegar a la página de selección de modelos.
-
En la página de modelos, seleccione SageMaker AI como proveedor de modelos. Esto generará un formulario personalizado que requerirá tres entradas clave del usuario:
-
El nombre del punto final de SageMaker IA que quieres usar. DevOps los usuarios pueden obtenerlo desde la consola de AWS. Tenga en cuenta que el punto de conexión debe estar en la misma cuenta y región en las que está implementada la solución.
Ubicación del nombre del punto de conexión en la consola de AWS
-
El esquema de la carga útil de entrada que espera el punto final. Para admitir el conjunto más amplio de puntos finales, los usuarios administradores deben indicar a la solución cómo espera su punto final que se formatee la entrada. En el asistente de selección de modelos, proporcione el esquema JSON para que la solución se envíe al punto final. Puede añadir marcadores de posición para introducir valores estáticos y dinámicos en la carga útil de la solicitud. Las opciones disponibles son:
-
Los marcadores de posición obligatorios:\ <\ <prompt\ >\ > se sustituirán dinámicamente por la entrada completa (por ejemplo, el historial, el contexto y la entrada del usuario según la plantilla de solicitud) y se enviarán al punto final de la SageMaker IA durante el tiempo de ejecución.
-
Se <temperature\ > pueden proporcionar al punto final marcadores de posición opcionales:\ <\\ > *,\ *, así como cualquier parámetro definido en los parámetros avanzados del modelo. Cualquier cadena que contenga un marcador de posición entre\ <\ < and\ >\ > (por ejemplo,\ <\ <max_new_tokens\ >\ >) se sustituirá por el valor del parámetro del modelo avanzado del mismo nombre.
Ejemplo de esquema de entrada: configuración de campos obligatorios, indicador y temperatura, junto con un parámetro avanzado personalizado, max_new_tokens. La ruta de salida debe proporcionarse como una cadena válida JSONPath
-
-
-
La ubicación de la respuesta de cadena LLMs generada dentro de la carga útil de salida. Debe proporcionarse como una JSONPath expresión para indicar desde dónde se espera acceder a la respuesta de texto final que se muestra a los usuarios desde el objeto devuelto y la respuesta del punto final.
Ejemplo de cómo añadir parámetros de modelo avanzados para utilizarlos en un esquema de entrada de SageMaker IA (consulte la figura 2 para ver las opciones y ajustes anteriores)
nota
SageMaker La IA ahora admite el alojamiento de varios modelos en el mismo punto final, y esta es la configuración predeterminada al implementar un punto final en la versión actual de SageMaker AI Studio (no en Studio Classic).
Si tu terminal está configurado de esta manera, tendrás que añadirlo InferenceComponentNamea la sección de parámetros avanzados del modelo con un valor que corresponda al nombre del modelo que quieras usar.
