Guía de integración

Cree una nueva pila de TextUseCase CDK, que despliegue la aplicación de chat configurada con su proveedor de LLM personalizado:

Cree y adjunte una capa Lambda que contenga la biblioteca de Python del proveedor de modelos que se va a añadir. En el caso de una aplicación de chat de casos de uso de Amazon Bedrock, la biblioteca de langchain-aws Python incluye los conectores personalizados en la parte superior del LangChain paquete para conectarse a los proveedores de modelos de AWS (Amazon Bedrock e SageMaker IA), las bases de conocimiento (bases de conocimiento de Amazon Kendra y Amazon Bedrock) y los tipos de memoria (como DynamoDB). Del mismo modo, otros proveedores de modelos tienen sus propios conectores. Esta capa le ayuda a adjuntar la biblioteca Python de este proveedor de modelos para que pueda usar estos conectores en la capa Lambda de chat, que invoca el LLM (paso 3). En esta solución, se utiliza un empaquetador de activos personalizado para crear capas Lambda, que se adjuntan mediante aspectos de CDK. Para crear una capa nueva para la biblioteca de proveedores de modelos personalizados:

Amplíe la función chat Lambda para implementar un generador, un cliente y un controlador para el nuevo proveedor.

source/lambda/chatContiene las LangChain conexiones de las diferentes clases LLMs junto con las clases auxiliares para crearlas. LLMs Estas clases de apoyo siguen los patrones de diseño orientado a objetos y constructores para crear el LLM.

Cada controlador (por ejemplobedrock_handler.py) crea primero un cliente, comprueba el entorno en busca de las variables de entorno necesarias y, a continuación, llama a un get_model método para obtener la clase LangChain LLM. A continuación, se llama al método generate para invocar el LLM y obtener su respuesta. LangChain actualmente admite la funcionalidad de streaming para Amazon Bedrock, pero no para la SageMaker IA. Según la funcionalidad de transmisión o no transmisión, se llama al WebSocket controlador (WebsocketStreamingCallbackHandleroWebsocketHandler) apropiado para enviar la respuesta a la WebSocket conexión mediante el método. post_to_connection

La clients/builder carpeta contiene las clases que ayudan a crear un LLM Builder utilizando el patrón Builder. En primer lugar, use_case_config se recupera a de un almacén de configuraciones de DynamoDB, que almacena los detalles sobre el tipo de base de conocimientos, memoria de conversación y modelo que se debe construir. También contiene detalles relevantes del modelo, como los parámetros y las instrucciones del modelo. Luego, The Builder ayuda a seguir los pasos para crear una base de conocimientos, crear una memoria de conversación para mantener el contexto de la conversación en el caso de la LLM, configurar las LangChain llamadas apropiadas para los casos de transmisión y no transmisión y crear un modelo de LLM basado en las configuraciones del modelo proporcionadas. La configuración de DynamoDB se almacena en el momento de la creación del caso de uso cuando se implementa un caso de uso desde el panel de implementación (o cuando la proporcionan los usuarios en las implementaciones de pilas de casos de uso independientes sin el panel de implementación).

La clients/factories subcarpeta ayuda a configurar la memoria de conversación y la clase de base de conocimientos adecuadas, en función de la configuración de LLM. Esto permite ampliarla fácilmente a cualquier otra base de conocimientos o tipos de memoria que desee que admita su implementación.

La shared subcarpeta contiene implementaciones específicas de la base de conocimientos y la memoria de conversación, que el creador crea instancias en las fábricas. También contiene los recuperadores de la base de conocimientos de Amazon Kendra y Amazon Bedrock a los que se recurre LangChain para recuperar documentos para los casos de uso de RAG, junto con devoluciones de llamada, que utiliza el modelo LLM. LangChain

LangChain Las implementaciones utilizan el Lenguaje de LangChain Expresión (LCEL) para componer cadenas de conversación juntas. RunnableWithMessageHistoryLa clase se utiliza para mantener el historial de conversaciones con cadenas LCEL personalizadas, lo que permite utilizar funciones como la devolución de los documentos fuente y el uso de la pregunta reformulada (o desambiguada) enviada a la base de conocimientos para enviarla también al LLM.

Para crear tu propia implementación de un proveedor personalizado, puedes:

Diríjase al almacén de parámetros de AWS Systems Manager en su cuenta de AWS.

Localice el parámetro: /gaab/<stack-name>/strands-tools

Añada la configuración de la herramienta al final de la lista existente mediante la siguiente estructura JSON:

{
  "name": "Bedrock KB Retrieve",
  "description": "Retrieve information from Bedrock Knowledge Base",
  "value": "retrieve",
  "category": "AI",
  "isDefault": false
}

Navegue hasta la consola de IAM en su cuenta de AWS.

Localice la función AgentCore de ejecución en tiempo de ejecución de su agente.

Añada el siguiente permiso:

{
  "Effect": "Allow",
  "Action": "bedrock:Retrieve",
  "Resource": "arn:aws:bedrock:region:account-id:knowledge-base/knowledge-base-id"
}

Puede usar el –0—/stage-assets.sh script para almacenar manualmente cualquier activo generado en el depósito de almacenamiento provisional de su cuenta.

Usa el siguiente comando para implementar o actualizar la plataforma:

cdk deploy DeploymentPlatformStack --parameters AdminUserEmail='admin-email@amazon.com'

Todos CloudFormation los parámetros de AWS adicionales también deben proporcionarse junto con el AdminUserEmailparámetro.