Implementación de un caso de uso de RAG en AWS mediante Terraform y Amazon Bedrock - Recomendaciones de AWS
ResumenRequisitos previos y limitacionesArquitecturaHerramientasPrácticas recomendadasEpicsRecursos relacionadosInformación adicional

Implementación de un caso de uso de RAG en AWS mediante Terraform y Amazon Bedrock

Martin Maritsch, Nicolas Jacob Baer, Olivier Brique, Julian Ferdinand Grueber, Alice Morano y Nicola D Orazio, Amazon Web Services

Resumen

AWS ofrece varias opciones para desarrollar sus casos de uso de IA generativa habilitados para la generación aumentada por recuperación (RAG). Este patrón le proporciona una solución para una aplicación basada en RAG basada en LangChain y Amazon Aurora compatible con PostgreSQL como almacén de vectores. Puede implementar esta solución directamente con Terraform en su Cuenta de AWS e implementar el siguiente caso de uso sencillo de RAG:

  1. El usuario carga un archivo de forma manual en un bucket de Amazon Simple Storage Service (Amazon S3), como un archivo de Microsoft Excel o un documento PDF. (Para obtener más información sobre los tipos de archivos compatibles, consulte la documentación de Unstructured [Sin estructurar]).

  2. El contenido del archivo se extrae y se incrusta en una base de datos de conocimiento basada en Aurora sin servidor compatible con PostgreSQL, que permite la ingesta de documentos casi en tiempo real en el almacén vectorial. Este enfoque permite al modelo de RAG acceder a la información relevante y recuperarla para casos de uso en los que las bajas latencias son importantes.

  3. Cuando el usuario utiliza el modelo de generación de texto, mejora la interacción al recuperar y aumentar el contenido relevante de los archivos cargados anteriormente.

El patrón utiliza Amazon Titan Text Embeddings v2 como modelo de incrustación y Anthropic Claude 3 Sonnet como modelo de generación de texto, ambos disponibles en Amazon Bedrock.

Requisitos previos y limitaciones

Requisitos previos

  • Una Cuenta de AWS activa.

  • La AWS Command Line Interface (AWS CLI) instalada y configurada con su Cuenta de AWS. Para obtener instrucciones de instalación, consulte Instalación o actualización de la versión más reciente de AWS CLI en la documentación de AWS CLI. Para revisar sus credenciales de AWS y el acceso a su cuenta, consulte Opciones de los archivos de configuración y credenciales en la documentación de AWS CLI.

  • Acceso al modelo que está habilitado para los modelos de lenguaje de gran tamaño (LLM) requeridos en la consola Amazon Bedrock de su Cuenta de AWS. Este patrón requiere los siguientes LLM:

    • amazon.titan-embed-text-v2:0

    • anthropic.claude-3-sonnet-20240229-v1:0

Limitaciones

  • Esta arquitectura de ejemplo no incluye una interfaz para responder preguntas mediante programación con la base de datos vectorial. Si su caso de uso requiere una API, considere añadir Amazon API Gateway con una función de AWS Lambda que ejecute tareas de recuperación y respuesta a preguntas. 

  • Este ejemplo de arquitectura no incluye características de supervisión para la infraestructura implementada. Si su caso de uso requiere supervisión, considere la posibilidad de añadir servicios de supervisión de AWS.

  • Si carga muchos documentos en poco tiempo al bucket de Amazon S3, es posible que la función de Lambda encuentre límites de tasas. Como solución, puede desacoplar la función de Lambda de una cola de Amazon Simple Queue Service (Amazon SQS) donde pueda controlar la frecuencia de las invocaciones de Lambda.

  • Algunos Servicios de AWS no están disponibles en todas las Regiones de AWS. Para obtener información sobre la disponibilidad en regiones, consulte Servicios de AWS by Region. Para ver los puntos de conexión específicos, consulte Service endpoints and quotas y elija el enlace del servicio.

Versiones de producto

  • AWS CLI versión 2 o posterior

  • La versión 26.0.0 o posterior de Docker

  • Poetry versión 1.7.1 o posterior

  • Python versión 3.10 o posterior

  • La versión 1.8.4 o posterior de Terraform

Arquitectura

En el siguiente diagrama se muestran los componentes de la arquitectura y el flujo de trabajo de esta aplicación.

Flujo de trabajo para crear una aplicación basada en RAG con Aurora PostgreSQL y LLM en Amazon Bedrock.

Este diagrama ilustra lo siguiente:

  1. Cuando se crea un objeto en el bucket bedrock-rag-template-<account_id> de Amazon S3, una notificación de Amazon S3 invoca la función de Lambda data-ingestion-processor.

  2. La función de Lambda data-ingestion-processor se basa en una imagen de Docker almacenada en el repositorio Amazon Elastic Container Registry (Amazon ECR) bedrock-rag-template.

    La función usa el LangChain S3FileLoader para leer el archivo como un documento de LangChain. A continuación, el LangChain RecursiveCharacterTextSplitter divide cada documento en trozos, con un CHUNK_SIZE y un CHUNK_OVERLAP que dependen del tamaño máximo de token del modelo de incrustación de Amazon Titan Text Embeddings V2. A continuación, la función de Lambda invoca el modelo de incrustación de Amazon Bedrock para incrustar los fragmentos en representaciones vectoriales numéricas. Por último, estos vectores se almacenan en la base de datos de Aurora PostgreSQL. Para acceder a la base de datos, la función de Lambda recupera primero el nombre de usuario y la contraseña de AWS Secrets Manager.

  3. En la instancia de cuaderno aws-sample-bedrock-rag-template de Amazon SageMaker AI, el usuario puede escribir una petición de pregunta. El código invoca Claude 3 en Amazon Bedrock y añade la información de la base de conocimientos al contexto de la petición. Como resultado, Claude 3 proporciona respuestas utilizando la información de los documentos.

El enfoque de este patrón con respecto a las redes y la seguridad es el siguiente:

  • La función de Lambda data-ingestion-processor se encuentra en una subred privada dentro de la nube privada virtual (VPC). La función de Lambda no puede enviar tráfico a la Internet pública debido a su grupo de seguridad. Como resultado, el tráfico a Amazon S3 y Amazon Bedrock se enruta únicamente a través de los puntos de conexión de VPC. Por lo tanto, el tráfico no atraviesa la red pública de Internet, lo que reduce la latencia y añade una capa adicional de seguridad a nivel de red.

  • Todos los recursos y datos se cifran siempre que sea posible mediante la clave AWS Key Management Service (AWS KMS) con el alias aws-sample/bedrock-rag-template.

Automatizar y escalar

Este patrón utiliza Terraform para implementar la infraestructura del repositorio de código en una Cuenta de AWS.

Herramientas

Servicios de AWS

  • La edición de Amazon Aurora compatible con PostgreSQL es un motor de base de datos relacional compatible con ACID, completamente administrado que le permite configurar, utilizar y escalar implementaciones de PostgreSQL. En este patrón, Aurora compatible con PostgreSQL utiliza el complemento pgvector como base de datos vectorial.

  • Amazon Bedrock es un servicio totalmente administrado que pone a su disposición modelos fundacionales (FM) de alto rendimiento de las principales startups de IA y Amazon a través de una API unificada.

  • La AWS Command Line Interface (AWS CLI) es una herramienta de código abierto que le permite interactuar con los Servicios de AWS mediante comandos en el intérprete de comandos de la línea de comandos.

  • Amazon Elastic Container Registry (Amazon ECR) es un servicio de registro de imágenes de contenedor administrado que es seguro, escalable y fiable. En este patrón, Amazon ECR aloja la imagen de Docker para la función de Lambda data-ingestion-processor.

  • AWS Identity and Access Management(IAM) lo ayuda a administrar de forma segura el acceso a sus recursos AWS al controlar quién está autenticado y autorizado a usarlos.

  • AWS Key Management Service (AWS KMS) lo ayuda a crear y controlar claves criptográficas que ayudan a proteger los datos.

  • AWS Lambda es un servicio de computación que ayuda a ejecutar código sin necesidad de aprovisionar ni administrar servidores. Ejecuta el código solo cuando es necesario y amplía la capacidad de manera automática, por lo que solo pagará por el tiempo de procesamiento que utilice. En este patrón, Lambda ingiere datos en el almacén vectorial.

  • Amazon SageMaker AI es un servicio de machine learning (ML) administrado que permite crear y entrenar modelos de ML de forma rápida y sencilla y, a continuación, implementarlos en un entorno alojado listo para su uso.

  • AWS Secrets Manager lo ayuda a reemplazar las credenciales codificadas en su código, incluidas contraseñas, con una llamada a la API de Secrets Manager para recuperar el secreto mediante programación.

  • Amazon Simple Storage Service (Amazon S3) es un servicio de almacenamiento de objetos basado en la nube que lo ayuda a almacenar, proteger y recuperar cualquier cantidad de datos.

  • Amazon Virtual Private Cloud (Amazon VPC) le permite lanzar recursos de AWS en una red virtual que haya definido. Esa red virtual es similar a la red tradicional que utiliza en su propio centro de datos, con los beneficios de usar la infraestructura escalable de AWS. La VPC incluye subredes y tablas de enrutamiento para controlar el flujo de tráfico.

Otras herramientas

  • Docker es un conjunto de productos de plataforma como servicio (PaaS) que utiliza la virtualización a nivel del sistema operativo para entregar software en contenedores.

  • HashiCorp Terraform es una herramienta de infraestructura como código (IaC) que facilita usar el código para aprovisionar y administrar la infraestructura y los recursos en la nube.

  • Poetry es una herramienta de empaquetado y administración de dependencias de Python.

  • Python es un lenguaje de programación informático de uso general.

Repositorio de código

El código de este patrón está disponible en el repositorio terraform-rag-template-using-amazon-bedrock.

Prácticas recomendadas

  • Aunque este ejemplo de código se puede implementar en cualquier Región de AWS, te recomendamos que utilices Este de EE. UU. (Norte de Virginia):us-east-1 u Oeste de EE. UU. (Norte de California): us-west-1. Esta recomendación se basa en la disponibilidad de modelos de incrustación y fundacionales en Amazon Bedrock en el momento de la publicación de este patrón. Para obtener una lista actualizada del soporte de modelos de base de Amazon Bedrock en Regiones de AWS, consulte Soporte de modelos pr Región de AWS en la documentación de Amazon Bedrock. Para obtener información sobre cómo implementar este ejemplo de código en otras regiones, consulte la información adicional.

  • Este patrón solo proporciona una prueba de concepto (PoC) o una demostración piloto. Si desea llevar el código a producción, asegúrese de seguir las siguientes prácticas recomendadas:

    • Habilite el registro de acceso al servidor de Amazon S3.

    • Configure la supervisión y las alertas para la función de Lambda.

    • Si su caso de uso requiere una API, considere añadir Amazon API Gateway con una función de Lambda que ejecute tareas de recuperación y respuesta a preguntas.

  • Siga el principio de privilegio mínimo y conceda los permisos mínimos necesarios para llevar a cabo una tarea. Para obtener más información, consulte Otorgar privilegio mínimo y Prácticas recomendadas de seguridad en la documentación de IAM.

Epics

TareaDescripciónHabilidades requeridas

Clonar el repositorio.

Para clonar el repositorio de GitHub proporcionado con este patrón, use el siguiente comando:

git clone https://github.com/aws-samples/terraform-rag-template-using-amazon-bedrock
DevOps de AWS

Configure las variables.

Para configurar los parámetros de este patrón, haga lo siguiente:

  1. En su equipo, en el repositorio de GitHub, use el siguiente comando para abrir la carpeta terraform:

    cd terraform

  2. Abra el archivo commons.tfvars y personalice los parámetros según sus necesidades.

DevOps de AWS

Implemente la solución.

Para implementar la solución, haga lo siguiente:

  1. En la carpeta terraform, use el siguiente comando para ejecutar Terraform y pasar las variables que ha personalizado:

    terraform init
terraform apply -var-file=commons.tfvars

  2. Confirme que los recursos que se muestran en el diagrama de arquitectura se implementaron correctamente.

La implementación de la infraestructura aprovisiona una instancia de IA de Sagemaker dentro de la VPC y con los permisos para acceder a la base de datos de Aurora PostgreSQL.

DevOps de AWS
TareaDescripciónHabilidades requeridas

Ejecute la demostración.

Una vez que la implementación anterior de la infraestructura se haya realizado correctamente, siga estos pasos para ejecutar la demostración en cuaderno de Jupyter:

  1. Inicie sesión en la Consola de administración de AWS de la Cuenta de AWS en que está implementada la infraestructura.

  2. Abra la instancia del cuaderno de SageMaker AI aws-sample-bedrock-rag-template.

  3. Para mover el cuaderno de Jupyter rag_demo.ipynb a la instancia de cuaderno de SageMaker AI, arrástrelo y suéltelo.

  4. Abra rag_demo.ipynb en la instancia del cuaderno de SageMaker AI y elija el kernel conda_python3.

  5. Para ejecutar la demostración, ejecute las celdas del cuaderno.

El cuaderno de Jupyter le guía a través del siguiente proceso:

  • Requisitos de instalación

  • Definición de incrustación

  • Conexión a la base de datos

  • Ingesta de datos

  • Generación aumentada por recuperación

  • Consultas de documentos relevantes

AWS general
TareaDescripciónHabilidades requeridas

Limpie la infraestructura.

Para eliminar todos los recursos que creó cuando ya no sean necesarios, utilice el siguiente comando:

terraform destroy -var-file=commons.tfvars
DevOps de AWS

Recursos relacionados

AWS Recursos de

Otros recursos

Información adicional

Implementación de una base de datos vectorial

Este patrón utiliza Aurora compatible con PostgreSQL para implementar una base de datos vectorial para RAG. Como alternativa a Aurora PostgreSQL, AWS ofrece otras capacidades y servicios para RAG, como bases de conocimiento de Amazon Bedrock y Amazon OpenSearch Service. Puede elegir la solución que mejor se adapte a sus requisitos específicos:

  • Amazon OpenSearch Service proporciona motores de búsqueda y análisis distribuidos que puede utilizar para almacenar y consultar grandes volúmenes de datos.

  • Las bases de conocimiento de Amazon Bedrock están diseñadas para crear e implementar bases de conocimiento como una abstracción adicional para simplificar el proceso de ingesta y recuperación de RAG. Las bases de conocimiento de Amazon Bedrock funcionan tanto con Aurora PostgreSQL como con Amazon OpenSearch Service.

Implementación en otras Regiones de AWS

Como se describe en Arquitectura, le recomendamos que utilice la región Este de EE. UU. (Norte de Virginia):us-east-1 u Oeste de EE. UU. (Norte de California):us-west-1 para implementar este ejemplo de código. Sin embargo, hay dos formas posibles de implementar este ejemplo de código en regiones distintas de us-east-1 y us-west-1. Puede configurar la región de implementación en el archivo commons.tfvars. Para el acceso al modelo fundacional entre regiones, tenga en cuenta las opciones siguientes:

  • Atravesar la Internet pública: si el tráfico puede atravesar la Internet pública, añada puertas de enlace de Internet a la VPC. A continuación, ajuste el grupo de seguridad asignado a la función de Lambda data-ingestion-processor y a la instancia de cuaderno de SageMaker AI para permitir el tráfico saliente a la Internet pública.

  • No atravesar la Internet pública: para implementar este ejemplo en cualquier otra región que no sea us-east-1 ni us-west-1, haga lo siguiente:

  1. En la región us-east-1 o us-west-1, cree una VPC adicional que incluya un punto de conexión de VPC para bedrock-runtime.

  2. Cree una conexión de emparejamiento mediante el emparejamiento de VPC o una puerta de enlace de tránsito a la VPC de la aplicación.

  3. Al configurar el cliente bedrock-runtime de boto3 en cualquier función de Lambda fuera de us-east-1 o us-west-1, pase el nombre de DNS privado del punto de conexión de VPC para bedrock-runtime en us-east-1 o us-west-1 como endpoint_url al cliente de boto3.