Cree una aplicación RAG con las bases de conocimiento de Amazon Bedrock

Muchas empresas acumulan grandes repositorios de documentos en sus archivos compartidos de NFS y SMB: manuales de productos, documentos de políticas, contratos, informes de investigación, especificaciones de ingeniería y contenido generado por los usuarios.

Con un punto de acceso Amazon S3 conectado al volumen FSx for ONTAP, las bases de conocimiento de Amazon Bedrock ingieren contenido directamente del volumen. Foundation-model las respuestas se basan en los documentos donde sus equipos las guardan en NFS o SMB. El contenido que los redactores actualizan al compartir estará disponible en la base de conocimientos en la próxima sincronización.

En este tutorial, cargará un pequeño conjunto de ejemplos de archivos PDF a su volumen de FSx for ONTAP a través de un punto de acceso de Amazon S3, creará una base de conocimientos de Amazon Bedrock que apunte al punto de acceso, recopilará los documentos y formulará una pregunta a través de la API. RetrieveAndGenerate

Requisitos previos

Antes de empezar, asegúrese de que tiene lo siguiente:

Paso 1: Cargue documentos de muestra en el punto de acceso

Descargue algunos archivos PDF públicos para usarlos como corpus de muestra y, a continuación, cárguelos en su punto de acceso con el alias del punto de acceso Amazon S3.

Paso 2: Crea un almacén de vectores

La base de conocimientos almacena los documentos incrustados en un almacén vectorial. Las bases de conocimiento de Amazon Bedrock admiten varios almacenes de vectores; en este tutorial, se utiliza Amazon S3 Vectors de forma predeterminada porque tiene un coste optimizado para las cargas de trabajo de RAG y requiere una configuración mínima. Amazon OpenSearch Serverless también es compatible; consulta la sección de plegables al final de este paso para ver esas instrucciones.

Para crear el almacén de vectores mediante la consola

Si utiliza la consola para crear la base de conocimientosPaso 4: Cree la base de conocimientos y la fuente de datos, elija Creación rápida de un nuevo almacén de vectores en el paso Base de datos vectorial y seleccione Amazon S3 Vectors (recomendado) o Amazon OpenSearch Serverless. Amazon Bedrock crea automáticamente el almacén de vectores y toda la configuración necesaria. Vaya a Paso 3: Cree un rol de IAM para la base de conocimientos.

Para crear un almacén de vectores de Amazon S3 mediante el AWS CLI

Paso 3: Cree un rol de IAM para la base de conocimientos

La base de conocimientos necesita una función de IAM que pueda asumir para invocar el modelo de incrustación, leer objetos a través del punto de acceso Amazon S3 y acceder al almacén vectorial. La política que se muestra a continuación permite el acceso a un almacén vectorial de Amazon S3 Vectors. Si, en su lugar, utiliza OpenSearch Service Serverless, sustituya la S3Vectors declaración por una que otorgue aoss:APIAccessAll el ARN de la colección.

Para crear el rol mediante la consola

Cuando cree la base de conocimientos con la consola de Amazon Bedrock enPaso 4: Cree la base de conocimientos y la fuente de datos, elija Crear y usar un nuevo rol de servicio. Amazon Bedrock crea un rol con la confianza y los permisos necesarios, en función de su base de conocimientos, modelo de incrustación, almacén vectorial y fuente de datos. Vaya a Paso 4: Cree la base de conocimientos y la fuente de datos.

Paso 4: Cree la base de conocimientos y la fuente de datos

La fuente de datos apunta al alias de su punto de acceso Amazon S3. Amazon Bedrock Knowledge Bases acepta el alias del punto de acceso en lugar del nombre del bucket.

Para crear la base de conocimientos mediante la consola

Para crear la base de conocimientos mediante AWS CLI

Paso 5: Ingiera los documentos

Ejecute un trabajo de ingestión para rastrear los documentos a través del punto de acceso, generar incrustaciones e indexarlos en el almacén vectorial.

Para ejecutar la ingestión mediante la consola

Para ejecutar la ingestión mediante el AWS CLI

Paso 6: consulte la base de conocimientos

Haga una pregunta a la base de conocimientos basada en los documentos ingeridos. La respuesta incluye citas que hacen referencia a los documentos fuente a través del alias del punto de acceso Amazon S3.

Para realizar consultas mediante la consola

Para realizar consultas utilizando el AWS CLI

Utilice el comando retrieve-and-generate. Sustituya los marcadores de posición por sus valores. modelArnDebe hacer referencia a un perfil de inferencia para un modelo de generación de texto al que tenga acceso.

$ aws bedrock-agent-runtime retrieve-and-generate \
    --input '{"text":"What are the pillars of the AWS Well-Architected Framework?"}' \
    --retrieve-and-generate-configuration '{
        "type":"KNOWLEDGE_BASE",
        "knowledgeBaseConfiguration":{
            "knowledgeBaseId":"knowledge-base-id",
            "modelArn":"arn:aws:bedrock:region:account-id:inference-profile/us.amazon.nova-lite-v1:0"
        }
    }'

La respuesta contiene la respuesta generada output.text y una lista de citas en la citations matriz. Cada cita incluye un s3Location.uri campo que apunta al documento fuente a través del alias del punto de acceso, en el formularios3://access-point-alias/file.pdf.

Resolución de problemas

Limpieza

Para evitar que se sigan cobrando cargos, elimine los recursos que ha creado:

$ aws bedrock-agent delete-data-source --knowledge-base-id knowledge-base-id --data-source-id data-source-id
aws bedrock-agent delete-knowledge-base --knowledge-base-id knowledge-base-id
aws s3vectors delete-index --vector-bucket-name fsxn-kb-vectors --index-name bedrock-kb-index
aws s3vectors delete-vector-bucket --vector-bucket-name fsxn-kb-vectors
aws iam delete-role-policy --role-name fsxn-kb-role --policy-name kb-access
aws iam delete-role --role-name fsxn-kb-role

$ # Get the collection ID (required by delete-collection; the name is not accepted)
COLLECTION_ID=$(aws opensearchserverless batch-get-collection --names fsxn-kb \
    --query 'collectionDetails[0].id' --output text)

# Delete the collection, then the policies
aws opensearchserverless delete-collection --id "$COLLECTION_ID"
aws opensearchserverless delete-access-policy --name kb-data --type data
aws opensearchserverless delete-security-policy --name kb-net --type network
aws opensearchserverless delete-security-policy --name kb-enc --type encryption