Crea un'applicazione RAG utilizzando Amazon Bedrock Knowledge Bases

Molte aziende accumulano ampi archivi di documenti nelle proprie condivisioni di file NFS e SMB: manuali di prodotto, documenti relativi alle politiche, contratti, rapporti di ricerca, specifiche tecniche e contenuti generati dagli utenti.

Con un access point Amazon S3 collegato al volume FSx for ONTAP, Amazon Bedrock Knowledge Bases acquisisce i contenuti direttamente dal volume. Foundation-model le risposte si basano sui documenti in cui i team le salvano tramite NFS o SMB. I contenuti che gli autori aggiornano sulla condivisione diventano disponibili per la knowledge base alla successiva sincronizzazione.

In questo tutorial, carichi un piccolo set di PDF di esempio sul tuo volume FSx for ONTAP tramite un punto di accesso Amazon S3, crei una knowledge base Amazon Bedrock che punti al punto di accesso, acquisisci i documenti ed esegui una domanda tramite l'API. RetrieveAndGenerate

Prerequisiti

Prima di iniziare, assicurati di disporre di:

Fase 1: caricare documenti di esempio sul punto di accesso

Scarica alcuni PDF pubblici da utilizzare come corpus di esempio, quindi caricali sul tuo punto di accesso utilizzando l'alias del punto di accesso Amazon S3.

Fase 2: Creare un archivio vettoriale

La knowledge base archivia gli incorporamenti dei documenti in un archivio vettoriale. Amazon Bedrock Knowledge Bases supporta diversi archivi vettoriali; questo tutorial utilizza Amazon S3 Vectors come impostazione predefinita perché è ottimizzata in termini di costi per i carichi di lavoro RAG e richiede una configurazione minima. È supportato anche Amazon OpenSearch Serverless; consulta la sezione pieghevole alla fine di questo passaggio per queste istruzioni.

Per creare l'archivio vettoriale utilizzando la console

Se utilizzi la console per creare la knowledge baseFase 4: Creare la knowledge base e la fonte di dati, scegli Creazione rapida di un nuovo archivio vettoriale nella fase del database Vector e seleziona Amazon S3 Vectors (consigliato) o Amazon Serverless. OpenSearch Amazon Bedrock crea automaticamente l'archivio vettoriale e tutte le configurazioni richieste. Passare direttamente a Fase 3: Creare un ruolo IAM per la knowledge base.

Per creare un archivio vettoriale Amazon S3 Vectors utilizzando il AWS CLI

Fase 3: Creare un ruolo IAM per la knowledge base

La knowledge base necessita di un ruolo IAM da assumere per richiamare il modello di incorporamento, leggere gli oggetti tramite il punto di accesso Amazon S3 e accedere al vector store. La politica mostrata di seguito consente l'accesso a un archivio vettoriale Amazon S3 Vectors. Se invece utilizzi OpenSearch Service Serverless, sostituisci l'S3Vectorsistruzione con una che garantisca l'aoss:APIAccessAllARN della raccolta.

Per creare il ruolo utilizzando la console

Quando crei la knowledge base utilizzando la console Amazon Bedrock inFase 4: Creare la knowledge base e la fonte di dati, scegli Crea e usa un nuovo ruolo di servizio. Amazon Bedrock crea un ruolo con la fiducia e le autorizzazioni richieste, in base alla tua knowledge base, al modello di incorporamento, all'archivio vettoriale e alla fonte di dati. Passare direttamente a Fase 4: Creare la knowledge base e la fonte di dati.

Fase 4: Creare la knowledge base e la fonte di dati

L'origine dati punta all'alias del punto di accesso Amazon S3. Amazon Bedrock Knowledge Bases accetta l'alias del punto di accesso al posto del nome del bucket.

Per creare la knowledge base utilizzando la console

Per creare la knowledge base utilizzando il AWS CLI

Fase 5: Inserire i documenti

Esegui un processo di inserimento per scansionare i documenti attraverso il punto di accesso, generare incorporamenti e indicizzarli nell'archivio vettoriale.

Per eseguire l'ingestione utilizzando la console

Per eseguire l'ingestione utilizzando il AWS CLI

Fase 6: Interroga la knowledge base

Poni alla knowledge base una domanda basata sui documenti acquisiti. La risposta include citazioni che fanno riferimento ai documenti di origine tramite l'alias del punto di accesso Amazon S3.

Per eseguire query utilizzando la console

Per eseguire interrogazioni utilizzando il AWS CLI

Utilizza il comando retrieve-and-generate. Sostituisci i segnaposto con i tuoi valori. modelArnDevono fare riferimento a un profilo di inferenza per un modello di generazione di testo a cui avete accesso.

$ aws bedrock-agent-runtime retrieve-and-generate \
    --input '{"text":"What are the pillars of the AWS Well-Architected Framework?"}' \
    --retrieve-and-generate-configuration '{
        "type":"KNOWLEDGE_BASE",
        "knowledgeBaseConfiguration":{
            "knowledgeBaseId":"knowledge-base-id",
            "modelArn":"arn:aws:bedrock:region:account-id:inference-profile/us.amazon.nova-lite-v1:0"
        }
    }'

La risposta contiene la risposta generata output.text e un elenco di citazioni nell'citationsarray. Ogni citazione include un s3Location.uri campo che rimanda al documento di origine tramite l'alias del punto di accesso, nel modulo. s3://access-point-alias/file.pdf

Risoluzione dei problemi

Eliminazione

Per evitare addebiti continui, elimina le risorse che hai creato:

$ aws bedrock-agent delete-data-source --knowledge-base-id knowledge-base-id --data-source-id data-source-id
aws bedrock-agent delete-knowledge-base --knowledge-base-id knowledge-base-id
aws s3vectors delete-index --vector-bucket-name fsxn-kb-vectors --index-name bedrock-kb-index
aws s3vectors delete-vector-bucket --vector-bucket-name fsxn-kb-vectors
aws iam delete-role-policy --role-name fsxn-kb-role --policy-name kb-access
aws iam delete-role --role-name fsxn-kb-role

$ # Get the collection ID (required by delete-collection; the name is not accepted)
COLLECTION_ID=$(aws opensearchserverless batch-get-collection --names fsxn-kb \
    --query 'collectionDetails[0].id' --output text)

# Delete the collection, then the policies
aws opensearchserverless delete-collection --id "$COLLECTION_ID"
aws opensearchserverless delete-access-policy --name kb-data --type data
aws opensearchserverless delete-security-policy --name kb-net --type network
aws opensearchserverless delete-security-policy --name kb-enc --type encryption