Crie um aplicativo RAG usando as bases de conhecimento Amazon Bedrock

Muitas empresas acumulam grandes repositórios de documentos em seus compartilhamentos de arquivos NFS e SMB — manuais de produtos, documentos de políticas, contratos, relatórios de pesquisa, especificações de engenharia e conteúdo gerado pelo usuário.

Com um ponto de acesso Amazon S3 conectado ao volume FSx for ONTAP, o Amazon Bedrock Knowledge Bases ingere conteúdo diretamente do volume. Foundation-model as respostas são baseadas nos documentos em que suas equipes as salvam via NFS ou SMB. O conteúdo que os escritores atualizam no compartilhamento fica disponível para a base de conhecimento na próxima sincronização.

Neste tutorial, você carrega um pequeno conjunto de exemplos de PDFs no volume FSx for ONTAP por meio de um ponto de acesso do Amazon S3, cria uma base de conhecimento do Amazon Bedrock que aponta para o ponto de acesso, ingere os documentos e executa uma pergunta por meio da API. RetrieveAndGenerate

Pré-requisitos

Antes de começar, você deve ter o seguinte:

Etapa 1: fazer upload de documentos de amostra para o ponto de acesso

Baixe alguns PDFs públicos para usar como amostra de corpus e, em seguida, carregue-os em seu ponto de acesso usando o alias de ponto de acesso do Amazon S3.

Etapa 2: criar um armazenamento de vetores

A base de conhecimento armazena incorporações de documentos em um repositório vetorial. O Amazon Bedrock Knowledge Bases oferece suporte a vários armazenamentos de vetores; este tutorial usa os vetores do Amazon S3 como padrão, pois é otimizado em termos de custo para cargas de trabalho do RAG e requer configuração mínima. O Amazon OpenSearch Serverless também é compatível; consulte a seção dobrável no final desta etapa para obter essas instruções.

Para criar o armazenamento vetorial usando o console

Se você usar o console para criar a base de conhecimento noEtapa 4: criar a base de conhecimento e a fonte de dados, escolha Criar rapidamente um novo armazenamento vetorial na etapa do banco de dados vetoriais e selecione Amazon S3 Vectors (recomendado) ou Amazon Serverless. OpenSearch O Amazon Bedrock cria automaticamente o armazenamento vetorial e todas as configurações necessárias. Avance para Etapa 3: criar uma função do IAM para a base de conhecimento.

Para criar um armazenamento vetorial do Amazon S3 Vectors usando o AWS CLI

Etapa 3: criar uma função do IAM para a base de conhecimento

A base de conhecimento precisa de uma função do IAM que ela possa assumir para invocar o modelo de incorporação, ler objetos por meio do ponto de acesso do Amazon S3 e acessar o armazenamento vetorial. A política mostrada abaixo concede acesso a uma loja de vetores do Amazon S3 Vectors. Se você usar OpenSearch Service Serverless em vez disso, substitua a S3Vectors instrução por uma que conceda aoss:APIAccessAll no ARN da coleção.

Para criar a função usando o console

Ao criar a base de conhecimento usando o console Amazon Bedrock emEtapa 4: criar a base de conhecimento e a fonte de dados, escolha Criar e use uma nova função de serviço. O Amazon Bedrock cria uma função com a confiança e as permissões necessárias, com base em sua base de conhecimento, modelo de incorporação, armazenamento vetorial e fonte de dados. Avance para Etapa 4: criar a base de conhecimento e a fonte de dados.

Etapa 4: criar a base de conhecimento e a fonte de dados

A fonte de dados aponta para o alias do ponto de acesso do Amazon S3. O Amazon Bedrock Knowledge Bases aceita o alias do ponto de acesso no lugar do nome de um bucket.

Para criar a base de conhecimento usando o console

Para criar a base de conhecimento usando o AWS CLI

Etapa 5: ingerir os documentos

Execute um trabalho de ingestão para rastrear os documentos pelo ponto de acesso, gerar incorporações e indexá-los no armazenamento vetorial.

Para executar a ingestão usando o console

Para executar a ingestão usando o AWS CLI

Etapa 6: consultar a base de conhecimento

Faça uma pergunta à base de conhecimento com base nos documentos ingeridos. A resposta inclui citações que fazem referência aos documentos de origem por meio do alias do ponto de acesso Amazon S3.

Para consultar usando o console

Para consultar usando o AWS CLI

Use o comando retrieve-and-generate. Substitua os espaços reservados por seus valores. modelArnDeve se referir a um perfil de inferência para um modelo de geração de texto ao qual você tem acesso.

$ aws bedrock-agent-runtime retrieve-and-generate \
    --input '{"text":"What are the pillars of the AWS Well-Architected Framework?"}' \
    --retrieve-and-generate-configuration '{
        "type":"KNOWLEDGE_BASE",
        "knowledgeBaseConfiguration":{
            "knowledgeBaseId":"knowledge-base-id",
            "modelArn":"arn:aws:bedrock:region:account-id:inference-profile/us.amazon.nova-lite-v1:0"
        }
    }'

A resposta contém a resposta gerada output.text e uma lista de citações na citations matriz. Cada citação inclui um s3Location.uri campo que aponta para o documento fonte por meio do alias do ponto de acesso, no formulário. s3://access-point-alias/file.pdf

Solução de problemas

Limpeza

Para evitar cobranças contínuas, exclua os recursos que você criou:

$ aws bedrock-agent delete-data-source --knowledge-base-id knowledge-base-id --data-source-id data-source-id
aws bedrock-agent delete-knowledge-base --knowledge-base-id knowledge-base-id
aws s3vectors delete-index --vector-bucket-name fsxn-kb-vectors --index-name bedrock-kb-index
aws s3vectors delete-vector-bucket --vector-bucket-name fsxn-kb-vectors
aws iam delete-role-policy --role-name fsxn-kb-role --policy-name kb-access
aws iam delete-role --role-name fsxn-kb-role

$ # Get the collection ID (required by delete-collection; the name is not accepted)
COLLECTION_ID=$(aws opensearchserverless batch-get-collection --names fsxn-kb \
    --query 'collectionDetails[0].id' --output text)

# Delete the collection, then the policies
aws opensearchserverless delete-collection --id "$COLLECTION_ID"
aws opensearchserverless delete-access-policy --name kb-data --type data
aws opensearchserverless delete-security-policy --name kb-net --type network
aws opensearchserverless delete-security-policy --name kb-enc --type encryption