使用 Amazon Bedrock 知识库构建 RAG 应用程序

创建本地目录并下载示例 PDF。

$ mkdir -p ~/kb-pdfs && cd ~/kb-pdfs
curl -sSL -o aws-overview.pdf https://d1.awsstatic.com/whitepapers/aws-overview.pdf
curl -sSL -o wellarchitected-framework.pdf https://docs.aws.amazon.com/pdfs/wellarchitected/latest/framework/wellarchitected-framework.pdf
curl -sSL -o s3-userguide.pdf https://docs.aws.amazon.com/pdfs/AmazonS3/latest/userguide/s3-userguide.pdf

将每个文件上传到接入点。access-point-alias替换为您的接入点别名（例如，my-kb-ap-a1b2c3d4e5f6g7h8i9j0kl1mnop2uuse1a-ext-s3alias）。您可以在 Amazon FSx 控制台的 “已连接的 Amazon S3 接入点” 下找到该别名，也可以通过运行来找到该别名。aws fsx describe-s3-access-point-attachments

$ for f in *.pdf; do
    aws s3 cp "$f" "s3://access-point-alias/$f"
done

验证文件已存放在卷上。

$ aws s3 ls s3://access-point-alias/

创建 Amazon S3 矢量存储桶。矢量存储桶名称遵循与标准 Amazon S3 存储桶相同的全局唯一性规则。本教程使用fsxn-kb-vectors; 替换为唯一的名称。

$ aws s3vectors create-vector-bucket --vector-bucket-name fsxn-kb-vectors

在存储桶中创建向量索引。索引维度必须与嵌入模型的输出维度匹配；Titan Text Embeddings v2 输出 1024 个维度。该nonFilterableMetadataKeys设置将 Bedrock 元数据字段标记为不可筛选，这使它们不受每向量 2 KB 可筛选元数据的限制。

$ aws s3vectors create-index --vector-bucket-name fsxn-kb-vectors \
    --index-name bedrock-kb-index \
    --dimension 1024 --distance-metric cosine --data-type float32 \
    --metadata-configuration '{"nonFilterableMetadataKeys":["AMAZON_BEDROCK_METADATA","AMAZON_BEDROCK_TEXT"]}'

请注意响应indexArn中的；你在中使用它步骤 4：创建知识库和数据源。

打开 Amazon Bedrock 控制台，网址为https://console.aws.amazon.com/bedrock/。

在左侧导航窗格中，选择知识库，然后选择创建知识库。

在知识库详细信息下，输入名称（例如fsxn-kb）和描述。

在 IAM 权限下，选择创建并使用新的服务角色。

对于数据源，选择 Amazon S3，然后选择下一步。

输入数据源名称（例如，fsxn-s3ap-source）。

例如，对于 S3 URI，请在s3://接入点别名后输入s3://my-kb-ap-a1b2c3d4e5f6g7h8i9j0kl1mnop2uuse1a-ext-s3alias。控制台在此字段中不区分存储桶名称和接入点别名；接入点别名按原样接受。

选择下一步。

在 “嵌入” 模型下，选择 Titan 文本嵌入 v2。

在 “矢量数据库” 下，选择 “快速创建新的矢量存储”，然后选择 Amazon S3 矢量图。选择下一步。

查看配置并选择创建知识库。创建知识库可能需要几分钟。

创建知识库。用您的值替换占位符。indexArn是您在步骤 2 中创建的 Amazon S3 向量索引的 ARN。

$ aws bedrock-agent create-knowledge-base --name fsxn-kb \
    --role-arn arn:aws:iam::account-id:role/fsxn-kb-role \
    --knowledge-base-configuration '{
        "type":"VECTOR",
        "vectorKnowledgeBaseConfiguration":{
            "embeddingModelArn":"arn:aws:bedrock:region::foundation-model/amazon.titan-embed-text-v2:0"
        }
    }' \
    --storage-configuration '{
        "type":"S3_VECTORS",
        "s3VectorsConfiguration":{
            "indexArn":"index-arn"
        }
    }'

记下响应中的 knowledgeBaseId。

创建数据源。使用表单将 Amazon S3 接入点别名作为存储桶名称传递到bucketArn字段中arn:aws:s3:::access-point-alias。

$ aws bedrock-agent create-data-source \
    --knowledge-base-id knowledge-base-id \
    --name fsxn-s3ap-source \
    --data-source-configuration '{
        "type":"S3",
        "s3Configuration":{"bucketArn":"arn:aws:s3:::access-point-alias"}
    }'

记下响应中的 dataSourceId。

在 Amazon Bedrock 控制台中，打开您的知识库。

在数据源部分，选择您的数据源，然后选择同步。

等待 “同步” 状态显示为 “就绪”。

启动摄取作业。

$ aws bedrock-agent start-ingestion-job \
    --knowledge-base-id knowledge-base-id \
    --data-source-id data-source-id

记下响应中的 ingestionJobId。

轮询作业直到其完成。

$ aws bedrock-agent get-ingestion-job \
    --knowledge-base-id knowledge-base-id \
    --data-source-id data-source-id \
    --ingestion-job-id ingestion-job-id

该status字段从过渡IN_PROGRESS到COMPLETE。该statistics字段显示扫描和索引了多少文档。

在 Amazon Bedrock 控制台中，打开您的知识库。

选择测试知识库。

在 “生成响应” 下，选择文本生成模型（例如 Nova Lite）。

输入诸如之类的问题，What are the pillars of the AWS Well-Architected Framework?然后选择 “运行”。答案中显示的引文引用链接到 Amazon S3 接入点中的源文档。