测试和查询多模式知识库 - Amazon Bedrock
支持的查询类型了解响应元数据

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

测试和查询多模式知识库

摄取多模式内容后，您可以使用控制台或 API 测试和查询您的知识库。可用的查询类型取决于您选择的处理方法。

Console
从控制台测试您的知识库

  1. 在知识库详细信息页面上，滚动至测试知识库部分。

  2. 选择您的查询类型：

    • 仅限标准检索：在单个知识库中查询和检索来自数据源的信息。

    • 检索和响应生成：使用基础模型查询单个知识库并根据检索到的结果生成响应。

      注意

      如果您有多模式内容，则必须使用 BDA 解析器进行检索和生成响应。

  3. 根据需要配置其他选项：

    • 源区块：指定要返回的最大源区块数

    • 搜索类型：选择搜索类型以自定义查询策略

    • 元数据筛选器：应用筛选器缩小搜索结果范围

    • 护栏：选择现有护栏或创建新护栏

  4. 输入文本查询或上传图片（仅限 Nova 多模式嵌入式）以搜索您的多式联运内容。使用附件按钮上传图像以进行视觉相似度搜索。

  5. 查看结果，其中包括：

    • 检索到的带有相关性分数的内容块

    • 源文件参考和时间戳（用于音频/视频）

    • 元数据，包括文件类型和处理信息

    • 对于多媒体内容，根据检索到的时间戳自动进行分段定位的播放控件

API

以下示例展示了如何使用 Amazon Bedrock Agent 运行时 API 以编程方式查询您的多模式知识库：

文本查询示例

使用文本输入进行搜索：

aws bedrock-agent-runtime retrieve \
--knowledge-base-id <knowledge-base-id> \
--retrieval-query text="robot automation in manufacturing"
图像查询示例（仅限 Nova 多模嵌入）

使用上传的图片进行搜索：

{
    "knowledgeBaseId": "<knowledge-base-id>",
    "retrievalQuery": {
        "imageQuery": {
            "inlineContent": {
                "mimeType": "image/jpeg",
                "data": "<base64-encoded-image>"
            }
        }
    }
}

支持的查询类型

文字查询

同时支持 Nova 多模嵌入和 BDA 方法。使用自然语言文本进行搜索，查找所有媒体类型的相关内容。

图片查询

仅支持 Nova 多模态嵌入。上传图片以在知识库中查找视觉上相似的内容。

了解响应元数据

多模式查询响应包括多媒体内容的其他元数据：

来源归因

用于可靠访问的原始文件位置 (SourceURI) 和多模式存储位置 (supplementaLuri)

时态元数据

音频和视频片段的开始和结束时间戳，可精确导航到相关内容

内容类型信息

文件格式、处理方法和模式指示器可帮助应用程序适当地处理不同的内容类型

矢量数据库元数据结构

处理和存储多模式内容时，矢量数据库中将使用以下元数据结构：

  • 文本字段：对于使用 Nova Multimodal Embeddings 处理的多媒体文件，此字段包含一个空字符串，因为内容是作为原生多媒体而不是文本嵌入的

  • metadata 字段：包含结构化信息，包括来源详细信息和相关内容引用：

    {
  "source": {
    "sourceType": "S3",
    "s3Location": {
      "uri": "s3://source-bucket/path/to/file.mp4"
    }
  },
  "relatedContent": [{
    "type": "S3",
    "s3Location": {
      "uri": "s3://multimodal-storage-bucket/processed/file.mp4"
    }
  }]
}

  • 自动创建的字段：用于筛选和识别的其他字段：

    • x-amz-bedrock-kb-source-uri: 用于筛选操作的原始源 URI

    • x-amz-bedrock-kb-data-source-id: 用于跟踪内容来源的数据源标识符

    • x-amz-bedrock-kb-chunk-start-time-in-millis: 音频和视频片段的开始时间戳（以毫秒为单位）

    • x-amz-bedrock-kb-chunk-end-time-in-millis: 音频和视频片段的结束时间戳（以毫秒为单位）

    • x-amz-bedrock-kb-source-file-mime-type: 源文件的 MIME 类型

    • x-amz-bedrock-kb-source-file-modality: 源文件的模式（文本、图像、音频、视频）

重要

应用程序必须使用提供的时间戳从音频和视频文件中提取和播放特定片段。知识库返回的是对完整文件的引用，而不是预先分段的片段。