マルチモーダルナレッジベースのテストとクエリ

マルチモーダルコンテンツを取り込んだ後、コンソールまたは API を使用してナレッジベースをテストおよびクエリできます。使用可能なクエリタイプは、選択した処理アプローチによって異なります。

Console

コンソールからナレッジベースをテストするには

ナレッジベースの詳細ページから、ナレッジベースのテストセクションにスクロールします。
クエリタイプを選択します。
- 標準取得のみ: 単一のナレッジベースのデータソースから情報をクエリおよび取得します。
- 取得とレスポンスの生成: 単一のナレッジベースをクエリし、基盤モデルを使用して取得した結果に基づいてレスポンスを生成します。
  
  注記
  マルチモーダルコンテンツがある場合は、取得とレスポンスの生成に BDA パーサーを使用する必要があります。
必要に応じて追加のオプションを設定します。
- ソースチャンク: 返すソースチャンクの最大数を指定します。
- 検索タイプ: 検索タイプを選択してクエリ戦略をカスタマイズする
- メタデータフィルター: フィルターを適用して検索結果を絞り込む
- ガードレール: 既存のガードレールを選択するか、新しいガードレールを作成します。
マルチモーダルコンテンツを検索するには、テキストクエリを入力するか、イメージをアップロードします (Nova マルチモーダル埋め込みのみ）。アタッチメントボタンを使用して、ビジュアル類似度検索用の画像をアップロードします。
次のような結果を確認します。
- 関連性スコアを持つコンテンツチャンクを取得しました
- ソースファイルのリファレンスとタイムスタンプ (オーディオ/ビデオ用)
- ファイルタイプと処理情報を含むメタデータ
- マルチメディアコンテンツの場合、取得したタイムスタンプに基づく自動セグメント配置による再生コントロール

API

次の例は、Amazon Bedrock エージェントランタイム API を使用してマルチモーダルナレッジベースをプログラムでクエリする方法を示しています。

テキストクエリの例

テキスト入力を使用して検索します。


aws bedrock-agent-runtime retrieve \
--knowledge-base-id <knowledge-base-id> \
--retrieval-query text="robot automation in manufacturing"

イメージクエリの例 (Nova マルチモーダル埋め込みのみ)

アップロードされたイメージを使用して検索します。


{
    "knowledgeBaseId": "<knowledge-base-id>",
    "retrievalQuery": {
        "imageQuery": {
            "inlineContent": {
                "mimeType": "image/jpeg",
                "data": "<base64-encoded-image>"
            }
        }
    }
}

サポートされているクエリタイプ

テキストクエリ: Nova マルチモーダル埋め込みと BDA アプローチの両方でサポートされています。自然言語テキストを使用して検索し、すべてのメディアタイプに関連するコンテンツを検索します。
イメージクエリ: Nova マルチモーダル埋め込みでのみサポートされます。イメージをアップロードして、ナレッジベースで視覚的に類似したコンテンツを見つけます。

レスポンスメタデータについて

マルチモーダルクエリレスポンスには、マルチメディアコンテンツの追加メタデータが含まれます。

ソース属性: 信頼できるアクセスのための元のファイルの場所 (sourceUri) とマルチモーダルストレージの場所 (supplementalUri)
一時メタデータ: オーディオセグメントとビデオセグメントのタイムスタンプを開始および終了し、関連するコンテンツへの正確なナビゲーションを可能にする
コンテンツタイプ情報: アプリケーションがさまざまなコンテンツタイプを適切に処理できるように、ファイル形式、処理方法、モダリティインジケータ

ベクトルデータベースメタデータ構造

マルチモーダルコンテンツが処理および保存されると、ベクトルデータベースで次のメタデータ構造が使用されます。

テキストフィールド: Nova マルチモーダル埋め込みで処理されたマルチメディアファイルの場合、コンテンツはテキストではなくネイティブマルチメディアとして埋め込まれるため、このフィールドには空の文字列が含まれます。

メタデータフィールド: ソースの詳細と関連するコンテンツ参照を含む構造化情報が含まれます。


{
  "source": {
    "sourceType": "S3",
    "s3Location": {
      "uri": "s3://source-bucket/path/to/file.mp4"
    }
  },
  "relatedContent": [{
    "type": "S3",
    "s3Location": {
      "uri": "s3://multimodal-storage-bucket/processed/file.mp4"
    }
  }]
}

自動作成されたフィールド: フィルタリングと識別のための追加フィールド:
- x-amz-bedrock-kb-source-uri: フィルタリングオペレーションの元のソース URI
- x-amz-bedrock-kb-data-source-id: コンテンツオリジンを追跡するためのデータソース識別子
- x-amz-bedrock-kb-chunk-start-time-in-millis: オーディオセグメントとビデオセグメントのタイムスタンプをミリ秒単位で開始する
- x-amz-bedrock-kb-chunk-end-time-in-millis: オーディオセグメントとビデオセグメントのタイムスタンプをミリ秒単位で終了する
- x-amz-bedrock-kb-source-file-mime-type: ソースファイルの MIME タイプ
- x-amz-bedrock-kb-source-file-modality: ソースファイルのモダリティ (テキスト、イメージ、オーディオ、ビデオ)

重要

アプリケーションは、提供されたタイムスタンプを使用して、オーディオファイルとビデオファイルから特定のセグメントを抽出および再生する必要があります。ナレッジベースは、事前にセグメント化されたクリップではなく、完全なファイルへの参照を返します。

ブラウザで JavaScript が無効になっているか、使用できません。

AWS ドキュメントを使用するには、JavaScript を有効にする必要があります。手順については、使用するブラウザのヘルプページを参照してください。

ドキュメントの表記規則

データソースを追加して取り込む

トラブルシューティング