View a markdown version of this page

ネイティブマルチモーダル処理 - Amazon Bedrock

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

ネイティブマルチモーダル処理

ネイティブマルチモーダル処理を使用すると、マネージド Amazon Bedrock ナレッジベースは各ファイルをマルチモーダル埋め込みモデルに直接送信します。次に、モデルは raw イメージ、オーディオ、ビデオコンテンツから埋め込みを作成します。

ネイティブのマルチモーダル埋め込みモデルがない場合、ナレッジベースの動作は異なります。まず、ファイルを解析します。次に、そこから抽出するテキストをチャンクします。最後に、テキスト埋め込みモデルを使用してこれらのチャンクを埋め込みます。

ネイティブマルチモーダル処理は、解析とテキスト抽出をスキップします。その結果、テキスト抽出で失われるビジュアルとオーディオの詳細が保持されます。

ネイティブマルチモーダル処理を有効にするには、ナレッジベースの作成時にネイティブマルチモーダル埋め込みモデルを選択します。現在、選択できるモデルは TwelveLabs Marengo Embed 3.0 (twelvelabs.marengo-embed-3-0-v1:0) のみです。設定の手順については、「」を参照してくださいマネージドナレッジベースを作成する

ネイティブマルチモーダル処理の仕組み

ネイティブのマルチモーダル埋め込みモデルを使用してナレッジベースを設定する場合、以下が適用されます。

  • MULTI_MODAL_EMBEDDINGS解析戦略のみがサポートされています。ネイティブマルチモーダル埋め込みモデルを他の解析戦略と組み合わせることはできません。

  • ファイルは埋め込みモデルに直接送信されます。埋め込みモデルは raw ファイルを処理し、ネイティブコンテンツから埋め込みを生成します。

  • テキストベースのチャンキング戦略はサポートされていません。ファイルはテキストに解析されないため、デフォルトのチャンキングや固定サイズのチャンキングなど、テキストに適用されるチャンキング戦略は適用されません。

  • オーディオとビデオのセグメンテーションを設定できます。テキストチャンキング戦略の代わりに、ナレッジベースがオーディオファイルとビデオファイルをセグメントに分割する方法を選択します。modelConfiguration フィールドでセグメンテーション設定を使用します。詳細については、「マネージドナレッジベースを作成する」を参照してください。

  • モデルがサポートするファイルタイプのみがサポートされます。ネイティブのマルチモーダル埋め込みモデルで設定されたナレッジベースは、モデルが受け入れるファイルタイプのみを取り込むことができます。がTwelveLabs Marengo Embed 3.0サポートするファイルタイプおよびその他の設定については、「」を参照してくださいTwelveLabs Marengo Embed 3.0

  • マルチモーダルストレージの送信先を指定する必要があります。ナレッジベースがコンテンツを処理および取り込むための Amazon S3 の場所を指定します。Amazon Bedrock ナレッジベースは、バケットにaws/プレフィックスフォルダを作成します。データソースバケットとは異なるバケットを使用します。サービスロールに必要なアクセス許可については、「」を参照してくださいマルチモーダルストレージの送信先のアクセス許可

  • Retrieve API のみがサポートされています。Retrieve オペレーションでネイティブのマルチモーダル埋め込みモデルを使用するナレッジベースをクエリします。RetrieveAndGenerate オペレーションはサポートされていません。

  • クエリはテキストである必要があります。マルチモーダルコンテンツをクエリするには、テキストを使用します。イメージクエリはサポートされていません。

マルチモーダル結果に対してRetrieveオペレーションが返すメタデータ、および一致するファイルを取得する方法の詳細については、「」を参照してくださいネイティブマルチモーダルナレッジベースのレスポンスを取得する

ナレッジベースが埋め込みモデルを呼び出す方法

ネイティブのマルチモーダル埋め込みモデルを使用すると、ナレッジベースはそのモデルを同期的にも非同期的にも呼び出します。クエリを送信するときは同期呼び出しを使用し、コンテンツを取り込むときは非同期呼び出しを使用します。サービスロールには、両方のアクセス許可が必要です。アタッチするポリシーの詳細については、「」を参照してくださいAmazon Bedrock モデルにアクセスするためのアクセス許可

注記

一部の TwelveLabs Marengo Embed 3.0では AWS リージョン、モデルは推論プロファイルを介してのみ同期呼び出しをサポートします。非同期呼び出しは引き続きオンデマンドモデルを使用します。これらのリージョンでは、ナレッジベースを作成するときに推論プロファイルを指定します。その後、ナレッジベースは推論プロファイルとオンデマンドモデルの両方を使用してコンテンツを処理します。サービスロールには、両方のアクセス許可が必要です。

使用する で TwelveLabs Marengo Embed 3.0がどのようにサポートされているかを確認するには、 AWS リージョン 「」を参照してくださいTwelveLabs Marengo Embed 3.0

Amazon S3 ライフサイクルポリシーによる一時的なデータの管理

Amazon Bedrock ナレッジベースはコンテンツを処理する間、マルチモーダルストレージの宛先に一時的なデータを保存します。処理が終了すると、そのデータを削除しようとします。データの有効期限が切れるように、一時的なデータパスにライフサイクルポリシーを適用することをお勧めします。

Console
コンソールを使用してライフサイクルルールを作成するには
  1. Amazon S3 コンソールを開きます。

  2. ナレッジベース用に設定したマルチモーダルストレージの宛先に移動します。

  3. 管理タブを選択し、ライフサイクルルールの作成を選択します。

  4. ライフサイクルルール名には、 と入力しますTransient Data Deletion

  5. フィルタータイプで、1 つ以上のフィルターを使用してこのルールの範囲を制限するを選択します。

  6. プレフィックス には、ナレッジベースとデータソースの一時的なデータパスを入力します。

    次のプレフィックスのプレースホルダー値を実際の識別子に置き換えます。

    aws/bedrock/knowledge_bases/knowledge-base-id/data-source-id/transient_data
    マルチモーダルコンテンツを削除しない

    マルチモーダルコンテンツが削除され、処理が失敗する可能性があるため、ライフサイクルポリシーをバケット全体またはaws/プレフィックスに適用しないでください。前述のプレフィックスの例に示す一時的なデータパスのみを使用してください。

  7. ライフサイクルルールアクションで、オブジェクトの最新バージョンを期限切れにするを選択します。

  8. オブジェクト作成後の日数には、 と入力します1

  9. [‬ルールを作成]‭ を選択します。

AWS CLI
を使用してライフサイクルルールを作成するには AWS CLI
  1. という名前lifecycle-policy.jsonの JSON ファイルを作成し、プレースホルダー値を実際の識別子に置き換えます。

    • knowledge-base-id – ナレッジベース識別子

    • data-source-id – データソース識別子

    { "Rules": [ { "ID": "TransientDataDeletion", "Status": "Enabled", "Filter": { "Prefix": "aws/bedrock/knowledge_bases/knowledge-base-id/data-source-id/transient_data" }, "Expiration": { "Days": 1 } } ] }
  2. ライフサイクルポリシーをバケットに適用します。amzn-s3-demo-bucket をマルチモーダルストレージバケットの名前に置き換えます。

    aws s3api put-bucket-lifecycle-configuration \ --bucket amzn-s3-demo-bucket \ --lifecycle-configuration file://lifecycle-policy.json
  3. ライフサイクルポリシーが適用されていることを確認します。

    aws s3api get-bucket-lifecycle-configuration \ --bucket amzn-s3-demo-bucket

Amazon S3 ライフサイクルポリシーの詳細については、「Amazon Amazon S3ユーザーガイド」の「オブジェクトのライフサイクルの管理」を参照してください。