Nova Embeddings の使用

Amazon Nova Multimodal Embeddings は、エージェント RAG およびセマンティック検索アプリケーション向けの最先端のマルチモーダル埋め込みモデルです。これは、テキスト、ドキュメント、画像、動画、オーディオを 1 つのモデルでサポートする最初の統合埋め込みモデルであり、優れた精度でクロスモーダル検索を可能にします。Nova Multimodal Embeddings は、これらの各コンテンツタイプを統一されたセマンティックスペースにマッピングし、デベロッパーが単一モーダル、クロスモーダル、マルチモーダルのベクトルオペレーションを実行できるようにします。

Nova Embeddings API は、次のようなさまざまなアプリケーションで活用できます。

前提条件

Multimodal Embeddings を使用するには、以下が必要です。

これらを有効にすると、非同期または同期の埋め込みリクエストを実行できます。

埋め込みを同期的に生成する

より小さなコンテンツ項目の場合は、Bedrock Runtime InvokeModel API を使用できます。これは、テキスト、イメージ、または短いオーディオ/動画ファイルの埋め込みをすばやく生成する優れたオプションです。

次の例では、「Hello World!」というテキストの同期埋め込みを生成します。

import json
import boto3

# Create the Bedrock Runtime client.
bedrock_runtime = boto3.client(
    service_name="bedrock-runtime",
    region_name="us-east-1",
)

# Define the request body.
request_body = {
    "taskType": "SINGLE_EMBEDDING",
    "singleEmbeddingParams": {
        "embeddingPurpose": "GENERIC_INDEX",
        "embeddingDimension": 3072,
        "text": {"truncationMode": "END", "value": "Hello, World!"},
    },
}

try:
    # Invoke the Nova Embeddings model.
    response = bedrock_runtime.invoke_model(
        body=json.dumps(request_body, indent=2),
        modelId="amazon.nova-2-multimodal-embeddings-v1:0",
        accept="application/json",
        contentType="application/json",
    )
    
except Exception as e:
    # Add your own exception handling here.
    print(e)
    
# Print the request ID.
print("Request ID:", response.get("ResponseMetadata").get("RequestId"))

# Print the response body.
response_body = json.loads(response.get("body").read())
print(json.dumps(response_body, indent=2))

出力は次のようになります。

   Request ID: fde55db5-c129-423b-c62d-7a8b36cf2859
{
  "embeddings": [
    {
      "embeddingType": "TEXT",
      "embedding": [
        0.031115104,
        0.032478657,
        0.10006265,
        ...
      ]
    }
  ]
}
  

非同期的に埋め込みを生成する

より大きなコンテンツファイルの場合は、Bedrock Runtime StartAsyncInvoke 関数を使用して、埋め込みを非同期的に生成できます。これにより、アプリケーションの実行をブロックすることなく、ジョブを送信し、後で結果を取得できます。結果は Amazon S3 に保存されます。

次の例では、動画ファイルの非同期埋め込み生成ジョブを開始します。

import boto3

# Create the Bedrock Runtime client.
bedrock_runtime = boto3.client(
    service_name="bedrock-runtime",
    region_name="us-east-1",
)

model_input = {
    "taskType": "SEGMENTED_EMBEDDING",
    "segmentedEmbeddingParams": {
        "embeddingPurpose": "GENERIC_INDEX",
        "embeddingDimension": 3072,
        "video": {
            "format": "mp4",
            "embeddingMode": "AUDIO_VIDEO_COMBINED",
            "source": {
                "s3Location": {"uri": "s3://amzn-s3-demo-bucket/path/to/video.mp4"}
            },
            "segmentationConfig": {
                "durationSeconds": 15  # Segment into 15 second chunks
            },
        },
    },
}

try:
    # Invoke the Nova Embeddings model.
    response = bedrock_runtime.start_async_invoke(
        modelId="amazon.nova-2-multimodal-embeddings-v1:0",
        modelInput=model_input,
        outputDataConfig={
            "s3OutputDataConfig": {
                "s3Uri": "s3://amzn-s3-demo-bucket"
            }
        },
    )

except Exception as e:
    # Add your own exception handling here.
    print(e)

# Print the request ID.
print("Request ID:", response.get("ResponseMetadata").get("RequestId"))

# Print the invocation ARN.
print("Invocation ARN:", response.get("invocationArn"))

出力は次のようになります。

   Request ID: 07681e80-5ce0-4723-cf52-68bf699cd23e
   Invocation ARN: arn:aws:bedrock:us-east-1:111122223333:async-invoke/g7ur3b32a10n
  

非同期ジョブを開始したら、invocationArn を使用して GetAsyncInvoke 関数でジョブのステータスを確認します。最近の非同期呼び出しとそのステータスを表示するには、ListAsyncInvokes 関数を使用します。

非同期埋め込みの生成が完了すると、アーティファクトは出力先として指定した S3 バケットに書き込まれます。このファイルは次の構造になります。

   amzn-s3-demo-bucket/
    job-id/
        segmented-embedding-result.json
        embedding-audio.jsonl
        embedding-image.json
        embedding-text.jsonl
        embedding-video.jsonl
        manifest.json