埋め込みリクエストとレスポンススキーマを完了する

同期スキーマを完了する

{
    "schemaVersion": "nova-multimodal-embed-v1",
    "taskType": "SINGLE_EMBEDDING",
    "singleEmbeddingParams": {
        "embeddingPurpose": "GENERIC_INDEX" | "GENERIC_RETRIEVAL" | "TEXT_RETRIEVAL" | "IMAGE_RETRIEVAL" | "VIDEO_RETRIEVAL" | "DOCUMENT_RETRIEVAL" | "AUDIO_RETRIEVAL" | "CLASSIFICATION" | "CLUSTERING",
        "embeddingDimension": 256 | 384 | 1024 | 3072,
        "text": {
            "truncationMode": "START" | "END" | "NONE",
            "value": string,
            "source": SourceObject,
        },
        "image": {
            "detailLevel": "STANDARD_IMAGE" | "DOCUMENT_IMAGE",
            "format": "png" | "jpeg" | "gif" | "webp",
            "source": SourceObject
        },
        "audio": {
            "format": "mp3" | "wav" | "ogg",
            "source": SourceObject
        },
        "video": {
            "format": "mp4" | "mov" | "mkv" | "webm" | "flv" | "mpeg" | "mpg" | "wmv" | "3gp",
            "source": SourceObject,
            "embeddingMode": "AUDIO_VIDEO_COMBINED" | "AUDIO_VIDEO_SEPARATE"
        }
    }
}

   

次のリストには、リクエストのすべてのパラメータが含まれます。

InvokeModel レスポンス本文

InvokeModel が成功した結果を返すと、レスポンスの本文は次の構造になります。

{
   "embeddings": [
      {
          "embeddingType": "TEXT" | "IMAGE" | "VIDEO" | "AUDIO" | "AUDIO_VIDEO_COMBINED",
          "embedding": number[],
          "truncatedCharLength": int // Only included if text input was truncated
      }
    ]                       
}
   

次のリストには、レスポンスのすべてのパラメータが含まれます。

非同期スキーマを完了する

Amazon Bedrock ランタイム API 関数 StartAsyncInvoke、GetAsyncInvoke、ListAsyncInvokes を使用して、非同期で埋め込みを生成できます。Nova Embeddings を使用して、30 秒を超えるテキストや動画、オーディオの長い文章などの長いコンテンツをセグメント化する場合は、非同期 API を使用する必要があります。

StartAsyncInvoke を呼び出す時は、modelId、outputDataConfig、および modelInput パラメータを指定する必要があります。

response = bedrock_runtime.start_async_invoke(
    modelId="amazon.nova-2-multimodal-embeddings-v1:0",
    outputDataConfig=Data Config,
    modelInput=Model Input
)
  

outputDataConfig は、生成された出力を保存する S3 バケットを指定します。この変数の構造は次のとおりです。

{
    "s3OutputDataConfig": {
        "s3Uri": "s3://your-s3-bucket"
    }
} 
  

s3Uri は、レプリケート先バケットの S3 URI です。その他のオプションパラメータについては、StartAsyncInvoke のドキュメントを参照してください。

modelInput パラメータには次の構造が使用されます。

{
    "schemaVersion": "nova-multimodal-embed-v1",
    "taskType": "SEGMENTED_EMBEDDING",
    "segmentedEmbeddingParams": {
        "embeddingPurpose": "GENERIC_INDEX" | "GENERIC_RETRIEVAL" | "TEXT_RETRIEVAL" | "IMAGE_RETRIEVAL" | "VIDEO_RETRIEVAL" | "DOCUMENT_RETRIEVAL" | "AUDIO_RETRIEVAL" | "CLASSIFICATION" | "CLUSTERING",
        "embeddingDimension": 256 | 384 | 1024 | 3072,
        "text": {
            "truncationMode": "START" | "END" | "NONE",
            "value": string,
            "source": {
                "s3Location": {
                    "uri": "s3://Your S3 Object"
                }
            },
            "segmentationConfig": {
                "maxLengthChars": int
            }
        },
        "image": {
            "format": "png" | "jpeg" | "gif" | "webp",
            "source": SourceObject,
            "detailLevel": "STANDARD_IMAGE" | "DOCUMENT_IMAGE"
        },
        "audio": {
            "format": "mp3" | "wav" | "ogg",
            "source": SourceObject,
            "segmentationConfig": {
                "durationSeconds": int
            }
        },
        "video": {
            "format": "mp4" | "mov" | "mkv" | "webm" | "flv" | "mpeg" | "mpg" | "wmv" | "3gp",
            "source": SourceObject,
            "embeddingMode": "AUDIO_VIDEO_COMBINED" | "AUDIO_VIDEO_SEPARATE",
            "segmentationConfig": {
                "durationSeconds": int
            }
        }
    }
}
  

次のリストには、リクエストのすべてのパラメータが含まれます。

StartAsyncInvoke レスポンス

StartAsyncInvoke への呼び出しからのレスポンスは、次の構造になります。invocationArn を使用して、GetAsyncInvoke 関数を使用して非同期ジョブのステータスをクエリできます。

{
    "invocationArn": "arn:aws:bedrock:us-east-1:xxxxxxxxxxxx:async-invoke/lvmxrnjf5mo3",
}
  

非同期出力

非同期埋め込みの生成が完了すると、出力アーティファクトは出力先として指定した S3 バケットに書き込まれます。このファイルは次の構造になります。

   amzn-s3-demo-bucket/
    job-id/
        segmented-embedding-result.json
        embedding-audio.jsonl
        embedding-image.json
        embedding-text.jsonl
        embedding-video.jsonl
        manifest.json
  

segmented-embedding-result.json には、全体的なジョブ結果と、モダリティごとの実際の埋め込みを含む対応する jsonl ファイルへの参照が含まれます。以下は、ファイルの切り捨てられた例です。

{
    "sourceFileUri": string, 
    "embeddingDimension": 256 | 384 | 1024 | 3072,
    "embeddingResults": [
        {
            "embeddingType": "TEXT" | "IMAGE" | "VIDEO" | "AUDIO" | "AUDIO_VIDEO_COMBINED",
            "status": "SUCCESS" | "FAILURE" | "PARTIAL_SUCCESS",
            "failureReason": string, // Granular error codes
            "message": string, // Human-readbale failure message
            "outputFileUri": string // S3 URI to a "embedding-modality.jsonl" file
        }
        ...
    ]
}
  

embedding-modality.json は、各モダリティの埋め込み出力を含む jsonl ファイルになります。jsonl ファイルの各行は、次のスキーマに従います。

{
    "embedding": number[], // The generated embedding vector
    "segmentMetadata": {
        "segmentIndex": number,
        "segmentStartCharPosition": number, // Included for text only
        "segmentEndCharPosition": number, // Included for text only
        "truncatedCharLength": number, // Included only when text gets truncated
        "segmentStartSeconds": number, // Included for audio/video only
        "segmentEndSeconds": number // Included for audio/video only
    },
    "status": "SUCCESS" | "FAILURE",
    "failureReason": string, // Granular error codes
    "message": string // Human-readable failure message
}
  

次のリストには、レスポンスのすべてのパラメータが含まれています。テキスト文字またはオーディオ/動画時間の場合、開始時刻と終了時刻はすべてゼロベースです。さらに、すべての終了テキスト位置またはオーディオ/動画の時間値が含まれます。

Nova Embeddings のファイル制限

同期オペレーションは、S3 入力とインラインチャンクの両方を受け入れることができます。非同期オペレーションは S3 入力のみを受け入れることができます。

埋め込みを非同期的に生成する場合は、ファイルが適切な数のセグメントに分割されていることを確認する必要があります。テキスト埋め込みの場合、1900 個を超えるセグメントを持つことはできません。オーディオと動画の埋め込みの場合、1434 セグメントを超えることはできません。