TwelveLabs Marengo Embed 2.7 - Amazon Bedrock
TwelveLabs Marengo Embed 2.7 請求參數TwelveLabs Marengo Embed 2.7回應欄位TwelveLabs Marengo Embed 2.7 請求和回應

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

TwelveLabs Marengo Embed 2.7

TwelveLabs Marengo Embed 2.7 模型會從視訊、文字、音訊或影像輸入產生內嵌。這些內嵌可用於相似性搜尋、叢集和其他機器學習任務。此模型支援透過 StartAsyncInvoke API 進行非同步推論。

  • 提供者 — TwelveLabs

  • 類別 — 內嵌、多模態

  • 模型 ID — twelvelabs.marengo-embed-2-7-v1:0

  • 輸入模式 — 影片、文字、音訊、影像

  • 輸出模式 — 內嵌

  • 影片大小上限 — 2 小時長的影片 (< 2GB 的檔案大小）

TwelveLabs Marengo Embed 2.7 請求參數

下表說明TwelveLabs Marengo Embed 2.7模型的輸入參數：

TwelveLabs Marengo Embed 2.7 請求參數
欄位 類型 必要 描述
inputType string 是 內嵌的模式。有效值：video、text、audio、image。
inputText string 否 當 inputType為 時要內嵌的文字text。在 inputType 為 text 時需要。S3 URI 不提供文字輸入，但只能透過 inputText 欄位。
startSec double 否 從應該開始處理的視訊或音訊開始，以秒為單位的開始位移。指定 0 表示從媒體的開頭開始。預設：0，最小值：0。
lengthSec double 否 處理需要的視訊或音訊長度，以秒為單位startSec。預設：媒體持續時間，上限：媒體持續時間。
useFixedLengthSec double 否 僅限 audio或 video輸入。平台產生內嵌的每個剪輯所需的固定持續時間，以秒為單位。最小值：2，最大值：10。如果遺失，對於影片：區段會依鏡頭邊界偵測動態分割；對於音訊：區段會平均分割為最接近 10 秒 （因此，如果是 50 秒的剪輯，則會是 5 個區段，每個 10 秒，但如果是 16 秒的剪輯，則會是 2 個區段，每個 8 秒）。
textTruncate string 否 僅適用於text輸入。指定平台如何截斷超過 77 個字符的文字。有效值： end（截斷文字結尾）、 none（如果文字超過限制，則傳回錯誤）。預設：end。
embeddingOption 列出 否 僅適用於video輸入。指定要擷取的內嵌類型。有效值： visual-text（針對文字搜尋最佳化的視覺內嵌）、 visual-image（針對影像搜尋最佳化的視覺內嵌）、 audio（音訊內嵌）。如果未提供，則會傳回所有可用的內嵌。
mediaSource object 否 描述媒體來源。輸入類型需要：image、 video和 audio。
mediaSource.base64String string 否 媒體的 Base64 編碼位元組字串。上限：36MB。如果使用 ，s3Location則必須提供 mediaSource base64String或 。
mediaSource.s3Location.uri string 否 可從中下載媒體的 S3 URI。對於影片，最長：2 小時 (< 2GB 檔案大小）。如果使用 ，則為必要項目s3Location。
mediaSource.s3Location.bucketOwner string 否 儲存貯體擁有者的 AWS 帳戶 ID。
minClipSec int 否 僅適用於video輸入。設定最短剪輯秒數。注意： useFixedLengthSec應該大於此值。預設：4，最小值：1，最大值：5。

TwelveLabs Marengo Embed 2.7回應欄位

下表說明TwelveLabs Marengo Embed 2.7模型的輸出欄位：

TwelveLabs Marengo Embed 2.7回應欄位
欄位 Type 描述
embedding 雙工清單 內嵌值
embeddingOption string 多向量輸出的內嵌類型 （僅適用於視訊）。有效值： visual-text（視覺內嵌與文字內嵌緊密對齊）、 visual-image （視覺內嵌與影像內嵌緊密對齊）、 audio（音訊內嵌）。
startSec double 剪輯的開始位移。不適用於文字和映像內嵌。
endSec double 剪輯的結束位移。不適用於文字和映像內嵌。

TwelveLabs Marengo Embed 2.7 請求和回應

下列範例示範如何使用具有不同輸入類型的TwelveLabs Marengo Embed 2.7模型。請注意， TwelveLabs Marengo Embed 2.7使用 StartAsyncInvoke API 進行處理。

Request

下列範例顯示使用 StartAsyncInvoke API 的TwelveLabs Marengo Embed 2.7模型請求格式。

文字輸入：

{
    "modelId": "twelvelabs.marengo-embed-2-7-v1:0",
    "modelInput": {
        "inputType": "text",
        "inputText": "Spiderman flies through a street and catches a car with his web"
    },
    "outputDataConfig": {
        "s3OutputDataConfig": {
            "s3Uri": "s3://your-bucket-name"
        }
    }
}

具有 S3 位置的影像輸入：

{
    "modelId": "twelvelabs.marengo-embed-2-7-v1:0",
    "modelInput": {
        "inputType": "image",
        "mediaSource": {
            "s3Location": {
                "uri": "s3://your-image-object-s3-path",
                "bucketOwner": "your-image-object-s3-bucket-owner-account"
            }
        }
    },
    "outputDataConfig": {
        "s3OutputDataConfig": {
            "s3Uri": "s3://your-bucket-name"
        }
    }
}

具有 base64 編碼的影像輸入：

{
    "modelId": "twelvelabs.marengo-embed-2-7-v1:0",
    "modelInput": {
        "inputType": "image",
        "mediaSource": {
            "base64String": "base_64_encoded_string_of_image"
        }
    },
    "outputDataConfig": {
        "s3OutputDataConfig": {
            "s3Uri": "s3://your-bucket-name"
        }
    }
}

具有 S3 位置的視訊輸入：

{
    "modelId": "twelvelabs.marengo-embed-2-7-v1:0",
    "modelInput": {
        "inputType": "video",
        "mediaSource": {
            "s3Location": {
                "uri": "s3://your-video-object-s3-path",
                "bucketOwner": "your-video-object-s3-bucket-owner-account"
            }
        }
    },
    "outputDataConfig": {
        "s3OutputDataConfig": {
            "s3Uri": "s3://your-bucket-name"
        }
    }
}

具有 base64 編碼和時間範圍的視訊輸入：

{
    "modelId": "twelvelabs.marengo-embed-2-7-v1:0",
    "modelInput": {
        "inputType": "video",
        "mediaSource": {
            "base64String": "base_64_encoded_string_of_video"
        },
        "startSec": 0,
        "lengthSec": 13,
        "useFixedLengthSec": 5,
        "embeddingOption": ["visual-text", "audio"]
    },
    "outputDataConfig": {
        "s3OutputDataConfig": {
            "s3Uri": "s3://your-bucket-name"
        }
    }
}

具有 S3 位置的音訊輸入：

{
    "modelId": "twelvelabs.marengo-embed-2-7-v1:0",
    "modelInput": {
        "inputType": "audio",
        "mediaSource": {  
            "s3Location": { 
                "uri": "s3://your-audio-object-s3-path", 
                "bucketOwner": "your-audio-object-s3-bucket-owner-account" 
            }
        }
    },
    "outputDataConfig": {
        "s3OutputDataConfig": {
            "s3Uri": "s3://your-bucket-name"
        }
    }
}

具有 base64 編碼和時間範圍的音訊輸入：

{
    "modelId": "twelvelabs.marengo-embed-2-7-v1:0",
    "modelInput": {
        "inputType": "audio", 
        "mediaSource": { 
            "base64String": "base_64_encoded_string_of_audio"
        },
        "startSec": 0,
        "lengthSec": 13,
        "useFixedLengthSec": 10
    },
    "outputDataConfig": {
        "s3OutputDataConfig": {
            "s3Uri": "s3://your-bucket-name"
        }
    }
}
Response

下列範例顯示模型的回應格式TwelveLabs Marengo Embed 2.7。由於此模型使用 StartAsyncInvoke，因此回應會傳送到 中指定的 S3 輸出位置outputDataConfig。

文字內嵌回應：

{
    "embedding": [0.123, -0.456, 0.789, ...],
    "embeddingOption": null,
    "startSec": null,
    "endSec": null
}

映像內嵌回應：

{
    "embedding": [0.234, -0.567, 0.890, ...],
    "embeddingOption": null,
    "startSec": null,
    "endSec": null
}

影片內嵌回應 （單一剪輯）：

{
    "embedding": [0.345, -0.678, 0.901, ...],
    "embeddingOption": "visual-text",
    "startSec": 0.0,
    "endSec": 5.0
}

影片內嵌回應 （具有不同內嵌類型的多個剪輯）：

[
    {
        "embedding": [0.123, -0.456, 0.789, ...],
        "embeddingOption": "visual-text",
        "startSec": 0.0,
        "endSec": 5.0
    },
    {
        "embedding": [0.234, -0.567, 0.890, ...],
        "embeddingOption": "visual-text",
        "startSec": 5.0,
        "endSec": 10.0
    },
    {
        "embedding": [0.345, -0.678, 0.901, ...],
        "embeddingOption": "audio",
        "startSec": 0.0,
        "endSec": 10.0
    }
]

音訊內嵌回應 （多個剪輯）：

[
    {
        "embedding": [0.456, -0.789, 0.012, ...],
        "embeddingOption": null,
        "startSec": 0.0,
        "endSec": 10.0
    },
    {
        "embedding": [0.567, -0.890, 0.123, ...],
        "embeddingOption": null,
        "startSec": 10.0,
        "endSec": 13.0
    }
]