本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
TwelveLabs Marengo Embed 2.7
该TwelveLabs Marengo Embed 2.7模型根据视频、文本、音频或图像输入生成嵌入内容。这些嵌入可用于相似度搜索、聚类和其他机器学习任务。该模型支持通过 StartAsyncInvoke
API 进行异步推理。
提供商 — TwelveLabs
类别-嵌入式、多式联运
型号编号 —
twelvelabs.marengo-embed-2-7-v1:0
输入模式-视频、文本、音频、图像
输出模式-嵌入式
最大视频大小-2 小时长视频(< 2GB 文件大小)
TwelveLabs Marengo Embed 2.7请求参数
下表描述了TwelveLabs Marengo Embed 2.7模型的输入参数:
字段 | 类型 | 必需 | 描述 |
---|---|---|---|
inputType |
字符串 | 是 | 嵌入模式。有效值:video 、text 、audio 、image 。 |
inputText |
字符串 | 否 | 当inputType 是时要嵌入的文本text 。如果 inputType 为 text ,则必需。S3 URI 不能使用文本输入,只能通过inputText 字段输入。 |
startSec |
double | 否 | 从视频或音频的开头开始处理起始偏移量(以秒为单位)。指定 0 表示从媒体的开头开始。默认值:0,最小值:0。 |
lengthSec |
double | 否 | 视频或音频的处理时间长度(以秒为单位)startSec 。默认:媒体时长,最大:媒体时长。 |
useFixedLengthSec |
double | 否 | 仅用于audio 或video 输入。平台为其生成嵌入内容的每个片段所需的固定时长(以秒为单位)。最小:2,最大:10。如果缺失,则对于视频:片段通过镜头边界检测动态分割;对于音频:片段平均分割到最接近 10 秒(因此,如果是 50 秒的片段,则将是 5 个片段,每个片段 10 秒,但如果是 16 秒的片段,则为 2 个片段,每个片段 8 秒)。 |
textTruncate |
字符串 | 否 | 仅供text 输入。指定平台如何截断超过 77 个标记的文本。有效值:end (截断文本的结尾)、none (如果文本超过限制则返回错误)。默认值:end 。 |
embeddingOption |
列表 | 否 | 仅供video 输入。指定要检索的嵌入类型。有效值:visual-text (针对文本搜索进行了优化的视觉嵌入)、visual-image (针对图像搜索进行了优化的视觉嵌入)、audio (音频嵌入)。如果未提供,则返回所有可用的嵌入内容。 |
mediaSource |
object | 否 | 描述媒体来源。输入类型为必填项:image video 、和audio 。 |
mediaSource.base64String |
字符串 | 否 | 媒体的 Base64 编码字节字符串。最大容量:36MB。如果使用,mediaSource 则s3Location 必须提供base64String 或。 |
mediaSource.s3Location.uri |
字符串 | 否 | 可以从中下载媒体的 S3 URI。对于视频,最长:2 小时(文件大小小于 2GB)。如果使用,则为必填项s3Location 。 |
mediaSource.s3Location.bucketOwner |
字符串 | 否 | 存储桶拥有者的 AWS 账户 ID。 |
minClipSec |
整数 | 否 | 仅供video 输入。设置最小片段秒数。注意:useFixedLengthSec 应大于此值。默认值:4,最小值:1,最大值:5。 |
TwelveLabs Marengo Embed 2.7 响应字段
下表描述了TwelveLabs Marengo Embed 2.7模型的输出字段:
字段 | 类型 | 描述 |
---|---|---|
embedding |
双打名单 | 嵌入值 |
embeddingOption |
字符串 | 多向量输出的嵌入类型(仅适用于视频)。有效值:visual-text (视觉嵌入与文本嵌入紧密对齐)、visual-image (视觉嵌入与图像嵌入紧密对齐)、audio (音频嵌入)。 |
startSec |
double | 片段的起始偏移量。不适用于文本和图像嵌入。 |
endSec |
double | 片段的末端偏移量。不适用于文本和图像嵌入。 |
TwelveLabs Marengo Embed 2.7请求和回应
以下示例说明如何使用具有不同输入类型的TwelveLabs Marengo Embed 2.7模型。请注意,TwelveLabs Marengo Embed 2.7使用 StartAsyncInvoke API 进行处理。