TwelveLabs Marengo Embed 2.7 - Amazon Bedrock
TwelveLabs Marengo Embed 2.7parâmetros de solicitaçãoCampos de resposta TwelveLabs Marengo Embed 2.7TwelveLabs Marengo Embed 2.7solicitação e resposta

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

TwelveLabs Marengo Embed 2.7

O TwelveLabs Marengo Embed 2.7 modelo gera incorporações a partir de entradas de vídeo, texto, áudio ou imagem. Essas incorporações podem ser usadas para pesquisa por similaridade, agrupamento e outras tarefas de aprendizado de máquina. O modelo oferece suporte à inferência assíncrona por meio da API. StartAsyncInvoke

  • Fornecedor — TwelveLabs

  • Categorias — Incorporações, multimodais

  • ID do modelo — twelvelabs.marengo-embed-2-7-v1:0

  • Modalidade de entrada — Vídeo, Texto, Áudio, Imagem

  • Modalidade de saída — Incorporações

  • Tamanho máximo do vídeo — vídeo de 2 horas (tamanho de arquivo < 2GB)

TwelveLabs Marengo Embed 2.7parâmetros de solicitação

A tabela a seguir descreve os parâmetros de entrada para o TwelveLabs Marengo Embed 2.7 modelo:

TwelveLabs Marengo Embed 2.7parâmetros de solicitação
Campo Tipo Obrigatório Descrição
inputType string Sim Modalidade para a incorporação. Valores válidos: video, text, audio, image.
inputText string Não Texto a ser incorporado quando inputType estivertext. Obrigatório se inputType for text. A entrada de texto não está disponível pelo URI do S3, mas somente pelo inputText campo.
startSec double Não O deslocamento inicial em segundos do início do vídeo ou áudio em que o processamento deve começar. Especificar 0 significa começar do início da mídia. Padrão: 0, Min: 0.
lengthSec double Não A duração, em segundos, do vídeo ou áudio de onde o processamento seria realizadostartSec. Padrão: duração da mídia, Máximo: duração da mídia.
useFixedLengthSec double Não Somente para audio ou para video entradas. A duração fixa desejada em segundos para cada clipe para o qual a plataforma gera uma incorporação. Mín: 2, Máx.: 10. Se faltar, para vídeo: os segmentos são divididos dinamicamente pela detecção do limite de captura; para áudio: os segmentos são divididos uniformemente para ficarem mais próximos de 10 segundos (então, se for um clipe de 50 segundos, serão 5 segmentos com 10 segundos cada, mas se for um clipe de 16 segundos, serão 2 segmentos de 8 segundos cada).
textTruncate string Não Somente para text entrada. Especifica como a plataforma trunca o texto que excede 77 tokens. Valores válidos: end (truncar o final do texto), none (retornar um erro se o texto exceder o limite). Padrão: end.
embeddingOption list Não Somente para video entrada. Especifica quais tipos de incorporações devem ser recuperadas. Valores válidos: visual-text (incorporações visuais otimizadas para pesquisa de texto), visual-image (incorporações visuais otimizadas para pesquisa de imagens), audio (incorporações de áudio). Se não for fornecido, todas as incorporações disponíveis serão retornadas.
mediaSource objeto Não Descreve a fonte de mídia. Obrigatório para os tipos de entrada: imagevideo, audio e.
mediaSource.base64String string Não Cadeia de bytes codificada em Base64 para a mídia. Máximo: 36 MB. Um base64String ou s3Location deve ser fornecido se mediaSource for usado.
mediaSource.s3Location.uri string Não URI do S3 de onde a mídia pode ser baixada. Para vídeo, no máximo: 2 horas de duração (tamanho de arquivo < 2 GB). Necessário se estiver usandos3Location.
mediaSource.s3Location.bucketOwner string Não ID da conta da AWS do proprietário do bucket.
minClipSec int Não Somente para video entrada. Defina um segundo mínimo de clipe. Nota: useFixedLengthSec deve ser maior que esse valor. Padrão: 4, Mín: 1, Máx: 5.

Campos de resposta TwelveLabs Marengo Embed 2.7

A tabela a seguir descreve os campos de saída do TwelveLabs Marengo Embed 2.7 modelo:

Campos de resposta TwelveLabs Marengo Embed 2.7
Campo Tipo Descrição
embedding Lista de duplas Valores de incorporação
embeddingOption string O tipo de incorporação para saída de vários vetores (aplicável somente para vídeo). Valores válidos: visual-text (incorporações visuais estreitamente alinhadas com incorporações de texto), visual-image (incorporações visuais estreitamente alinhadas com incorporações de imagem), (incorporações de áudio). audio
startSec double O deslocamento inicial do clipe. Não aplicável para incorporações de texto e imagem.
endSec double O deslocamento final do clipe. Não aplicável para incorporações de texto e imagem.

TwelveLabs Marengo Embed 2.7solicitação e resposta

Os exemplos a seguir mostram como usar o TwelveLabs Marengo Embed 2.7 modelo com diferentes tipos de entrada. Observe que TwelveLabs Marengo Embed 2.7 usa a StartAsyncInvoke API para processamento.

Request

Os exemplos a seguir mostram formatos de solicitação para o TwelveLabs Marengo Embed 2.7 modelo usando a StartAsyncInvoke API.

Entrada de texto:

{
    "modelId": "twelvelabs.marengo-embed-2-7-v1:0",
    "modelInput": {
        "inputType": "text",
        "inputText": "Spiderman flies through a street and catches a car with his web"
    },
    "outputDataConfig": {
        "s3OutputDataConfig": {
            "s3Uri": "s3://your-bucket-name"
        }
    }
}

Entrada de imagem com localização S3:

{
    "modelId": "twelvelabs.marengo-embed-2-7-v1:0",
    "modelInput": {
        "inputType": "image",
        "mediaSource": {
            "s3Location": {
                "uri": "s3://your-image-object-s3-path",
                "bucketOwner": "your-image-object-s3-bucket-owner-account"
            }
        }
    },
    "outputDataConfig": {
        "s3OutputDataConfig": {
            "s3Uri": "s3://your-bucket-name"
        }
    }
}

Entrada de imagem com codificação base64:

{
    "modelId": "twelvelabs.marengo-embed-2-7-v1:0",
    "modelInput": {
        "inputType": "image",
        "mediaSource": {
            "base64String": "base_64_encoded_string_of_image"
        }
    },
    "outputDataConfig": {
        "s3OutputDataConfig": {
            "s3Uri": "s3://your-bucket-name"
        }
    }
}

Entrada de vídeo com localização S3:

{
    "modelId": "twelvelabs.marengo-embed-2-7-v1:0",
    "modelInput": {
        "inputType": "video",
        "mediaSource": {
            "s3Location": {
                "uri": "s3://your-video-object-s3-path",
                "bucketOwner": "your-video-object-s3-bucket-owner-account"
            }
        }
    },
    "outputDataConfig": {
        "s3OutputDataConfig": {
            "s3Uri": "s3://your-bucket-name"
        }
    }
}

Entrada de vídeo com codificação base64 e intervalo de tempo:

{
    "modelId": "twelvelabs.marengo-embed-2-7-v1:0",
    "modelInput": {
        "inputType": "video",
        "mediaSource": {
            "base64String": "base_64_encoded_string_of_video"
        },
        "startSec": 0,
        "lengthSec": 13,
        "useFixedLengthSec": 5,
        "embeddingOption": ["visual-text", "audio"]
    },
    "outputDataConfig": {
        "s3OutputDataConfig": {
            "s3Uri": "s3://your-bucket-name"
        }
    }
}

Entrada de áudio com localização S3:

{
    "modelId": "twelvelabs.marengo-embed-2-7-v1:0",
    "modelInput": {
        "inputType": "audio",
        "mediaSource": {  
            "s3Location": { 
                "uri": "s3://your-audio-object-s3-path", 
                "bucketOwner": "your-audio-object-s3-bucket-owner-account" 
            }
        }
    },
    "outputDataConfig": {
        "s3OutputDataConfig": {
            "s3Uri": "s3://your-bucket-name"
        }
    }
}

Entrada de áudio com codificação base64 e intervalo de tempo:

{
    "modelId": "twelvelabs.marengo-embed-2-7-v1:0",
    "modelInput": {
        "inputType": "audio", 
        "mediaSource": { 
            "base64String": "base_64_encoded_string_of_audio"
        },
        "startSec": 0,
        "lengthSec": 13,
        "useFixedLengthSec": 10
    },
    "outputDataConfig": {
        "s3OutputDataConfig": {
            "s3Uri": "s3://your-bucket-name"
        }
    }
}
Response

Os exemplos a seguir mostram os formatos de resposta do TwelveLabs Marengo Embed 2.7 modelo. Como esse modelo usa StartAsyncInvoke, as respostas são entregues ao local de saída do S3 especificado emoutputDataConfig.

Resposta de incorporação de texto:

{
    "embedding": [0.123, -0.456, 0.789, ...],
    "embeddingOption": null,
    "startSec": null,
    "endSec": null
}

Resposta de incorporação de imagem:

{
    "embedding": [0.234, -0.567, 0.890, ...],
    "embeddingOption": null,
    "startSec": null,
    "endSec": null
}

Resposta de incorporação de vídeo (clipe único):

{
    "embedding": [0.345, -0.678, 0.901, ...],
    "embeddingOption": "visual-text",
    "startSec": 0.0,
    "endSec": 5.0
}

Resposta de incorporação de vídeo (vários clipes com diferentes tipos de incorporação):

[
    {
        "embedding": [0.123, -0.456, 0.789, ...],
        "embeddingOption": "visual-text",
        "startSec": 0.0,
        "endSec": 5.0
    },
    {
        "embedding": [0.234, -0.567, 0.890, ...],
        "embeddingOption": "visual-text",
        "startSec": 5.0,
        "endSec": 10.0
    },
    {
        "embedding": [0.345, -0.678, 0.901, ...],
        "embeddingOption": "audio",
        "startSec": 0.0,
        "endSec": 10.0
    }
]

Resposta de incorporação de áudio (vários clipes):

[
    {
        "embedding": [0.456, -0.789, 0.012, ...],
        "embeddingOption": null,
        "startSec": 0.0,
        "endSec": 10.0
    },
    {
        "embedding": [0.567, -0.890, 0.123, ...],
        "embeddingOption": null,
        "startSec": 10.0,
        "endSec": 13.0
    }
]