Esquema completo de solicitações e respostas de incorporações

Esquema síncrono completo

{
    "schemaVersion": "nova-multimodal-embed-v1",
    "taskType": "SINGLE_EMBEDDING",
    "singleEmbeddingParams": {
        "embeddingPurpose": "GENERIC_INDEX" | "GENERIC_RETRIEVAL" | "TEXT_RETRIEVAL" | "IMAGE_RETRIEVAL" | "VIDEO_RETRIEVAL" | "DOCUMENT_RETRIEVAL" | "AUDIO_RETRIEVAL" | "CLASSIFICATION" | "CLUSTERING",
        "embeddingDimension": 256 | 384 | 1024 | 3072,
        "text": {
            "truncationMode": "START" | "END" | "NONE",
            "value": string,
            "source": SourceObject,
        },
        "image": {
            "detailLevel": "STANDARD_IMAGE" | "DOCUMENT_IMAGE",
            "format": "png" | "jpeg" | "gif" | "webp",
            "source": SourceObject
        },
        "audio": {
            "format": "mp3" | "wav" | "ogg",
            "source": SourceObject
        },
        "video": {
            "format": "mp4" | "mov" | "mkv" | "webm" | "flv" | "mpeg" | "mpg" | "wmv" | "3gp",
            "source": SourceObject,
            "embeddingMode": "AUDIO_VIDEO_COMBINED" | "AUDIO_VIDEO_SEPARATE"
        }
    }
}

   

A lista a seguir inclui todos os parâmetros para a solicitação:

Corpo da resposta InvokeModel

Quando InvokeModel retorna um resultado bem-sucedido, o corpo da resposta terá a seguinte estrutura:

{
   "embeddings": [
      {
          "embeddingType": "TEXT" | "IMAGE" | "VIDEO" | "AUDIO" | "AUDIO_VIDEO_COMBINED",
          "embedding": number[],
          "truncatedCharLength": int // Only included if text input was truncated
      }
    ]                       
}
   

A lista a seguir inclui todos os parâmetros para a resposta:

Esquema assíncrono completo

Você pode gerar incorporações de forma assíncrona usando as funções StartAsyncInvoke, GetAsyncInvoke e ListAsyncInvoke da API Amazon Bedrock Runtime. A API assíncrona deve ser usada se você quiser usar o Nova Embeddings para segmentar conteúdo longo, como trechos longos de texto ou vídeos e áudios com mais de 30 segundos de duração.

Ao chamar startAsyncInvoke, você deve fornecer modelId, outputDataConfig e parâmetros modelInput.

response = bedrock_runtime.start_async_invoke(
    modelId="amazon.nova-2-multimodal-embeddings-v1:0",
    outputDataConfig=Data Config,
    modelInput=Model Input
)
  

outputDataConfig especifica o bucket do S3 no qual você gostaria de salvar a saída gerada. Ela tem a seguinte estrutura:

{
    "s3OutputDataConfig": {
        "s3Uri": "s3://your-s3-bucket"
    }
} 
  

O s3Uri é o URI do S3 do bucket de destino. Para obter parâmetros opcionais adicionais, consulte a documentação do StartAsyncInvoke.

A estrutura a seguir é usada para o parâmetro modelInput.

{
    "schemaVersion": "nova-multimodal-embed-v1",
    "taskType": "SEGMENTED_EMBEDDING",
    "segmentedEmbeddingParams": {
        "embeddingPurpose": "GENERIC_INDEX" | "GENERIC_RETRIEVAL" | "TEXT_RETRIEVAL" | "IMAGE_RETRIEVAL" | "VIDEO_RETRIEVAL" | "DOCUMENT_RETRIEVAL" | "AUDIO_RETRIEVAL" | "CLASSIFICATION" | "CLUSTERING",
        "embeddingDimension": 256 | 384 | 1024 | 3072,
        "text": {
            "truncationMode": "START" | "END" | "NONE",
            "value": string,
            "source": {
                "s3Location": {
                    "uri": "s3://Your S3 Object"
                }
            },
            "segmentationConfig": {
                "maxLengthChars": int
            }
        },
        "image": {
            "format": "png" | "jpeg" | "gif" | "webp",
            "source": SourceObject,
            "detailLevel": "STANDARD_IMAGE" | "DOCUMENT_IMAGE"
        },
        "audio": {
            "format": "mp3" | "wav" | "ogg",
            "source": SourceObject,
            "segmentationConfig": {
                "durationSeconds": int
            }
        },
        "video": {
            "format": "mp4" | "mov" | "mkv" | "webm" | "flv" | "mpeg" | "mpg" | "wmv" | "3gp",
            "source": SourceObject,
            "embeddingMode": "AUDIO_VIDEO_COMBINED" | "AUDIO_VIDEO_SEPARATE",
            "segmentationConfig": {
                "durationSeconds": int
            }
        }
    }
}
  

A lista a seguir inclui todos os parâmetros para a solicitação:

Resposta StartAsyncInvoke

A resposta de uma chamada para StartAsyncInvoke terá a estrutura abaixo. O invocationArn pode ser usado para consultar o status do trabalho assíncrono usando a função GetAsyncInvoke.

{
    "invocationArn": "arn:aws:bedrock:us-east-1:xxxxxxxxxxxx:async-invoke/lvmxrnjf5mo3",
}
  

Saída assíncrona

Quando a geração de incorporações assíncronas é concluída, os artefatos de saída são gravados no bucket do S3 que você especificou como destino de saída. Os arquivos terão a seguinte estrutura:

   amzn-s3-demo-bucket/
    job-id/
        segmented-embedding-result.json
        embedding-audio.jsonl
        embedding-image.json
        embedding-text.jsonl
        embedding-video.jsonl
        manifest.json
  

O segmented-embedding-result.json conterá o resultado geral do trabalho e a referência aos arquivos jsonl correspondentes, que contêm as incorporações reais por modalidade. Abaixo está um exemplo abreviado de um arquivo:

{
    "sourceFileUri": string, 
    "embeddingDimension": 256 | 384 | 1024 | 3072,
    "embeddingResults": [
        {
            "embeddingType": "TEXT" | "IMAGE" | "VIDEO" | "AUDIO" | "AUDIO_VIDEO_COMBINED",
            "status": "SUCCESS" | "FAILURE" | "PARTIAL_SUCCESS",
            "failureReason": string, // Granular error codes
            "message": string, // Human-readbale failure message
            "outputFileUri": string // S3 URI to a "embedding-modality.jsonl" file
        }
        ...
    ]
}
  

Os embedding-modality.json serão arquivos jsonl que contêm a saída de incorporação para cada modalidade. Cada linha no arquivo jsonl seguirá o seguinte esquema:

{
    "embedding": number[], // The generated embedding vector
    "segmentMetadata": {
        "segmentIndex": number,
        "segmentStartCharPosition": number, // Included for text only
        "segmentEndCharPosition": number, // Included for text only
        "truncatedCharLength": number, // Included only when text gets truncated
        "segmentStartSeconds": number, // Included for audio/video only
        "segmentEndSeconds": number // Included for audio/video only
    },
    "status": "SUCCESS" | "FAILURE",
    "failureReason": string, // Granular error codes
    "message": string // Human-readable failure message
}
  

A lista a seguir inclui todos os parâmetros para a resposta. Para caracteres de texto ou tempos de áudio/vídeo, todos os horários de início e término são baseados em zero. Além disso, todas as posições finais de texto ou valores de tempo de áudio/vídeo são inclusivos.

Limitações de arquivo para o Nova Embeddings

As operações síncronas podem aceitar tanto entradas do S3 quanto chunks inline. As operações assíncronas só podem aceitar entradas do S3.

Ao gerar incorporações de forma assíncrona, você precisará garantir que seu arquivo seja dividido em um número apropriado de segmentos. Para incorporações de texto, você não pode ter mais de 1900 segmentos. Para incorporações de áudio e texto, você não pode ter mais de 1434 segmentos.