Esquema de solicitud y respuesta de incrustaciones completo

Esquema sincrónico completo

{
    "schemaVersion": "nova-multimodal-embed-v1",
    "taskType": "SINGLE_EMBEDDING",
    "singleEmbeddingParams": {
        "embeddingPurpose": "GENERIC_INDEX" | "GENERIC_RETRIEVAL" | "TEXT_RETRIEVAL" | "IMAGE_RETRIEVAL" | "VIDEO_RETRIEVAL" | "DOCUMENT_RETRIEVAL" | "AUDIO_RETRIEVAL" | "CLASSIFICATION" | "CLUSTERING",
        "embeddingDimension": 256 | 384 | 1024 | 3072,
        "text": {
            "truncationMode": "START" | "END" | "NONE",
            "value": string,
            "source": SourceObject,
        },
        "image": {
            "detailLevel": "STANDARD_IMAGE" | "DOCUMENT_IMAGE",
            "format": "png" | "jpeg" | "gif" | "webp",
            "source": SourceObject
        },
        "audio": {
            "format": "mp3" | "wav" | "ogg",
            "source": SourceObject
        },
        "video": {
            "format": "mp4" | "mov" | "mkv" | "webm" | "flv" | "mpeg" | "mpg" | "wmv" | "3gp",
            "source": SourceObject,
            "embeddingMode": "AUDIO_VIDEO_COMBINED" | "AUDIO_VIDEO_SEPARATE"
        }
    }
}

   

En la siguiente lista se incluyen todos los parámetros de la solicitud:

Cuerpo de respuesta de InvokeModel

Cuando InvokeModel devuelva un resultado exitoso, el cuerpo de la respuesta tendrá la siguiente estructura:

{
   "embeddings": [
      {
          "embeddingType": "TEXT" | "IMAGE" | "VIDEO" | "AUDIO" | "AUDIO_VIDEO_COMBINED",
          "embedding": number[],
          "truncatedCharLength": int // Only included if text input was truncated
      }
    ]                       
}
   

En la siguiente lista se incluyen todos los parámetros de la respuesta:

Esquema asincrónico completo

Puede generar incrustaciones de forma asincrónica mediante las funciones de la API de Amazon Bedrock Runtime StartAsyncInvoke, GetAsyncInvoke y ListAsyncInvokes. Debe usar la API asincrónica si quiere usar Nova Embeddings para segmentar contenido extenso, como pasajes largos de texto o video y audio de más de 30 segundos.

Al llamar a StartAsyncInvoke, debe proporcionar los parámetros modelId, outputDataConfig y modelInput

response = bedrock_runtime.start_async_invoke(
    modelId="amazon.nova-2-multimodal-embeddings-v1:0",
    outputDataConfig=Data Config,
    modelInput=Model Input
)
  

outputDataConfig especifica el bucket de S3 en el que desea guardar el resultado generado. Tiene la estructura siguiente:

{
    "s3OutputDataConfig": {
        "s3Uri": "s3://your-s3-bucket"
    }
} 
  

s3Uri es el URI de S3 del bucket de destino. Para ver otros parámetros opcionales, consulte la documentación de StartAsyncInvoke.

Para el parámetro modelInput se utiliza la siguiente estructura.

{
    "schemaVersion": "nova-multimodal-embed-v1",
    "taskType": "SEGMENTED_EMBEDDING",
    "segmentedEmbeddingParams": {
        "embeddingPurpose": "GENERIC_INDEX" | "GENERIC_RETRIEVAL" | "TEXT_RETRIEVAL" | "IMAGE_RETRIEVAL" | "VIDEO_RETRIEVAL" | "DOCUMENT_RETRIEVAL" | "AUDIO_RETRIEVAL" | "CLASSIFICATION" | "CLUSTERING",
        "embeddingDimension": 256 | 384 | 1024 | 3072,
        "text": {
            "truncationMode": "START" | "END" | "NONE",
            "value": string,
            "source": {
                "s3Location": {
                    "uri": "s3://Your S3 Object"
                }
            },
            "segmentationConfig": {
                "maxLengthChars": int
            }
        },
        "image": {
            "format": "png" | "jpeg" | "gif" | "webp",
            "source": SourceObject,
            "detailLevel": "STANDARD_IMAGE" | "DOCUMENT_IMAGE"
        },
        "audio": {
            "format": "mp3" | "wav" | "ogg",
            "source": SourceObject,
            "segmentationConfig": {
                "durationSeconds": int
            }
        },
        "video": {
            "format": "mp4" | "mov" | "mkv" | "webm" | "flv" | "mpeg" | "mpg" | "wmv" | "3gp",
            "source": SourceObject,
            "embeddingMode": "AUDIO_VIDEO_COMBINED" | "AUDIO_VIDEO_SEPARATE",
            "segmentationConfig": {
                "durationSeconds": int
            }
        }
    }
}
  

En la siguiente lista se incluyen todos los parámetros de la solicitud:

Respuesta de StartAsyncInvoke

La respuesta de una llamada a StartAsyncInvoke tendrá la siguiente estructura. Se puede utilizar invocationArn para consultar el estado de la tarea asincrónica mediante la función GetAsyncInvoke.

{
    "invocationArn": "arn:aws:bedrock:us-east-1:xxxxxxxxxxxx:async-invoke/lvmxrnjf5mo3",
}
  

Salida asincrónica

Cuando finaliza la generación de incrustaciones asincrónicas, los artefactos de salida se escriben en el bucket de S3 que especificó como destino de salida. Los archivos tendrán la estructura siguiente:

   amzn-s3-demo-bucket/
    job-id/
        segmented-embedding-result.json
        embedding-audio.jsonl
        embedding-image.json
        embedding-text.jsonl
        embedding-video.jsonl
        manifest.json
  

Los archivos segmented-embedding-result.json contendrán el resultado general de la tarea y una referencia a los archivos jsonl correspondientes, que contienen las incrustaciones reales por modalidad. A continuación, se muestra un ejemplo truncado de archivo:

{
    "sourceFileUri": string, 
    "embeddingDimension": 256 | 384 | 1024 | 3072,
    "embeddingResults": [
        {
            "embeddingType": "TEXT" | "IMAGE" | "VIDEO" | "AUDIO" | "AUDIO_VIDEO_COMBINED",
            "status": "SUCCESS" | "FAILURE" | "PARTIAL_SUCCESS",
            "failureReason": string, // Granular error codes
            "message": string, // Human-readbale failure message
            "outputFileUri": string // S3 URI to a "embedding-modality.jsonl" file
        }
        ...
    ]
}
  

Los archivos embedding-modality.json serán archivos jsonl los que contendrán el resultado de incrustación para cada modalidad. Cada línea del archivo jsonl seguirá el siguiente esquema:

{
    "embedding": number[], // The generated embedding vector
    "segmentMetadata": {
        "segmentIndex": number,
        "segmentStartCharPosition": number, // Included for text only
        "segmentEndCharPosition": number, // Included for text only
        "truncatedCharLength": number, // Included only when text gets truncated
        "segmentStartSeconds": number, // Included for audio/video only
        "segmentEndSeconds": number // Included for audio/video only
    },
    "status": "SUCCESS" | "FAILURE",
    "failureReason": string, // Granular error codes
    "message": string // Human-readable failure message
}
  

En la siguiente lista se incluyen todos los parámetros de la respuesta. En el caso de los caracteres de texto o las horas de audio/video, todas las horas de inicio y finalización se basan en cero. Además, todas las posiciones finales del texto o los valores de tiempo de audio/video son inclusivos.

Limitaciones de archivos para Nova Embeddings

Las operaciones sincrónicas pueden aceptar tanto entradas S3 como fragmentos en línea. Las operaciones asincrónicas solo pueden aceptar entradas S3.

Al generar incrustaciones de forma asincrónica, deberá asegurarse de que el archivo esté separado en una cantidad adecuada de segmentos. Las incrustaciones de texto no puede tener más de 1900 segmentos. Las incrustaciones de audio y video no puede tener más de 1434 segmentos.