Schéma complet de demande et de réponse pour les vectorisations

Schéma synchrone complet

{
    "schemaVersion": "nova-multimodal-embed-v1",
    "taskType": "SINGLE_EMBEDDING",
    "singleEmbeddingParams": {
        "embeddingPurpose": "GENERIC_INDEX" | "GENERIC_RETRIEVAL" | "TEXT_RETRIEVAL" | "IMAGE_RETRIEVAL" | "VIDEO_RETRIEVAL" | "DOCUMENT_RETRIEVAL" | "AUDIO_RETRIEVAL" | "CLASSIFICATION" | "CLUSTERING",
        "embeddingDimension": 256 | 384 | 1024 | 3072,
        "text": {
            "truncationMode": "START" | "END" | "NONE",
            "value": string,
            "source": SourceObject,
        },
        "image": {
            "detailLevel": "STANDARD_IMAGE" | "DOCUMENT_IMAGE",
            "format": "png" | "jpeg" | "gif" | "webp",
            "source": SourceObject
        },
        "audio": {
            "format": "mp3" | "wav" | "ogg",
            "source": SourceObject
        },
        "video": {
            "format": "mp4" | "mov" | "mkv" | "webm" | "flv" | "mpeg" | "mpg" | "wmv" | "3gp",
            "source": SourceObject,
            "embeddingMode": "AUDIO_VIDEO_COMBINED" | "AUDIO_VIDEO_SEPARATE"
        }
    }
}

   

La liste suivante comprend tous les paramètres de la demande :

Corps de la réponse InvokeModel

Lorsque InvokeModel renvoie un résultat positif, le corps de la réponse aura la structure suivante :

{
   "embeddings": [
      {
          "embeddingType": "TEXT" | "IMAGE" | "VIDEO" | "AUDIO" | "AUDIO_VIDEO_COMBINED",
          "embedding": number[],
          "truncatedCharLength": int // Only included if text input was truncated
      }
    ]                       
}
   

La liste suivante comprend tous les paramètres de la réponse :

Schéma asynchrone complet

Vous pouvez générer des vectorisations de manière asynchrone à l’aide des fonctions StartAsyncInvoke, GetAsyncInvoke et ListAsyncInvokes de l’API d’exécution Amazon Bedrock. L’API asynchrone doit être utilisée si vous voulez utiliser Nova Embeddings pour segmenter du contenu long, tel que de longs passages de texte ou des vidéos et des fichiers audio de plus de 30 secondes.

Lorsque vous appelez StartAsyncInvoke, vous devez fournir les paramètres modelId, outputDataConfig et modelInput.

response = bedrock_runtime.start_async_invoke(
    modelId="amazon.nova-2-multimodal-embeddings-v1:0",
    outputDataConfig=Data Config,
    modelInput=Model Input
)
  

outputDataConfig spécifie le compartiment S3 dans lequel vous souhaitez enregistrer la sortie générée. Elle présente la structure suivante :

{
    "s3OutputDataConfig": {
        "s3Uri": "s3://your-s3-bucket"
    }
} 
  

Le paramètre s3Uri est l’URI S3 du compartiment de destination. Pour connaître les paramètres facultatifs supplémentaires, consultez la documentation StartAsyncInvoke.

La structure suivante est utilisée pour le paramètre modelInput.

{
    "schemaVersion": "nova-multimodal-embed-v1",
    "taskType": "SEGMENTED_EMBEDDING",
    "segmentedEmbeddingParams": {
        "embeddingPurpose": "GENERIC_INDEX" | "GENERIC_RETRIEVAL" | "TEXT_RETRIEVAL" | "IMAGE_RETRIEVAL" | "VIDEO_RETRIEVAL" | "DOCUMENT_RETRIEVAL" | "AUDIO_RETRIEVAL" | "CLASSIFICATION" | "CLUSTERING",
        "embeddingDimension": 256 | 384 | 1024 | 3072,
        "text": {
            "truncationMode": "START" | "END" | "NONE",
            "value": string,
            "source": {
                "s3Location": {
                    "uri": "s3://Your S3 Object"
                }
            },
            "segmentationConfig": {
                "maxLengthChars": int
            }
        },
        "image": {
            "format": "png" | "jpeg" | "gif" | "webp",
            "source": SourceObject,
            "detailLevel": "STANDARD_IMAGE" | "DOCUMENT_IMAGE"
        },
        "audio": {
            "format": "mp3" | "wav" | "ogg",
            "source": SourceObject,
            "segmentationConfig": {
                "durationSeconds": int
            }
        },
        "video": {
            "format": "mp4" | "mov" | "mkv" | "webm" | "flv" | "mpeg" | "mpg" | "wmv" | "3gp",
            "source": SourceObject,
            "embeddingMode": "AUDIO_VIDEO_COMBINED" | "AUDIO_VIDEO_SEPARATE",
            "segmentationConfig": {
                "durationSeconds": int
            }
        }
    }
}
  

La liste suivante comprend tous les paramètres de la demande :

Réponse de StartAsyncInvoke

La réponse à un appel à StartAsyncInvoke aura la structure ci-dessous. Le paramètre invocationArn peut être utilisé pour interroger l’état de la tâche asynchrone à l’aide de la fonction GetAsyncInvoke.

{
    "invocationArn": "arn:aws:bedrock:us-east-1:xxxxxxxxxxxx:async-invoke/lvmxrnjf5mo3",
}
  

Sortie asynchrone

Une fois la génération des vectorisations asynchrones terminée, les artefacts de sortie sont écrits dans le compartiment S3 que vous avez spécifié comme destination de sortie. Les fichiers auront la structure suivante :

   amzn-s3-demo-bucket/
    job-id/
        segmented-embedding-result.json
        embedding-audio.jsonl
        embedding-image.json
        embedding-text.jsonl
        embedding-video.jsonl
        manifest.json
  

Le segmented-embedding-result.json contiendra le résultat global de la tâche et une référence aux fichiers jsonl correspondants qui contiennent les vectorisations réelles par modalité. Vous trouverez ci-dessous un exemple tronqué d’un fichier :

{
    "sourceFileUri": string, 
    "embeddingDimension": 256 | 384 | 1024 | 3072,
    "embeddingResults": [
        {
            "embeddingType": "TEXT" | "IMAGE" | "VIDEO" | "AUDIO" | "AUDIO_VIDEO_COMBINED",
            "status": "SUCCESS" | "FAILURE" | "PARTIAL_SUCCESS",
            "failureReason": string, // Granular error codes
            "message": string, // Human-readbale failure message
            "outputFileUri": string // S3 URI to a "embedding-modality.jsonl" file
        }
        ...
    ]
}
  

Le embedding-modality.json sera constitué de fichiers jsonl contenant la sortie de vectorisation pour chaque modalité. Chaque ligne du fichier jsonl respectera le schéma suivant :

{
    "embedding": number[], // The generated embedding vector
    "segmentMetadata": {
        "segmentIndex": number,
        "segmentStartCharPosition": number, // Included for text only
        "segmentEndCharPosition": number, // Included for text only
        "truncatedCharLength": number, // Included only when text gets truncated
        "segmentStartSeconds": number, // Included for audio/video only
        "segmentEndSeconds": number // Included for audio/video only
    },
    "status": "SUCCESS" | "FAILURE",
    "failureReason": string, // Granular error codes
    "message": string // Human-readable failure message
}
  

La liste suivante comprend tous les paramètres de la réponse. Pour les caractères textuels ou les durées audio/vidéo, toutes les heures de début et de fin sont basées sur zéro. De plus, toutes les positions de fin de texte ou les valeurs de durée audio/vidéo sont inclusives.

Limitations de fichiers pour Nova Embeddings

Les opérations synchrones peuvent accepter à la fois les entrées S3 et les segments en ligne. Les opérations asynchrones ne peuvent accepter que les entrées S3.

Lorsque vous générez des vectorisations de manière asynchrone, vous devez vous assurer que votre fichier est divisé en un nombre approprié de segments. Pour les vectorisations de texte, vous ne pouvez pas avoir plus de 1 900 segments. Pour les vectorisations audio et vidéo, vous ne pouvez pas avoir plus de 1 434 segments.