Schema completo delle richieste e delle risposte degli embedding

Schema sincrono completo

{
    "schemaVersion": "nova-multimodal-embed-v1",
    "taskType": "SINGLE_EMBEDDING",
    "singleEmbeddingParams": {
        "embeddingPurpose": "GENERIC_INDEX" | "GENERIC_RETRIEVAL" | "TEXT_RETRIEVAL" | "IMAGE_RETRIEVAL" | "VIDEO_RETRIEVAL" | "DOCUMENT_RETRIEVAL" | "AUDIO_RETRIEVAL" | "CLASSIFICATION" | "CLUSTERING",
        "embeddingDimension": 256 | 384 | 1024 | 3072,
        "text": {
            "truncationMode": "START" | "END" | "NONE",
            "value": string,
            "source": SourceObject,
        },
        "image": {
            "detailLevel": "STANDARD_IMAGE" | "DOCUMENT_IMAGE",
            "format": "png" | "jpeg" | "gif" | "webp",
            "source": SourceObject
        },
        "audio": {
            "format": "mp3" | "wav" | "ogg",
            "source": SourceObject
        },
        "video": {
            "format": "mp4" | "mov" | "mkv" | "webm" | "flv" | "mpeg" | "mpg" | "wmv" | "3gp",
            "source": SourceObject,
            "embeddingMode": "AUDIO_VIDEO_COMBINED" | "AUDIO_VIDEO_SEPARATE"
        }
    }
}

   

Il seguente elenco include tutti i parametri della richiesta:

Corpo della risposta InvokeModel

Quando InvokeModel restituisce un risultato positivo, il corpo della risposta ha la seguente struttura:

{
   "embeddings": [
      {
          "embeddingType": "TEXT" | "IMAGE" | "VIDEO" | "AUDIO" | "AUDIO_VIDEO_COMBINED",
          "embedding": number[],
          "truncatedCharLength": int // Only included if text input was truncated
      }
    ]                       
}
   

Il seguente elenco include tutti i parametri della risposta:

Schema asincrono completo

Puoi generare embedding in modo asincrono usando le funzioni dell’API Amazon Bedrock Runtime StartAsyncInvoke, GetAsyncInvoke e ListAsyncInvokes. Devi usare l’API asincrona se vuoi utilizzare gli embedding Nova per segmentare contenuti lunghi come passaggi di testo o video e audio di durata superiore a 30 secondi.

Quando invochi StartAsyncInvoke, devi fornire i parametri modelId outputDataConfig e modelInput.

response = bedrock_runtime.start_async_invoke(
    modelId="amazon.nova-2-multimodal-embeddings-v1:0",
    outputDataConfig=Data Config,
    modelInput=Model Input
)
  

outputDataConfig specifica il bucket S3 in cui vuoi salvare l’output generato. Ha la struttura seguente:

{
    "s3OutputDataConfig": {
        "s3Uri": "s3://your-s3-bucket"
    }
} 
  

s3Uri è l’URI S3 del bucket di destinazione. Per ulteriori parametri facoltativi, consulta la documentazione StartAsyncInvoke.

Per il parametro modelInput viene usata la seguente struttura.

{
    "schemaVersion": "nova-multimodal-embed-v1",
    "taskType": "SEGMENTED_EMBEDDING",
    "segmentedEmbeddingParams": {
        "embeddingPurpose": "GENERIC_INDEX" | "GENERIC_RETRIEVAL" | "TEXT_RETRIEVAL" | "IMAGE_RETRIEVAL" | "VIDEO_RETRIEVAL" | "DOCUMENT_RETRIEVAL" | "AUDIO_RETRIEVAL" | "CLASSIFICATION" | "CLUSTERING",
        "embeddingDimension": 256 | 384 | 1024 | 3072,
        "text": {
            "truncationMode": "START" | "END" | "NONE",
            "value": string,
            "source": {
                "s3Location": {
                    "uri": "s3://Your S3 Object"
                }
            },
            "segmentationConfig": {
                "maxLengthChars": int
            }
        },
        "image": {
            "format": "png" | "jpeg" | "gif" | "webp",
            "source": SourceObject,
            "detailLevel": "STANDARD_IMAGE" | "DOCUMENT_IMAGE"
        },
        "audio": {
            "format": "mp3" | "wav" | "ogg",
            "source": SourceObject,
            "segmentationConfig": {
                "durationSeconds": int
            }
        },
        "video": {
            "format": "mp4" | "mov" | "mkv" | "webm" | "flv" | "mpeg" | "mpg" | "wmv" | "3gp",
            "source": SourceObject,
            "embeddingMode": "AUDIO_VIDEO_COMBINED" | "AUDIO_VIDEO_SEPARATE",
            "segmentationConfig": {
                "durationSeconds": int
            }
        }
    }
}
  

Il seguente elenco include tutti i parametri della richiesta:

Risposta StartAsyncInvoke

La risposta di una chiamata a StartAsyncInvoke avrà la seguente struttura. invocationArn può essere utilizzato per interrogare lo stato del processo asincrono usando la funzione GetAsyncInvoke.

{
    "invocationArn": "arn:aws:bedrock:us-east-1:xxxxxxxxxxxx:async-invoke/lvmxrnjf5mo3",
}
  

Output asincrono

Quando la generazione degli embedding asincroni è completa, gli artefatti di output vengono scritti nel bucket S3 specificato come destinazione dell’output. I file avranno la struttura seguente:

   amzn-s3-demo-bucket/
    job-id/
        segmented-embedding-result.json
        embedding-audio.jsonl
        embedding-image.json
        embedding-text.jsonl
        embedding-video.jsonl
        manifest.json
  

segmented-embedding-result.json conterrà il risultato complessivo del processo e il riferimento ai file jsonl corrispondenti che contengono gli embedding effettivi per modalità. Di seguito è riportato un esempio troncato di un file:

{
    "sourceFileUri": string, 
    "embeddingDimension": 256 | 384 | 1024 | 3072,
    "embeddingResults": [
        {
            "embeddingType": "TEXT" | "IMAGE" | "VIDEO" | "AUDIO" | "AUDIO_VIDEO_COMBINED",
            "status": "SUCCESS" | "FAILURE" | "PARTIAL_SUCCESS",
            "failureReason": string, // Granular error codes
            "message": string, // Human-readbale failure message
            "outputFileUri": string // S3 URI to a "embedding-modality.jsonl" file
        }
        ...
    ]
}
  

I file embedding-modality.json saranno file jsonl che contengono l’output di embedding per ciascuna modalità. Ogni riga del file jsonl rispetterà il seguente schema:

{
    "embedding": number[], // The generated embedding vector
    "segmentMetadata": {
        "segmentIndex": number,
        "segmentStartCharPosition": number, // Included for text only
        "segmentEndCharPosition": number, // Included for text only
        "truncatedCharLength": number, // Included only when text gets truncated
        "segmentStartSeconds": number, // Included for audio/video only
        "segmentEndSeconds": number // Included for audio/video only
    },
    "status": "SUCCESS" | "FAILURE",
    "failureReason": string, // Granular error codes
    "message": string // Human-readable failure message
}
  

Il seguente elenco include tutti i parametri della risposta. Per i caratteri di testo o i tempi audio/video, tutti gli orari di inizio e fine sono basati sullo zero. Inoltre, tutte le posizioni finali del testo o i valori temporali audio/video sono inclusivi.

Limitazioni dei file per Embedding Nova

Le operazioni sincrone possono accettare sia gli input S3 che i blocchi in linea. Le operazioni asincrone possono accettare solo gli input S3.

Quando si generano embedding in modo asincrono, bisogna assicurarsi che il file sia separato in un numero appropriato di segmenti. Per gli embedding di testo non è possibile avere più di 1900 segmenti. Per gli embedding audio e video non è possibile avere più di 1434 segmenti.