Utilizzo di Embedding Nova

Embedding multimodali Amazon Nova è un modello di embedding multimodale all’avanguardia per applicazioni RAG agentiche e di ricerca semantica. È il primo modello di embedding unificato che supporta testo, documenti, immagini, video e audio attraverso un unico modello, per consentire il recupero intermodale con la massima precisione. Embedding multimodali Nova mappa ciascuno di questi tipi di contenuto in uno spazio semantico unificato che consente agli sviluppatori di condurre operazioni vettoriali unimodali, intermodali e multimodali.

L’API Embedding Nova può essere usata in una varietà di applicazioni, come:

Prerequisiti

Per usare Embedding multimodali occorre quanto segue:

Con questi elementi abilitati, puoi eseguire richieste di embedding asincrone o sincrone.

Generare embedding in modo sincrono

Per elementi di contenuto più piccoli, puoi usare l’API Bedrock Runtime InvokeModel. È una buona opzione per generare rapidamente embedding per testo, immagini o brevi file audio/video.

Il seguente esempio genera un embedding sincrono per il testo “Hello World!”

import json
import boto3

# Create the Bedrock Runtime client.
bedrock_runtime = boto3.client(
    service_name="bedrock-runtime",
    region_name="us-east-1",
)

# Define the request body.
request_body = {
    "taskType": "SINGLE_EMBEDDING",
    "singleEmbeddingParams": {
        "embeddingPurpose": "GENERIC_INDEX",
        "embeddingDimension": 3072,
        "text": {"truncationMode": "END", "value": "Hello, World!"},
    },
}

try:
    # Invoke the Nova Embeddings model.
    response = bedrock_runtime.invoke_model(
        body=json.dumps(request_body, indent=2),
        modelId="amazon.nova-2-multimodal-embeddings-v1:0",
        accept="application/json",
        contentType="application/json",
    )
    
except Exception as e:
    # Add your own exception handling here.
    print(e)
    
# Print the request ID.
print("Request ID:", response.get("ResponseMetadata").get("RequestId"))

# Print the response body.
response_body = json.loads(response.get("body").read())
print(json.dumps(response_body, indent=2))

L'output apparirà come segue:

   Request ID: fde55db5-c129-423b-c62d-7a8b36cf2859
{
  "embeddings": [
    {
      "embeddingType": "TEXT",
      "embedding": [
        0.031115104,
        0.032478657,
        0.10006265,
        ...
      ]
    }
  ]
}
  

Generare embedding in modo asincrono

Per file di contenuto più grandi, puoi usare la funzione Bedrock Runtime StartAsyncInvoke per generare embedding in modo asincrono. Ciò consente di inviare un processo e recuperare i risultati in un secondo momento, senza bloccare l’esecuzione dell’applicazione. I risultati vengono salvati in Amazon S3.

Il seguente esempio avvia un processo di generazione di embedding asincrono per un file video:

import boto3

# Create the Bedrock Runtime client.
bedrock_runtime = boto3.client(
    service_name="bedrock-runtime",
    region_name="us-east-1",
)

model_input = {
    "taskType": "SEGMENTED_EMBEDDING",
    "segmentedEmbeddingParams": {
        "embeddingPurpose": "GENERIC_INDEX",
        "embeddingDimension": 3072,
        "video": {
            "format": "mp4",
            "embeddingMode": "AUDIO_VIDEO_COMBINED",
            "source": {
                "s3Location": {"uri": "s3://amzn-s3-demo-bucket/path/to/video.mp4"}
            },
            "segmentationConfig": {
                "durationSeconds": 15  # Segment into 15 second chunks
            },
        },
    },
}

try:
    # Invoke the Nova Embeddings model.
    response = bedrock_runtime.start_async_invoke(
        modelId="amazon.nova-2-multimodal-embeddings-v1:0",
        modelInput=model_input,
        outputDataConfig={
            "s3OutputDataConfig": {
                "s3Uri": "s3://amzn-s3-demo-bucket"
            }
        },
    )

except Exception as e:
    # Add your own exception handling here.
    print(e)

# Print the request ID.
print("Request ID:", response.get("ResponseMetadata").get("RequestId"))

# Print the invocation ARN.
print("Invocation ARN:", response.get("invocationArn"))

L'output apparirà come segue:

   Request ID: 07681e80-5ce0-4723-cf52-68bf699cd23e
   Invocation ARN: arn:aws:bedrock:us-east-1:111122223333:async-invoke/g7ur3b32a10n
  

Dopo aver avviato il processo asincrono, usa invocationArn per controllare lo stato del processo con la funzione GetAsyncInvoke. Per visualizzare le invocazioni asincrone recenti e il relativo stato, usa la funzione ListAsyncInvokes.

Quando la generazione degli embedding asincroni è completa, gli artefatti vengono scritti nel bucket S3 specificato come destinazione dell’output. I file avranno la struttura seguente:

   amzn-s3-demo-bucket/
    job-id/
        segmented-embedding-result.json
        embedding-audio.jsonl
        embedding-image.json
        embedding-text.jsonl
        embedding-video.jsonl
        manifest.json