Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Creazione e ricerca di indici vettoriali

Questa sezione descrive come creare e gestire indici vettoriali, scrivere elementi con dati vettoriali ed eseguire ricerche di similarità utilizzando l'API. SearchVectors

Prima di iniziare

Prima di lavorare con gli indici vettoriali, verifica quanto segue:

SearchVectors endpoint

SearchVectorsle richieste utilizzano endpoint dedicati alla ricerca vettoriale, distinti dagli endpoint DynamoDB standard utilizzati per creare e gestire indici vettoriali (ad esempio, con, e). CreateTable UpdateTable DescribeTable Gli AWS SDK e indirizzano automaticamente le richieste verso l'endpoint corretto. AWS CLI SearchVectors Non è necessario configurare o sovrascrivere l'endpoint nel codice dell'applicazione.

Se stai creando un client HTTP personalizzato che richiama direttamente l'API DynamoDB senza un AWS SDK, utilizza uno dei seguenti endpoint di ricerca vettoriale, sostituendo e se appropriato: account-id region

Generazione di incorporamenti vettoriali

DynamoDB archivia e ricerca gli incorporamenti vettoriali, ma non li genera. Produci incorporamenti con un modello di incorporamento, come i modelli Amazon Bedrock Titan Text Embeddings o Cohere Embed, o qualsiasi modello di incorporamento che utilizzi. Quindi memorizzi il vettore risultante in un elemento DynamoDB e passi un vettore di query a. SearchVectors

Il flusso tipico è:

La funzione di distanza scelta interagisce con il modo in cui il modello produce gli incorporamenti. COSINEconfronta la direzione e ignora la grandezza, quindi funziona con gli incorporamenti indipendentemente dal fatto che siano normalizzati o meno. DOT_PRODUCTè sensibile alla grandezza: se gli incorporamenti non sono normalizzati alla lunghezza unitaria, i vettori più grandi ricevono punteggi più alti indipendentemente dalla direzione. Se utilizzi DOT_PRODUCT e desideri una somiglianza basata sulla direzione, normalizza gli incorporamenti in base alla lunghezza unitaria prima di memorizzarli. Consulta In che modo le funzioni di distanza classificano i risultati.

Creazione di un indice vettoriale

Puoi creare un indice vettoriale quando crei una nuova tabella o ne aggiungi uno a una tabella esistente.

Creazione di una tabella con un indice vettoriale

Usa l'CreateTableAPI con il VectorIndexes parametro per creare una tabella con un indice vettoriale. L' AWS CLI esempio seguente crea una Products tabella con un indice vettoriale denominatoProductEmbeddingIndex.

aws dynamodb create-table \
    --table-name Products \
    --attribute-definitions AttributeName=ProductId,AttributeType=S \
                            AttributeName=Category,AttributeType=S \
                            AttributeName=Brand,AttributeType=S \
    --key-schema AttributeName=ProductId,KeyType=HASH \
    --billing-mode PAY_PER_REQUEST \
    --vector-indexes \
        "[
            {
                \"IndexName\": \"ProductEmbeddingIndex\",
                \"VectorAttribute\": {\"AttributeName\": \"Embedding\"},
                \"SearchSchema\": [{\"AttributeName\":\"Category\",\"SearchSchemaElementType\":\"HASH\"},
                                  {\"AttributeName\":\"Brand\",\"SearchSchemaElementType\":\"INLINE_FILTER\"}],
                \"Projection\": {\"ProjectionType\": \"ALL\"},
                \"Dimensions\": 1536,
                \"DistanceFunction\": \"COSINE\"
            }
        ]"

In questo esempio:

Aggiungere un indice vettoriale a una tabella esistente

Usa l'UpdateTableAPI con il VectorIndexUpdates parametro per aggiungere un indice vettoriale a una tabella esistente. Questo esempio aggiunge un secondo indice indipendente denominato ProductEmbeddingIndexV2 alla stessa Products tabella.

aws dynamodb update-table \
    --table-name Products \
    --vector-index-updates \
        "[
            {
                \"Create\": {
                    \"IndexName\": \"ProductEmbeddingIndexV2\",
                    \"VectorAttribute\": {\"AttributeName\": \"Embedding\"},
                    \"Projection\": {\"ProjectionType\": \"ALL\"},
                    \"Dimensions\": 1536,
                    \"DistanceFunction\": \"EUCLIDEAN\"
                }
            }
        ]"

Quando aggiungi un indice vettoriale a una tabella esistente, DynamoDB riporta l'avanzamento dell'indice attraverso due campi nella DescribeTable risposta: un IndexStatus valore e un booleano separatoBackfilling.

È possibile creare o eliminare un solo indice vettoriale per tabella alla volta. Questo limite è condiviso con la creazione di un indice secondario globale sulla stessa tabella. Una seconda UpdateTable richiesta che crea o elimina un indice mentre è in corso un'altra operazione sull'indice ha esito negativo. LimitExceededException: Subscriber limit exceeded: Only 1 online index can be created or deleted simultaneously per table

Ciò vale anche per una singola richiesta: una UpdateTable chiamata contenente due Create azioni nel relativo VectorIndexUpdates parametro ha esito negativo con lo stesso errore. Crea gli indici vettoriali uno alla volta, aspettando che ciascuno arrivi ACTIVE prima di iniziare il successivo. Poiché ogni indice deve terminare il riempimento prima di poter iniziare il successivo, la creazione di più indici vettoriali su una tabella richiede molto più tempo rispetto alla creazione di uno.

Una CreateTable richiesta può definire più indici vettoriali contemporaneamente, fino al limite di cinque per tabella. Il superamento di tale limite non riesce con. ValidationException: One or more parameter values were invalid: VectorIndex count exceeds the per-table limit of 5

Scrittura di elementi con dati vettoriali

Scrivi elementi con dati vettoriali utilizzando le API di scrittura standard di DynamoDB (PutItem,,UpdateItem,BatchWriteItem). TransactWriteItems Memorizza l'incorporamento vettoriale come elenco di numeri (Ltipo contenente elementi). N

Poiché un vettore contiene molti valori, salva l'elemento in un file comeitem.json, quindi passa il file a. AWS CLI

{
    "ProductId": { "S": "prod-123" },
    "Category": { "S": "Electronics" },
    "Title": { "S": "Wireless Headphones" },
    "Embedding": {
        "L": [
            { "N": "0.1234" },
            { "N": "-0.5678" },
            { "N": "0.9012" },
            ...
        ]
    }
}

aws dynamodb put-item \
    --table-name Products \
    --item file://item.json

DynamoDB convalida i dati vettoriali quando si scrivono elementi in una tabella con un indice vettoriale. La tabella seguente descrive il comportamento di convalida.

Ricerca con SearchVectors

Usa l'SearchVectorsAPI per trovare gli elementi in un indice vettoriale che sono più simili a un vettore di query. I risultati sono ordinati per rilevanza, con l'elemento più simile per primo. I risultati della ricerca alla fine sono coerenti: potrebbe esserci un breve ritardo tra la scrittura o l'aggiornamento di un vettore e la sua visualizzazione nei risultati di ricerca. Per ulteriori informazioni, consulta Sincronizzazione continua delle scritture.

Ricerca di base

L'esempio seguente cerca i 10 elementi più simili nell'ProductEmbeddingIndexindice. Poiché questo indice contiene una chiave di partizione dell'indice vettoriale (Category) SearchSchema, SearchConditionExpression deve includere il valore della chiave di partizione dell'indice vettoriale.

Salvate il vettore di interrogazione in un file, ad esempioquery-vector.json, come un semplice array JSON di valori numerici.

[
    { "N": "0.1234" },
    { "N": "-0.5678" },
    { "N": "0.9012" },
    ...
]

aws dynamodb search-vectors \
    --table-name Products \
    --index-name ProductEmbeddingIndex \
    --search-vector file://query-vector.json \
    --top-k 10 \
    --search-condition-expression "Category = :cat" \
    --expression-attribute-values "{\":cat\": {\"S\": \"Electronics\"}}"

La risposta include un SearchResults array. Ogni elemento contiene la corrispondenza Item e una Score che indica la somiglianza dell'elemento al vettore di interrogazione.

{
    "SearchResults": [
        {
            "Item": {
                "ProductId": { "S": "prod-456" },
                "Category": { "S": "Electronics" },
                "Title": { "S": "Bluetooth Speaker" }
            },
            "Score": 0.0023
        },
        {
            "Item": {
                "ProductId": { "S": "prod-789" },
                "Category": { "S": "Electronics" },
                "Title": { "S": "Noise Cancelling Earbuds" }
            },
            "Score": 0.0145
        }
    ]
}

Il significato di Score dipende dalla funzione di distanza scelta al momento della creazione dell'indice. Per COSINE eEUCLIDEAN, i punteggi più bassi indicano una maggiore somiglianza. PerDOT_PRODUCT, i punteggi più alti indicano una maggiore somiglianza.

Filtraggio con SearchConditionExpression

SearchConditionExpressionDa utilizzare per filtrare i risultati della ricerca in base alla chiave di partizione dell'indice vettoriale e agli attributi del filtro in linea definiti in. SearchSchema Questa espressione utilizza la stessa sintassi degli altri parametri di espressione DynamoDB.

L'esempio seguente cerca gli elementi nella Electronics categoria (chiave di partizione dell'indice vettoriale) con un filtro in linea. Brand

aws dynamodb search-vectors \
    --table-name Products \
    --index-name ProductEmbeddingIndex \
    --search-vector file://query-vector.json \
    --top-k 10 \
    --search-condition-expression "Category = :cat AND Brand = :brand" \
    --expression-attribute-values "{\":cat\": {\"S\": \"Electronics\"}, \":brand\": {\"S\": \"Acme\"}}"

Se il tuo indice vettoriale ha una chiave di partizione definita in SearchSchema, devi includerla in. SearchConditionExpression Gli attributi del filtro in linea sono opzionali.

L'operatore di uguaglianza (=) è supportato sia SearchConditionExpression per la chiave di partizione dell'indice vettoriale che per gli attributi del filtro in linea. Gli operatori di confronto, intervallo e appartenenza ai set (<>,,,<, <= >>=,IN) non sono ancora disponibili.

Questo filtro consente di definire l'ambito di una ricerca di similarità con un sottoinsieme di dati, un requisito comune nelle applicazioni multi-tenant e Retrieval Augmented Generation (RAG). Ad esempio, per trovare documenti simili a una query ma solo all'interno di un tenant, definisci l'attributo tenant come chiave di partizione dell'indice vettoriale () in e passane il valore in ogni ricerca. HASH SearchSchema Questo isola i risultati relativi a quel tenant. Inoltre, migliora le prestazioni, poiché la ricerca esamina solo i dati pertinenti. Utilizzate gli attributi del filtro in linea per ulteriori vincoli di uguaglianza, ad esempio il tipo o lo stato del documento, da applicare all'interno della partizione indirizzata.

Usando ProjectionExpression

ProjectionExpressionDa utilizzare per restituire solo attributi specifici nei risultati della ricerca. Questo può ridurre la dimensione della risposta quando non sono necessari tutti gli attributi proiettati. Poiché ProductEmbeddingIndex definisce una chiave di partizione dell'indice vettoriale (Category) al suo interno SearchSchema, questo esempio include ancora il valore della chiave di partizione dell'indice vettoriale in. SearchConditionExpression

aws dynamodb search-vectors \
    --table-name Products \
    --index-name ProductEmbeddingIndex \
    --search-vector file://query-vector.json \
    --top-k 5 \
    --search-condition-expression "Category = :cat" \
    --expression-attribute-values "{\":cat\": {\"S\": \"Electronics\"}}" \
    --projection-expression "ProductId, Title"

Eliminazione di un indice vettoriale

Usa l'UpdateTableAPI con il VectorIndexUpdates parametro per eliminare un indice vettoriale.

aws dynamodb update-table \
    --table-name Products \
    --vector-index-updates \
        "[
            {\"Delete\": {\"IndexName\": \"ProductEmbeddingIndex\"}}
        ]"

Quando elimini un indice vettoriale, DynamoDB rimuove l'indice e tutti i relativi dati. Questa operazione non influisce sulla tabella base o sui suoi elementi.