Utilizzo degli indici vettoriali in DynamoDB

Confronta la direzione e ignora la magnitudine. Usa COSINE per la somiglianza semantica con i modelli di incorporamento del testo. Questi modelli codificano il significato in direzione e la lunghezza del vettore può variare. Gli esempi includono Amazon Titan Text Embeddings e Cohere Embed.

COSINE è adatto per i seguenti casi d'uso:

COSINE è l'impostazione predefinita sicura quando non si è sicuri della funzione da utilizzare.

DOT_PRODUCT è sensibile sia alla direzione che alla magnitudine (la lunghezza di un vettore). Scegli DOT_PRODUCT quando la documentazione del modello di incorporamento consiglia dot product come misura di somiglianza o quando desideri che la lunghezza del vettore influenzi il ranking.

DOT_PRODUCT è adatto per i seguenti casi d'uso:

Ti consigliamo di normalizzare gli incorporamenti alla lunghezza unitaria. Una volta normalizzato, DOT_PRODUCT classifica i risultati allo stesso modo di COSINE. Salta la normalizzazione solo se desideri che la magnitudo influenzi la classifica.

Esempio di caso d'uso: un sistema di consigli sui prodotti in cui si ridimensiona ogni prodotto incorporato in base al relativo punteggio di popolarità. I prodotti più popolari ottengono vettori più lunghi e si posizionano più in alto nei risultati di ricerca.

Misura la distanza in linea retta tra due vettori. EUCLIDEAN è sensibile alla magnitudo. Usalo quando è importante la posizione assoluta nello spazio di incorporamento.

EUCLIDEAN è adatto per i seguenti casi d'uso:

Esempio di caso d'uso: ricerca di immagini quasi duplicate da incorporamenti di immagini.

Una chiave di partizione dell'indice vettoriale assegna ogni ricerca ai vettori che condividono lo stesso valore per un attributo scelto. Gli elementi con lo stesso valore di chiave di partizione vengono memorizzati insieme, quindi la ricerca legge solo quel sottoinsieme invece di scansionare l'intero indice. Su scala elevata, una chiave di partizione con indice vettoriale riduce la latenza di ricerca perché la ricerca esamina solo un sottoinsieme dello spazio vettoriale. Utilizzate attributi con cardinalità da bassa a media, ad esempio Category o Country. È possibile specificare al massimo una chiave di partizione dell'indice vettoriale.

Se si definisce una chiave di partizione dell'indice vettoriale nel SearchSchema, è necessario fornire il suo valore in SearchConditionExpression quando chiami SearchVectors.

Un attributo di filtro in linea è un normale attributo non vettoriale il cui valore DynamoDB memorizza nell'indice vettoriale accanto a ciascun vettore. Poiché il valore è associato al vettore, DynamoDB ignora i vettori che non corrispondono al filtro durante la ricerca nell'indice. Questo evita di cercare prima l'intero indice e poi di scartare i risultati che non corrispondono.

Ad esempio, se si definisce un Language attributo come filtro in linea, una ricerca che filtra su Language considera solo i vettori di cui Language il valore corrisponde.

I filtri in linea supportano l'operatore di uguaglianza (=) in SearchConditionExpression. Operatori di confronto, intervallo e appartenenza ai set (<>, <, <=, >, >=, IN) non sono ancora disponibili. A differenza delle chiavi di partizione degli indici vettoriali, i filtri in linea sono opzionali durante la ricerca.

Puoi abilitare DynamoDB Streams su una tabella con un indice vettoriale, sia con StreamSpecification parametro quando crei la tabella o tramite UpdateTable. Lo stream acquisisce le modifiche a livello di elemento nella tabella di base e opera indipendentemente dall'indice vettoriale.

È possibile aggiungere un indice vettoriale a una tabella globale e convertire una tabella con un indice vettoriale in una tabella globale aggiungendo una replica con UpdateTable. La definizione dell'indice vettoriale, comprese le sue dimensioni, la funzione di distanza, SearchSchemae la proiezione, viene replicata automaticamente in ogni nuova regione di replica. L'indice vettoriale non viene creato separatamente nella regione di replica.

Gli elementi scritti in qualsiasi regione di replica vengono replicati nelle altre regioni e indicizzati lì. Al termine della replica, SearchVectors in ogni regione cerca lo stesso set di vettori. Poiché la ricerca vettoriale utilizza il vicino più prossimo approssimativo (ANN), ricerche separate in regioni diverse potrebbero restituire risultati o ordini leggermente diversi per la stessa query, anche su dati identici. La replica delle tabelle tra le regioni segue la garanzia di coerenza della tabella globale, inclusa una forte coerenza per le tabelle globali MRSC (Multi-region Strong Consistency). L'indicizzazione vettoriale, tuttavia, avviene sempre in modo asincrono dopo l'applicazione di una scrittura alla tabella, in ogni regione, inclusa la regione in cui hai scritto. La garanzia MRSC copre la tabella, non l'indice vettoriale. Di conseguenza, si verifica un ritardo tra il momento in cui viene riconosciuta una scrittura e il momento in cui il vettore diventa ricercabile SearchVectors. Questo ritardo si applica a livello locale e in tutte le regioni.

Quando ripristini una tabella da un ripristino point-in-time o da un backup su richiesta, DynamoDB ripristina i dati della tabella di base e la definizione dell'indice vettoriale. Come per gli indici secondari globali, DynamoDB ricostruisce l'indice vettoriale dai dati della tabella di base ripristinati anziché copiarli byte per byte, in modo che l'indice venga riempito prima di essere pronto per la ricerca. Attendi IndexStatus è ACTIVE e Backfilling non è true sull'indice ripristinato prima dell'esecuzione SearchVectors.

È possibile utilizzare DynamoDB TTL su una tabella con un indice vettoriale. Quando il TTL elimina un elemento scaduto dalla tabella di base, DynamoDB rimuove la voce corrispondente dall'indice vettoriale, allo stesso modo di un'eliminazione manuale. Gli elementi scaduti non vengono quindi visualizzati in SearchVectors i risultati dopo l'eliminazione si propagano all'indice.

Puoi esportare una tabella con un indice vettoriale in Amazon S3; l'esportazione contiene gli elementi della tabella di base, inclusi gli attributi vettoriali in essi memorizzati. Quando importi dati da Amazon S3 in una nuova tabella, definisci l'indice vettoriale nella richiesta di importazione nello stesso modo in cui faresti con CreateTable. DynamoDB indicizza gli elementi importati man mano che vengono scritti e l'indice vettoriale diventa disponibile al termine dell'importazione.

DynamoDB Accelerator (DAX) non supporta SearchVectors operazione. Inviare SearchVectors richieste direttamente a DynamoDB, anche quando l'applicazione utilizza DAX per altre operazioni di lettura. La memorizzazione nella cache DAX delle letture della tabella di base non è influenzata dalla presenza di un indice vettoriale. Se è necessario un livello di memorizzazione nella cache per i risultati della ricerca vettoriale, è possibile memorizzare nella cache SearchVectors risposte in una cache esterna, come Amazon ElastiCache per Valkey. Sei responsabile della compilazione e dell'invalidazione di tale cache.