Ingestione vettoriale - OpenSearch Servizio Amazon

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Ingestione vettoriale

L'ingestione vettoriale consente di importare e indicizzare rapidamente domini e raccolte Serverless. OpenSearch OpenSearch Il servizio esamina il dominio o la raccolta e crea una pipeline di inserimento per conto dell'utente in cui caricare i dati. OpenSearch L'ingestione e l'indicizzazione del tuo dominio o della tua raccolta sono gestite per te da Vector ingestion.

Puoi accelerare e ottimizzare il processo di indicizzazione abilitando nuove funzionalità. Accelerazione GPU per l'indicizzazione vettoriale Ottimizzazione automatica Con Vector ingestion, non è necessario gestire l'infrastruttura sottostante, applicare patch al software o scalare i cluster per supportare l'indicizzazione e l'ingestione del database vettoriale. Ciò consente di creare rapidamente il database vettoriale per soddisfare le proprie esigenze.

Come funziona

L'ingestione vettoriale esamina il dominio o la raccolta e il relativo indice. È possibile configurare manualmente i campi dell'indice vettoriale o consentire OpenSearch l'utilizzo della configurazione automatica.

L'ingestione vettoriale utilizza OpenSearch Ingestion (OSI) come pipeline di dati tra Amazon S3 e. OpenSearch Il servizio elabora i vettori in parallelo per ottimizzare la velocità di inserimento rispettando i limiti di scalabilità di OSI e. OpenSearch

OpenSearch Prezzi di importazione vettoriale

In un momento specifico, paghi solo per il numero di ingestioni vettoriali assegnate a una pipeline, indipendentemente dal fatto OCUs che i dati scorrano attraverso la pipeline. OpenSearch vector ingestion soddisfa immediatamente i carichi di lavoro aumentando o diminuendo la capacità della pipeline in base all'utilizzo.

Per i dettagli completi sui prezzi, consulta la pagina dei prezzi OpenSearch di Amazon Service.

Prerequisiti

Prima di utilizzare l'ingestione vettoriale, assicurati di disporre delle seguenti risorse:

  • Bucket Amazon S3 contenente i tuoi documenti OpenSearch JSON in formato parquet

  • OpenSearch risorsa: un dominio o una raccolta

  • OpenSearch versione 2.19 o successiva (richiesta per l'integrazione con ottimizzazione automatica)

Crea un database vettoriale

Utilizza il flusso di lavoro di creazione di lavori di inserimento vettoriale per configurare l'ottimizzazione automatica degli indici vettoriali e accelerare la creazione di indici su larga scala.

Nota

Il contenuto procedurale di questa sezione è soggetto a modifiche man mano che l'interfaccia utente viene finalizzata. Il flusso di lavoro potrebbe essere aggiornato nelle versioni future per riflettere l'esperienza più recente sulla console.

Per creare un processo di iniezione vettoriale
  1. Nella sezione Dettagli del lavoro di ingestione vettoriale, in Nome, inserisci un nome per il tuo lavoro di importazione.

  2. Nella sezione Origine dati, configura quanto segue:

    1. Per l'URI di Amazon S3, inserisci la posizione del bucket Amazon S3 contenente OpenSearch i tuoi documenti Service JSON.

    2. Scegli Browse Amazon S3 per selezionare tra i bucket disponibili oppure scegli Visualizza per visualizzare in anteprima il contenuto del bucket.

    3. Per Tipo di contenuto, seleziona una delle seguenti opzioni:

      • Vettori: i documenti contengono già dei vettori e non richiedono un'ulteriore generazione di vettori incorporati.

      • Testo, immagine o audio: i documenti contengono contenuti come testo, immagini o byte audio che devono essere codificati in incorporamenti vettoriali.

  3. Nella sezione Autorizzazioni per l'origine dei dati, configura le autorizzazioni di accesso:

    1. Per il ruolo IAM, scegli una delle seguenti opzioni:

      • Crea un nuovo ruolo

      • Usa un ruolo esistente

    2. Per il nome del ruolo IAM, inserisci un nome per il ruolo.

  4. Nella sezione Destinazione, configura l'endpoint del OpenSearch servizio:

    1. Per Endpoint, scegli Scegli un'opzione per selezionare tra i domini o le raccolte compatibili nella regione corrente.

    2. Scegli Avanti per procedere con l'endpoint selezionato.

  5. Scegli Avanti per passare al passaggio successivo oppure scegli Annulla per uscire senza salvare.

L'ingestione vettoriale funziona con le seguenti funzionalità di Amazon OpenSearch Service per ottimizzare le prestazioni del database vettoriale:

Accelerazione GPU per l'indicizzazione vettoriale

L'accelerazione tramite GPU riduce il tempo necessario per creare, aggiornare ed eliminare gli indici vettoriali. Se utilizzata con l'ingestione vettoriale, è possibile accelerare in modo significativo il processo di inserimento e indicizzazione per database vettoriali su larga scala.

Ottimizzazione automatica

L'ottimizzazione automatica rileva automaticamente i compromessi ottimali tra latenza di ricerca, qualità e requisiti di memoria. L'ingestione vettoriale può applicare consigli di ottimizzazione automatica durante il processo di ingestione per garantire che gli indici vettoriali siano configurati in modo ottimale.

Per ottenere i migliori risultati, prendi in considerazione la possibilità di abilitare sia l'accelerazione GPU che l'ottimizzazione automatica quando utilizzi l'ingestione vettoriale per creare database vettoriali su larga scala.