Utilizzo di S3 Vectors con le Knowledge Base di Amazon Bedrock - Amazon Simple Storage Service

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Utilizzo di S3 Vectors con le Knowledge Base di Amazon Bedrock

Nota

Amazon S3 Vectors è in versione di anteprima per Amazon Simple Storage Service ed è soggetto a modifiche.

S3 Vectors si integra con Amazon Bedrock Knowledge Bases e Amazon SageMaker AI Unified Studio per semplificare e ridurre il costo dello storage vettoriale per le applicazioni RAG (Retrieval Augmented Generation).

Per ulteriori informazioni sui comandi CLI di alto livello che integrano i modelli di incorporamento di Amazon Bedrock con le operazioni di S3 Vectors, consulta.

Panoramica dell'integrazione

Quando crei una knowledge base in Amazon Bedrock, puoi selezionare S3 Vectors come archivio vettoriale. Questa integrazione fornisce quanto segue:

  • Riduzione dei costi per le applicazioni RAG con set di dati vettoriali di grandi dimensioni.

  • Perfetta integrazione con il flusso di lavoro RAG completamente gestito di Amazon Bedrock.

  • Gestione vettoriale automatica gestita dal servizio Amazon Bedrock.

  • Latenza delle query inferiore al secondo per le operazioni di recupero della knowledge base.

Amazon Bedrock Knowledge Bases fornisce un flusso di lavoro end-to-end RAG completamente gestito. Quando crei una knowledge base con S3 Vectors, Amazon Bedrock recupera automaticamente i dati dalla tua fonte di dati S3, converte i contenuti in blocchi di testo, genera incorporamenti e li archivia nel tuo indice vettoriale. Puoi quindi interrogare la knowledge base e generare risposte basate su blocchi recuperati dai dati di origine.

Quando utilizzare questa integrazione

Prendi in considerazione l'utilizzo di S3 Vectors con Amazon Bedrock Knowledge Base quando hai bisogno di quanto segue:

  • Storage vettoriale conveniente per set di dati di grandi dimensioni in cui una latenza di query inferiore al secondo soddisfa i requisiti dell'applicazione.

  • Recupero di documenti basato su testo e immagini per casi d'uso come la ricerca tra manuali, politiche e contenuti visivi.

  • Applicazioni RAG che danno priorità all'ottimizzazione dei costi di storage rispetto alle risposte a latenza ultra bassa.

  • Gestisci le operazioni vettoriali senza dover apprendere direttamente le operazioni dell'API S3 Vectors: puoi continuare a utilizzare le familiari interfacce Amazon Bedrock.

  • Storage vettoriale a lungo termine con la durabilità e la scalabilità di Amazon S3

Questa integrazione è ideale per le organizzazioni che creano applicazioni RAG che devono cercare ed estrarre informazioni da contenuti scritti e immagini, laddove i vantaggi in termini di costi di S3 Vectors siano in linea con i requisiti di prestazioni di query accettabili.

Modelli di incorporamento supportati

L'integrazione di S3 Vectors con Amazon Bedrock Knowledge Bases supporta i seguenti modelli di incorporamento:

  • amazon. titan-embed-text-v2:0 - Per incorporamenti basati su testo

  • Amazon. titan-embed-image-v1 - Per incorporamenti di immagini e multimodali

  • coesione. embed-english-v3 - Per incorporamenti di testo multilingue e specializzati

Prerequisiti e autorizzazioni

Prima di creare una knowledge base con S3 Vectors, assicurati di disporre di quanto segue:

Quando configuri le configurazioni di sicurezza, puoi scegliere un ruolo IAM che fornisce l'autorizzazione ad Amazon Bedrock per accedere ai servizi richiesti AWS . Puoi lasciare che Amazon Bedrock crei il ruolo di servizio o utilizzi il tuo ruolo personalizzato. Se utilizzi un ruolo personalizzato, configura una policy relativa al bucket vettoriale che limiti l'accesso al bucket vettoriale e all'indice vettoriale al ruolo personalizzato.

Per informazioni dettagliate sulle autorizzazioni richieste e sui ruoli IAM, consulta Create a service role for Amazon Bedrock Knowledge Bases nella Amazon Bedrock User Guide. Il ruolo di servizio deve inoltre disporre delle autorizzazioni per S3 Vectors e le operazioni API. AWS KMS

Creazione di una knowledge base con S3 Vectors

Puoi creare una knowledge base che utilizza S3 Vectors con due metodi.

Metodo uno: utilizzo della console Amazon Bedrock

Quando crei una knowledge base nella console Amazon Bedrock, puoi scegliere «S3 vector bucket» come opzione di archivio vettoriale. Sono disponibili due opzioni di configurazione:

  • Crea rapidamente un nuovo archivio vettoriale: Amazon Bedrock crea un bucket vettoriale S3 e un indice vettoriale e li configura con le impostazioni richieste per te. Per impostazione predefinita, il bucket vettoriale viene crittografato utilizzando la crittografia lato server con chiavi gestite di Amazon S3 (SSE-S3). Facoltativamente, puoi crittografare il bucket utilizzando. AWS KMS Per ulteriori informazioni sulla creazione rapida di un nuovo archivio vettoriale nella console, consulta Creare una knowledge base collegandosi a un'origine dati in Amazon Bedrock Knowledge Bases nella Amazon Bedrock User Guide.

  • Scegli un archivio vettoriale che hai creato: scegli un bucket vettoriale S3 e un indice vettoriale esistenti dal tuo account che hai creato in precedenza. Per ulteriori informazioni sulla creazione di un bucket vettoriale S3 e di un indice vettoriale nella console Amazon Bedrock Knowledge Bases, consulta la scheda S3 Vectors in Prerequisiti per l'utilizzo di un vector store creato per una knowledge base nella Amazon Bedrock User Guide.

Per step-by-step istruzioni dettagliate, consulta Creare una knowledge base collegandosi a un'origine dati in Amazon Bedrock Knowledge Bases nella Amazon Bedrock User Guide.

Metodo due: usare Amazon SageMaker Unified Studio

Puoi anche creare e gestire basi di conoscenza con S3 Vectors tramite Amazon Bedrock in Amazon SageMaker AI Unified Studio. Ciò fornisce un ambiente di sviluppo unificato per creare e testare applicazioni di intelligenza artificiale che utilizzano basi di conoscenza.

Amazon Bedrock in SageMaker AI Unified Studio è progettato per gli utenti che necessitano di funzionalità notebook integrate e lavorano su più servizi di AWS ML e analisi. Puoi creare rapidamente un bucket vettoriale S3 e configurarlo come archivio vettoriale per le tue knowledge base quando crei applicazioni di intelligenza artificiale generativa.

Per informazioni sull'uso di S3 Vectors con Amazon Bedrock in SageMaker AI Unified Studio, consulta Aggiungere una fonte di dati alla tua app Amazon Bedrock nella Guida per l'utente di SageMaker AI Unified Studio.

Gestione e interrogazione della tua knowledge base

Sincronizzazione e gestione dei dati

Amazon Bedrock Knowledge Bases offre operazioni di inserimento per mantenere sincronizzati l'origine dei dati e gli incorporamenti vettoriali. Quando sincronizzi la tua fonte di dati, Amazon Bedrock scansiona ogni documento e verifica se è stato indicizzato nell'archivio vettoriale. Puoi anche indicizzare direttamente i documenti nell'archivio vettoriale utilizzando l'operazione. IngestKnowledgeBaseDocuments È consigliabile creare un archivio vettoriale separato per ogni knowledge base per garantire la sincronizzazione dei dati.

Quando elimini una knowledge base o una risorsa di origine dati, Amazon Bedrock offre due politiche di eliminazione dei dati: Delete (impostazione predefinita) eRetain. Se scegli la Delete policy, i vettori nell'indice vettoriale e nel bucket vettoriale vengono eliminati automaticamente.

Interrogazione e recupero

Dopo aver configurato la Knowledge Base, è possibile effettuare le seguenti operazioni:

  • Recupera blocchi dai dati di origine utilizzando l'operazione Retrieve API.

  • Genera risposte basate sui blocchi recuperati utilizzando l'operazione API. RetrieveAndGenerate

  • Prova le query direttamente nella console Amazon Bedrock.

Le risposte vengono restituite con citazioni ai dati di origine originali.

Limitazioni

Quando usi S3 Vectors con Amazon Bedrock Knowledge Bases, dovresti conoscere le seguenti limitazioni:

  • Solo ricerca semantica: S3 Vectors supporta la ricerca semantica ma non le funzionalità di ricerca ibride.

  • Limiti di dimensione dei vettori S3: ogni vettore ha un limite di dimensione totale dei metadati e un limite di dimensione per i metadati filtrabili, che possono limitare i metadati personalizzati e le opzioni di filtro. Per ulteriori informazioni sui metadati e sui limiti di dimensione dei metadati filtrabili per vettore, consulta. Limitazioni e restrizioni

  • Vincoli della strategia di suddivisione in blocchi: limitato ai modelli che suddividono il contenuto in blocchi di massimo 500 token a causa delle restrizioni sulle dimensioni dei metadati.

  • Solo vettori a virgola mobile: gli incorporamenti vettoriali binari non sono supportati.

Per una guida completa su come lavorare con Amazon Bedrock Knowledge Bases, consulta Recuperare dati e generare risposte AI con Amazon Bedrock Knowledge Bases nella Amazon Bedrock User Guide.