Prerequisiti per l’utilizzo di un archivio vettoriale creato per una knowledge base

1. Per configurare le autorizzazioni e creare una raccolta di ricerca vettoriale in Amazon OpenSearch Serverless inConsole di gestione AWS, segui i passaggi 1 e 2 in Lavorare con le raccolte di ricerca vettoriale nella Amazon OpenSearch Service Developer Guide. Tieni presenti le seguenti considerazioni durante la configurazione della raccolta:

   1. Assegna alla raccolta un nome e una descrizione a tua scelta.

   2. Per rendere privata la tua raccolta, seleziona Creazione standard nella sezione Sicurezza. Quindi, nella sezione Impostazioni di accesso alla rete, seleziona VPC come Tipo di accesso e scegli un endpoint VPC. Per ulteriori informazioni sulla configurazione di un endpoint VPC per una raccolta Amazon Serverless, consulta Access Amazon OpenSearch OpenSearch Serverless using an interface endpoint () AWS PrivateLink nella Amazon Service Developer Guide. OpenSearch

2. Una volta creata la raccolta, prendi nota dell’ARN raccolta quando crei la knowledge base.

3. Nel riquadro di navigazione a sinistra, seleziona Raccolte in Serverless. Quindi seleziona la tua raccolta di ricerca vettoriale.

4. Seleziona la scheda Indici. Quindi, scegli Crea indice di vettore.

5. Nella sezione Dettagli dell’indice vettoriale, inserisci un nome per l’indice nel campo Nome dell’indice vettoriale.

6. Nella sezione Campi vettoriali, scegli Aggiungi campo vettoriale. Amazon Bedrock archivia gli embedding vettoriali per l’origine dati in questo campo. Specifica le configurazioni seguenti:

   • Nome campo vettoriale: fornisci un nome per il campo vettoriale (ad esempio, embeddings).

   • Motore: il motore vettoriale utilizzato per la ricerca. Seleziona faiss.

   • Dimensioni: il numero di dimensioni nel vettore. Fai riferimento alla tabella seguente per stabilire quante dimensioni deve contenere il vettore:

     Modello	Dimensioni
     Embedding Titan G1 - Testo	1.536
     Embedding Titan V2 - Testo	1.024, 512 e 256
     Cohere Embed inglese	1,024
     Cohere Embed multilingue	1,024

   • Metrica di distanza: la metrica utilizzata per misurare la similarità tra i vettori. Ti consigliamo di utilizzare Euclidei per gli embedding vettoriali in virgola mobile.

7. Espandi la sezione Gestione dei metadati e aggiungi due campi per configurare l’indice vettoriale per archiviare altri metadati che una knowledge base può recuperare con i vettori. La tabella seguente descrive i campi e i valori da specificare per ogni campo.

   Descrizione del campo	Mappatura dei campi	Tipo di dati	Filtrabile
   Amazon Bedrock suddivide in blocchi il testo non elaborato proveniente dai tuoi dati e memorizza i segmenti in questo campo.	Nome a tua scelta (ad esempio, text)	Stringa	True
   Amazon Bedrock memorizza i metadati relativi alla tua knowledge base in questo campo.	Nome a tua scelta (ad esempio, bedrock-metadata)	Stringa	False

8. Prendi nota dei nomi scelti per il nome dell’indice vettoriale, il nome del campo vettoriale e i nomi dei campi di mappatura della gestione dei metadati per la creazione della knowledge base. Quindi, scegli Crea.

1. Per creare un dominio e un indice vettoriale in OpenSearch Cluster in theConsole di gestione AWS, segui i passaggi descritti in Creazione e gestione dei domini di OpenSearch servizio nella Amazon OpenSearch Service Developer Guide.

   Tieni presenti le seguenti considerazioni durante la configurazione del tuo dominio:

   1. Un nome di dominio di tua scelta.

   2. Ti consigliamo di utilizzare l’opzione Creazione semplice per iniziare rapidamente a creare il tuo dominio.

      Nota

      Questa opzione ti offre un dominio con un throughput ridotto. Se hai carichi di lavoro più grandi che richiedono un throughput più elevato, scegli l’opzione Creazione standard. Puoi regolare la capacità in un secondo momento, se necessario. Con questa opzione, puoi iniziare con la capacità più bassa, modificabile successivamente, se necessario.

   3. Per Rete, devi scegliere Accesso pubblico. OpenSearch i domini che si trovano dietro un VPC non sono supportati per la tua Knowledge Base.

   4. Per la versione, se utilizzi embedding vettoriali binari, Knowledge Base per Amazon Bedrock richiede una versione del motore 2.16 o successiva. Inoltre, è necessaria una versione 2.13 o successiva per creare un indice k-nn. Per ulteriori informazioni, consulta K-NN Search nella guida per sviluppatori di Amazon OpenSearch Service.

   5. Ti consigliamo di utilizzare la modalità dual-stack.

   6. Ti consigliamo di abilitare il controllo granulare degli accessi per proteggere i dati del tuo dominio e di controllare ulteriormente le autorizzazioni che consentono al tuo ruolo di servizio della Knowledge Base di accedere al dominio ed effettuare richieste. OpenSearch

   7. Lascia i valori predefiniti in tutte le altre impostazioni, quindi seleziona Crea spazio per creare il dominio.

2. Una volta creato il dominio, fai clic su esso per prendere nota dell’ARN del dominio e dell’endpoint del dominio da utilizzare quando crei la knowledge base.

3. Dopo aver creato il dominio, puoi creare un indice vettoriale eseguendo i seguenti comandi su una OpenSearch dashboard o utilizzando i comandi curl. Per ulteriori informazioni, consulta la documentazione relativa ad OpenSearch .

   Quando esegui il comando:

   • Fornisci un nome per il campo vettoriale (ad esempio, embeddings).

   • Assicurati che il vettore utilizzato per la ricerca sia faiss. nmslib non è supportato.

   • Per il numero di dimensioni del vettore, fai riferimento alla tabella seguente per determinare quante dimensioni deve contenere il vettore:

     Nota

     Il modello Embeddings Titan V2 - Il modello di testo supporta più dimensioni. Può anche essere 256 o 512.

     Modello	Dimensioni
     Embedding Titan G1 - Testo	1.536
     Embedding Titan V2 - Testo	1.024, 512 e 256
     Cohere Embed inglese	1,024
     Cohere Embed multilingue	1,024

   • Puoi aggiungere due campi per configurare l’indice vettoriale per archiviare metadati aggiuntivi che una knowledge base può recuperare con i vettori. La tabella seguente descrive i campi e i valori da specificare per ciascuno di essi.

     Descrizione del campo	Mappatura dei campi
     Amazon Bedrock suddivide in blocchi il testo non elaborato proveniente dai tuoi dati e memorizza i segmenti in questo campo.	Specificato come oggetto, ad esempio AMAZON_BEDROCK_TEXT_CHUNK.
     Amazon Bedrock memorizza i metadati relativi alla tua knowledge base in questo campo.	Specificato come oggetto, ad esempio AMAZON_BEDROCK_METADATA.

   PUT /<index-name>
   {
       "settings": {
           "index": {
               "knn": true
           }
       },
       "mappings": {
           "properties": {
               "<vector-name>": {
                   "type": "knn_vector",
                   "dimension": <embedding-dimension>,
                   "data_type": "binary",          # Only needed for binary embeddings
                   "space_type": "l2" | "hamming", # Use l2 for float embeddings and hamming for binary embeddings
                   "method": {
                       "name": "hnsw",
                       "engine": "faiss",
                       "parameters": {
                           "ef_construction": 128,
                           "m": 24
                       }
                   }
               },
   
               "AMAZON_BEDROCK_METADATA": {
                   "type": "text",
                   "index": "false"
               },
               "AMAZON_BEDROCK_TEXT_CHUNK": {
                   "type": "text",
                   "index": "true"            
               }
           }
       }
   }

4. Prendi nota dell’ARN e dell’endpoint del dominio, nonché dei nomi scelti per il nome dell’indice vettoriale, il nome del campo vettoriale e i nomi dei campi di mappatura per la gestione dei metadati, da utilizzare quando crei la tua knowledge base.

1. Durante la creazione del bucket vettoriale S3, considera quanto segue.

   • Fornisci un nome univoco per il bucket vettoriale.

   • (Opzionale) Amazon S3 crittograferà automaticamente i dati utilizzando la crittografia lato server predefinita con chiavi gestite da Amazon S3 (SSE-S3). Puoi scegliere se utilizzare invece questa crittografia predefinita o la crittografia lato server con AWS chiavi del servizio di gestione delle chiavi (SSE-KMS).

     Nota

     Il tipo di crittografia non può essere cambiato dopo la creazione del bucket vettoriale.

     Per step-by-step istruzioni, consulta Crittografia con chiavi KMS. AWS

2. Dopo aver creato il bucket vettoriale S3, prendi nota del nome della risorsa Amazon (ARN) del bucket vettoriale da utilizzare quando crei la knowledge base.

3. Scegli il bucket vettoriale che hai creato, quindi crea un indice vettoriale. Durante la creazione dell’indice vettoriale, tieni presente le considerazioni seguenti.

   • Nome indice vettoriale: fornisci un nome per il campo vettoriale (ad esempio, embeddings).

   • Dimensioni: il numero di dimensioni nel vettore. Le dimensioni devono avere un valore compreso tra 1 e 4.096. Fai riferimento alla tabella seguente per stabilire quante dimensioni deve contenere il vettore in base alla selezione del modello di embedding:

     Modello	Dimensioni
     Embedding Titan G1 - Testo	1.536
     Embedding Titan V2 - Testo	1.024, 512 e 256
     Cohere Embed inglese	1,024
     Cohere Embed multilingue	1,024

   • Nota

     Amazon S3 Vectors supporta solo gli embedding a virgola mobile. Gli embedding binari non sono supportati.

     Metrica di distanza: la metrica utilizzata per misurare la similarità tra i vettori. Puoi utilizzare Coseno o Euclideo.

4. Espandi le impostazioni aggiuntive e fornisci tutti i metadati non filtrabili nel campo Metadati non filtrabili.

   Puoi configurare fino a un massimo di 10 chiavi di metadati non filtrabili. Scegli Aggiungi chiave, quindi aggiungi AMAZON_BEDROCK_TEXT e AMAZON_BEDROCK_METADATA come chiavi.

5. In Crittografia scegli Specifica il tipo di crittografia. Hai la possibilità di utilizzare le impostazioni del bucket per la crittografia o sovrascrivere le impostazioni di crittografia per l'indice vettoriale. Se sovrascrivi le impostazioni a livello di bucket, hai la possibilità di specificare il tipo di crittografia per l'indice vettoriale come crittografia lato server con chiavi del servizio di gestione delle AWS chiavi (SSE-KMS) o crittografia lato server predefinita con chiavi gestite Amazon S3 (SSE-S3). Per ulteriori informazioni sull'impostazione della configurazione di crittografia per gli indici vettoriali, consulta Protezione e crittografia dei dati in Amazon S3 Vectors.

6. In Tag (facoltativo), puoi aggiungere tag come coppie chiave-valore per monitorare e organizzare i costi degli indici vettoriali utilizzando AWS Billing and Cost Management. Immettere una chiave e un valore. Per aggiungere un altro tag, scegliere Add Tag (Aggiungi tag). Puoi inserire fino a 50 tag per un indice vettoriale. Per ulteriori informazioni, consulta Usare i tag con gli indici vettoriali di Amazon S3.

7. Dopo aver creato il bucket vettoriale, prendi nota del nome della risorsa Amazon (ARN) dell’indice vettoriale da utilizzare quando crei la knowledge base.

1. Crea un cluster di database (DB) Amazon Aurora, uno schema e una tabella seguendo i passaggi indicati in Utilizzo di Aurora PostgreSQL come knowledge base. Quando crei la tabella, configurala con le seguenti colonne e tipi di dati. Puoi utilizzare i nomi delle colonne che preferisci anziché quelli elencati nella tabella seguente. Prendi nota dei nomi delle colonne che scegli in modo da poterli fornire durante la configurazione della knowledge base.

   È necessario fornire questi campi prima di creare la knowledge base. Non è possibile aggiornarli una volta creata la knowledge base.

   Importante

   Il cluster Aurora deve risiedere nello stesso in cui viene Account AWS creata la knowledge base per Amazon Bedrock.

   Nome della colonna	Tipo di dati	Campo corrispondente nella configurazione della knowledge base (Console)	Campo corrispondente nella configurazione della knowledge base (API)	Description
   id	Chiave primaria UUID	Chiave primaria	primaryKeyField	Contiene identificatori univoci per ogni record.
   incorporamento	Vettore	Campo vettoriale	vectorField	Contiene gli embedding vettoriali delle origini dati.
   blocchi	Testo	Campo di testo	textField	Contiene i blocchi di testo non elaborato provenienti dalle origini dati.
   metadati	JSON	Campo di metadati gestito da Bedrock	metadataField	Contiene i metadati necessari per eseguire l'attribuzione dell'origine e per consentire l'importazione dei dati e l'interrogazione
   metadati_personalizzati	JSONB	Campo di metadati personalizzati	customMetadataField	Campo opzionale che indica la colonna in cui Amazon Bedrock scriverà tutte le informazioni di qualsiasi file di metadati dalle origini dati.

2. È necessario creare un indice sulle colonne vector e text per i campi di testo e di embedding. Se utilizzi il campo di metadati personalizzato, devi anche creare un indice GIN su questa colonna. Gli indici GIN possono essere utilizzati per cercare in modo efficiente coppie chiave-valore nei documenti jsonb per il filtraggio dei metadati. Per ulteriori informazioni, consulta Indicizzazione jsonb nella Documentazione PostgreSQL.

   Nome della colonna	Crea un indice su	Obbligatorio?
   embedding	CREATE INDEX ON bedrock_integration.bedrock_kb USING hnsw (embedding vector_cosine_ops);	Sì
   blocchi	CREATE INDEX ON bedrock_integration.bedrock_kb USING gin (to_tsvector('simple', chunks));	Sì
   metadati personalizzati	CREATE INDEX ON bedrock_integration.bedrock_kb USING gin (custom_metadata);	Solo se hai creato la colonna di metadati personalizzata.

   Nota

   Per migliorare la precisione e la latenza della ricerca ibrida con contenuti in inglese, prendi in considerazione l'utilizzo del dizionario «inglese» anziché «semplice»:

   CREATE INDEX ON bedrock_integration.bedrock_kb USING gin (to_tsvector('english', chunks));

3. (Opzionale) Se hai aggiunto metadati ai tuoi file per filtrarli, ti consigliamo di fornire il nome della colonna nel campo dei metadati personalizzato per archiviare tutti i metadati in un’unica colonna. Durante l’importazione dei dati, questa colonna verrà popolata con tutte le informazioni contenute nei file di metadati delle origini dati. Se scegli di fornire questo campo, devi creare un indice GIN su questa colonna.

   Nota

   Se utilizzi spesso filtri di intervallo sui metadati numerici, per ottimizzare le prestazioni, crea un indice per la chiave specifica. Ad esempio, se utilizzi filtri come "lessThan": { "key": "year", "value": 1989 }, crea un indice di espressione sulla chiave year. Per ulteriori informazioni, consulta Indici sulle espressioni nella Documentazione PostgreSQL.

   CREATE INDEX ON your_table ((custom_metadata->>'year')::double precision

   In alternativa, se non fornisci questo nome campo, puoi creare una colonna per ogni attributo di metadati nei tuoi file e specificare il tipo di dati (testo, numero o booleano). Ad esempio, se l’attributo genre esiste nell’origine dati, è necessario aggiungere una colonna denominata genre e specificare text come tipo di dati. Durante l’importazione dei dati, queste colonne separate vengono popolate con i valori degli attributi corrispondenti.

4. Configura un AWS Secrets Manager segreto per il tuo cluster Aurora DB seguendo i passaggi descritti in Gestione delle password con Amazon Aurora e. AWS Secrets Manager

5. Prendi nota delle seguenti informazioni dopo aver creato il cluster di database e impostato il segreto.

   Campo corrispondente nella configurazione della knowledge base (Console)	Campo corrispondente nella configurazione della knowledge base (API)	Description
   Cluster di database Amazon Aurora	resourceArn	L'ARN del cluster di database.
   Nome del database	databaseName	Il nome del tuo database
   Nome tabella	tableName	Il nome della tabella nel cluster di database
   ARN del segreto	credentialsSecretArn	L'ARN della AWS Secrets Manager chiave per il tuo cluster DB

1. Per creare un grafo e un archivio vettoriale in Analisi Neptune in Console di gestione AWS, segui i passaggi descritti in Indicizzazione vettoriale in Analisi Neptune nella Guida per l’utente di Analisi Neptune.

   Nota

   Per utilizzare Neptune GraphRAG, crea un grafo di Analisi Neptune vuoto con un indice di ricerca vettoriale. L’indice di ricerca vettoriale può essere creato solo quando viene creato il grafo. Quando crei un grafo di Analisi Neptune nella console, specifichi la dimensione dell’indice in Impostazioni di ricerca vettoriale verso la fine del processo.

   Durante la creazione del grafo, tieni presenti le considerazioni seguenti:

   1. Un nome del grafo di tua scelta.

   2. In Origine dati, scegli Crea grafico vuoto e specifica il numero di m- NCUs da allocare. Ogni m-NCU dispone di circa un GiB di capacità di memoria e di elaborazione e rete corrispondenti.

      Nota

      La capacità del grafo può essere modificata in un secondo momento. Ti consigliamo di iniziare con l’istanza più piccola e successivamente di sceglierne un’altra, se necessario.

   3. Puoi lasciare le impostazioni di connettività di rete predefinite. Amazon Bedrock crea una connessione di rete al grafo di Analisi Neptune a cui associ la knowledge base. Non è necessario configurare la connettività pubblica o gli endpoint privati per il tuo grafo.

   4. In Impostazioni di ricerca vettoriale, scegli Usa dimensione vettoriale e specifica il numero di dimensioni in ogni vettore.

      Nota

      Il numero di dimensioni in ogni vettore deve corrispondere alle dimensioni vettoriali nel modello di embedding. Fai riferimento alla tabella seguente per stabilire quante dimensioni deve contenere il vettore:

      Modello	Dimensioni
      Embedding Titan G1 - Testo	1.536
      Embedding Titan V2 - Testo	1.024, 512 e 256
      Cohere Embed inglese	1,024
      Cohere Embed multilingue	1,024

   5. Lascia tutte le altre impostazioni ai valori predefiniti e crea il grafo.

2. Una volta creato il grafo, fai clic su esso per prendere nota dell’ARN della risorsa e delle Dimensioni vettoriali da utilizzare quando crei la knowledge base. Quando scegli il modello di embedding in Amazon Bedrock, assicurati di scegliere un modello con le stesse dimensioni delle dimensioni vettoriali che hai configurato sul grafo di Analisi Neptune.

Come impostare un segreto per la configurazione di Pinecone

1. Segui la procedura descritta in Crea un AWS Secrets Manager segreto, impostando la chiave come chiave apiKey e il valore come chiave API per accedere al tuo indice. Pinecone

2. Per trovare la chiave API, apri la console Pinecone e seleziona Chiavi API.

3. Dopo aver creato il segreto, prendi nota dell'ARN della chiave KMS.

4. Allega le autorizzazioni al tuo ruolo di servizio per decrittare l'ARN della chiave KMS seguendo la procedura riportata in Autorizzazioni per decrittografare un AWS Secrets Manager segreto per il vector store contenente la tua knowledge base.

5. Successivamente, quando crei la knowledge base, inserisci l'ARN nel campo ARN del segreto delle credenziali.

Come impostare un segreto per la configurazione di Redis Enterprise Cloud

1. Consenti al protocollo TLS di utilizzare il tuo database con Amazon Bedrock seguendo i passaggi descritti in Transport Layer Security (TLS).

2. Segui i passaggi indicati in Crea un AWS Secrets Manager segreto. Imposta le seguenti chiavi con i valori appropriati della configurazione di Redis Enterprise Cloud nel segreto:

   • username: il nome utente per accedere al database Redis Enterprise Cloud. Per trovare il nome utente, consulta la sezione Security del tuo database nella console Redis.

   • password: la password per accedere al database Redis Enterprise Cloud. Per trovare la password, consulta la sezione Security del tuo database nella console Redis.

   • serverCertificate: i contenuti del certificato rilasciato dall'autorità di certificazione Redis Cloud. Scarica il certificato del server dalla console di amministrazione Redis seguendo i passaggi in Download dei certificati.

   • clientPrivateKey: la chiave privata del certificato rilasciato dall'autorità di certificazione Redis Cloud. Scarica il certificato del server dalla console di amministrazione Redis seguendo i passaggi in Download dei certificati.

   • clientCertificate: la chiave pubblica del certificato rilasciato dall'autorità di certificazione Redis Cloud. Scarica il certificato del server dalla console di amministrazione Redis seguendo i passaggi in Download dei certificati.

3. Dopo aver creato il segreto, prendi nota del relativo ARN. Successivamente, quando crei la knowledge base, inserisci l'ARN nel campo ARN del segreto delle credenziali.