Connettersi ad Amazon S3 per una knowledge base - Amazon Bedrock
Funzionalità supportatePrerequisitiConfigurazione della connessione

Connettersi ad Amazon S3 per una knowledge base

Amazon S3 è un servizio che consente di archiviare dati come oggetti nei bucket. Per connetterti al bucket Amazon S3 per Knowledge Base per Amazon Bedrock, utilizza la Console di gestione AWS per Amazon Bedrock oppure l’API CreateDataSource (consulta gli SDK supportati di Amazon Bedrock e la AWS CLI).

Puoi caricare un batch ridotto di file in un bucket Amazon S3 utilizzando la console Amazon S3 o l’API. In alternativa, puoi utilizzare AWS DataSync per caricare più file su S3 in modo continuo e trasferire i file in base a una pianificazione da un ambiente on-premises, edge, un altro cloud o un’archiviazione AWS.

Attualmente sono supportati solo i bucket S3 per uso generico.

Il numero di file e le dimensioni in MB per file che è possibile sottoporre a crawling sono limitati. Consulta Quote per le knowledge base.

Funzionalità supportate

  • Campi di metadati dei documenti

  • Prefissi di inclusione

  • Sincronizzazione incrementale dei contenuti per aggiunte, aggiornamenti ed eliminazioni

Prerequisiti

In Amazon S3, verifica quanto segue:

  • Annota l’URI del bucket Amazon S3, il nome della risorsa Amazon (ARN) e l’ID dell’account AWS per il proprietario del bucket. Puoi trovare l’URI e l’ARN nella sezione delle proprietà della console Amazon S3. Il bucket deve trovarsi nella stessa Regione di Knowledge Base per Amazon Bedrock. È necessario disporre dell’autorizzazione per accedere al bucket.

Nell’account AWS, verifica quanto segue:

  • Includi le autorizzazioni necessarie per la connessione all’origine dati nella policy di ruolo/autorizzazioni di AWS Identity and Access Management (IAM) per la knowledge base corrente. Per informazioni sulle autorizzazioni necessarie per aggiungere l’origine dati al ruolo IAM della knowledge base, consulta Autorizzazioni per accedere alle origini dati.

Nota

Se utilizzi la console, il ruolo IAM e tutte le autorizzazioni richieste possono essere creati automaticamente durante le fasi di creazione di una knowledge base. Dopo la configurazione dell’origine dati e delle altre impostazioni, il ruolo IAM e tutte le autorizzazioni vengono applicati alla knowledge base specifica.

Configurazione della connessione

Per connetterti al bucket Amazon S3, devi fornire le informazioni di configurazione necessarie per consentire ad Amazon Bedrock di accedere ai dati e di sottoporli a crawling, nonché rispettare le indicazioni presenti nella sezione Prerequisiti.

Un esempio di configurazione per l’origine dati è incluso in questa sezione.

Per ulteriori informazioni sui filtri di inclusione/esclusione, sui campi di metadati dei documenti, sulla sincronizzazione incrementale e sul relativo funzionamento, consulta le sezioni seguenti:

Puoi includere un file distinto che specifichi i campi/attributi dei metadati dei documenti per ogni file nella tua origine dati Amazon S3 e decidere se includerli negli embedding durante l’indicizzazione dell’origine dati nell’archivio vettoriale. Ad esempio, puoi creare un file nel seguente formato, denominarlo fileName.extension.metadata.json e caricarlo nel tuo bucket S3.


{
  "metadataAttributes": {
    "company": {
      "value": {
        "type": "STRING",
        "stringValue": "BioPharm Innovations"
      },
      "includeForEmbedding": true
    },
    "created_date": {
      "value": {
        "type": "NUMBER",
        "numberValue": 20221205
      },
      "includeForEmbedding": true
    },
    "author": {
      "value": {
        "type": "STRING",
        "stringValue": "Lisa Thompson"
      },
      "includeForEmbedding": true
    },
    "origin": {
      "value": {
        "type": "STRING",
        "stringValue": "Overview"
      },
      "includeForEmbedding": true
    }
  }
}

Il file di metadati deve utilizzare lo stesso nome del file del documento di origine associato, con la dicitura .metadata.json aggiunta alla fine del nome del file. Il file di metadati deve essere archiviato nella stessa cartella o nello stesso percorso del file di origine nel bucket Amazon S3. Il file non deve superare il limite di 10 KB. Per informazioni sui tipi di dati dei campi o degli attributi supportati oppure sugli operatori di filtro che è possibile applicare ai campi di metadati, consulta Metadati e filtri.

Puoi specificare un prefisso di inclusione, ovvero un prefisso di percorso Amazon S3, in cui utilizzare un file o una cartella S3 anziché l’intero bucket per creare il connettore delle origini dati S3.

Il connettore delle origini dati sottopone a crawling il contenuto nuovo, modificato ed eliminato ogni volta che l’origine dati si sincronizza con la knowledge base. Amazon Bedrock può utilizzare il meccanismo dell’origine dati per tenere traccia delle modifiche al contenuto e sottoporre a crawling il contenuto modificato dall’ultima sincronizzazione. Quando sincronizzi per la prima volta l’origine dati con la knowledge base, per impostazione predefinita tutti i contenuti vengono sottoposti a crawling.

Per sincronizzare l’origine dati con la knowledge base, utilizza l’API StartIngestionJob o seleziona la knowledge base nella console, quindi scegli Sincronizza nella sezione di panoramica dell’origine dati.

Importante

Tutti i dati sincronizzati dall’origine dati diventano disponibili per chiunque disponga delle autorizzazioni bedrock:Retrieve per recuperarli. Ciò può includere anche tutti i dati con autorizzazioni per l’origine dati controllate. Per ulteriori informazioni, consulta Autorizzazioni della knowledge base.

Console
Come connettersi a un bucket Amazon S3 per una knowledge base

  1. Segui la procedura in Creazione di una knowledge base mediante connessione a un’origine dati in Knowledge Base per Amazon Bedrock e scegli Amazon S3 come origine dati.

  2. Fornisci un nome per l’origine dati.

  3. Specifica se il bucket Amazon S3 si trova nel tuo account AWS corrente o in un altro account AWS. Il bucket deve trovarsi nella stessa Regione della knowledge base.

  4. (Facoltativo) Se il bucket Amazon S3 è crittografato con una chiave KMS, includi la chiave. Per ulteriori informazioni, consulta Autorizzazioni per decrittografare la chiave AWS KMS per le origini dati in Amazon S3.

  5. (Facoltativo) Nella sezione relativa a chunking e analisi dei contenuti, puoi personalizzare il modo in cui analizzare i dati ed eseguirne il chunking. Per ulteriori informazioni su queste personalizzazioni, consulta le risorse seguenti:

  6. Nella sezione Impostazioni avanzate, puoi configurare gli elementi seguenti (facoltativo):

    • Chiave KMS per l’archiviazione di dati transitori. Puoi crittografare i dati transitori durante la conversione in embedding con la chiave Chiave gestita da AWS predefinita o con la chiave KMS in uso. Per ulteriori informazioni, consulta Crittografia dell'archiviazione di dati transitoria durante l'importazione dei dati.

    • Policy di eliminazione dei dati: è possibile eliminare gli embedding vettoriali per l’origine dati corrente presenti nell’archivio vettoriale per impostazione predefinita oppure scegliere di mantenere i dati dell’archivio vettoriale.

  7. Continua a scegliere un modello di embedding e un archivio vettoriale. Per visualizzare le fasi rimanenti, torna a Creazione di una knowledge base mediante connessione a un’origine dati in Knowledge Base per Amazon Bedrock e continua dalla fase successiva alla connessione all’origine dati.

API

Di seguito è riportato un esempio di configurazione per la connessione ad Amazon S3 per Knowledge Base per Amazon Bedrock. Per configurare l’origine dati, utilizza l’API con la AWS CLI o con il componente SDK supportato, ad esempio Python. Dopo aver chiamato CreateKnowledgeBase, chiama CreateDataSource per creare l’origine dati con le informazioni di connessione in dataSourceConfiguration.

Per informazioni sulle personalizzazioni che è possibile applicare all’importazione includendo il campo vectorIngestionConfiguration opzionale, consulta Personalizzare l’importazione per un’origine dati.

AWS Command Line Interface

aws bedrock-agent create-data-source \
 --name "S3-connector" \
 --description "S3 data source connector for Amazon Bedrock to use content in S3" \
 --knowledge-base-id "your-knowledge-base-id" \
 --data-source-configuration file://s3-bedrock-connector-configuration.json \
 --data-deletion-policy "DELETE" \
 --vector-ingestion-configuration '{"chunkingConfiguration":{"chunkingStrategy":"FIXED_SIZE","fixedSizeChunkingConfiguration":{"maxTokens":100,"overlapPercentage":10}}}'
                    
s3-bedrock-connector-configuration.json
{
    "s3Configuration": {
	    "bucketArn": "arn:aws:s3:::bucket-name",
	    "bucketOwnerAccountId": "000000000000",
	    "inclusionPrefixes": [
	        "documents/"
	    ]
    },
    "type": "S3"	
}