Connect ad Amazon S3 per la tua knowledge base - Amazon Bedrock
Funzionalità supportatePrerequisitiConfigurazione della connessione

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Connect ad Amazon S3 per la tua knowledge base

Amazon S3 è un servizio che consente di archiviare dati come oggetti nei bucket. Puoi connetterti al tuo bucket Amazon S3 per la tua knowledge base di Amazon Bedrock utilizzando la AWS console di gestione per Amazon Bedrock o l'API CreateDataSource(vedi Amazon Bedrock supportata e). SDKs AWS CLI

Puoi caricare un piccolo batch di file in un bucket Amazon S3 utilizzando la console o l'API Amazon S3. In alternativa, puoi utilizzarlo AWS DataSyncper caricare più file su S3 in modo continuo e trasferire i file secondo una pianificazione da locale, edge, altro cloud o storage. AWS

Attualmente sono supportati solo i bucket S3 per uso generico.

Esistono dei limiti al numero di file e MB per file che possono essere sottoposti a scansione. Vedi Quotas per le basi di conoscenza.

Funzionalità supportate

  • Campi di metadati del documento

  • Filtri di contenuto di inclusione

  • Sincronizzazione incrementale dei contenuti per contenuti aggiunti, aggiornati ed eliminati

Prerequisiti

In Amazon S3, assicurati di:

  • Prendi nota dell'URI del bucket Amazon S3, dell'Amazon Resource Name (ARN) e dell'ID dell' AWS account del proprietario del bucket. Puoi trovare l'URI e l'ARN nella sezione delle proprietà della console Amazon S3. Il tuo bucket deve trovarsi nella stessa regione della knowledge base di Amazon Bedrock. Devi avere l'autorizzazione per accedere al bucket.

Nel tuo AWS account, assicurati di:

  • Includi le autorizzazioni necessarie per connetterti alla tua fonte di dati nella role/permissions policy AWS Identity and Access Management (IAM) per la tua knowledge base. Per informazioni sulle autorizzazioni richieste per questa fonte di dati da aggiungere al IAM ruolo della knowledge base, consulta Autorizzazioni per l'accesso alle fonti di dati.

Nota

Se utilizzi la console, puoi creare IAM automaticamente il ruolo con tutte le autorizzazioni richieste come parte dei passaggi per la creazione di una knowledge base. Dopo aver configurato l'origine dati e altre configurazioni, il IAM ruolo con tutte le autorizzazioni richieste viene applicato alla knowledge base specifica.

Configurazione della connessione

Per connetterti al tuo bucket Amazon S3, devi fornire le informazioni di configurazione necessarie in modo che Amazon Bedrock possa accedere ai tuoi dati ed eseguirne la scansione. È inoltre necessario seguire il. Prerequisiti

Un esempio di configurazione per questa fonte di dati è incluso in questa sezione.

Per ulteriori informazioni sui filtri di inclusione, sui campi di metadati dei documenti, sulla sincronizzazione incrementale e su come funzionano, seleziona quanto segue:

Puoi includere un file separato che specifica i metadati del documento fields/attributes per ogni file nella tua origine dati Amazon S3 e se includerli negli incorporamenti durante l'indicizzazione della fonte di dati nel vector store. Ad esempio, puoi creare un file nel seguente formato, assegnargli un nome fileName.extension.metadata.json e caricarlo nel tuo bucket S3.


{
  "metadataAttributes": {
    "company": {
      "value": {
        "type": "STRING",
        "stringValue": "BioPharm Innovations"
      },
      "includeForEmbedding": true
    },
    "created_date": {
      "value": {
        "type": "NUMBER",
        "numberValue": 20221205
      },
      "includeForEmbedding": true
    },
    "author": {
      "value": {
        "type": "STRING",
        "stringValue": "Lisa Thompson"
      },
      "includeForEmbedding": true
    },
    "origin": {
      "value": {
        "type": "STRING",
        "stringValue": "Overview"
      },
      "includeForEmbedding": true
    }
  }
}

Il file di metadati deve utilizzare lo stesso nome del file del documento di origine associato, .metadata.json aggiunto alla fine del nome del file. Il file di metadati deve essere archiviato nella stessa cartella o posizione del file di origine nel bucket Amazon S3. Il file non deve superare il limite di 10 KB. Per informazioni sui tipi di attribute/field dati supportati e sugli operatori di filtro che puoi applicare ai campi di metadati, consulta Metadati e filtri.

Puoi specificare un prefisso di inclusione, ovvero un prefisso di percorso Amazon S3, in cui puoi utilizzare un file o una cartella S3 anziché l'intero bucket per creare il connettore di origine dati S3. Ad esempio, il prefisso può essere «.*\\ .pdf».

Il connettore per le sorgenti dati esegue la ricerca per indicizzazione dei contenuti nuovi, modificati ed eliminati ogni volta che l'origine dati si sincronizza con la Knowledge Base. Amazon Bedrock può utilizzare il meccanismo dell'origine dati per tenere traccia delle modifiche ai contenuti ed eseguire la scansione dei contenuti modificati dall'ultima sincronizzazione. Quando sincronizzi l'origine dati con la Knowledge Base per la prima volta, per impostazione predefinita tutti i contenuti vengono sottoposti a scansione.

Per sincronizzare la fonte di dati con la knowledge base, utilizza l'StartIngestionJobAPI o seleziona la knowledge base nella console e seleziona Sincronizza nella sezione panoramica delle origini dati.

Importante

Tutti i dati che sincronizzi dalla tua fonte di dati diventano disponibili per chiunque disponga bedrock:Retrieve delle autorizzazioni per recuperare i dati. Ciò può includere anche tutti i dati con autorizzazioni controllate per l'origine dei dati. Per ulteriori informazioni, consulta Autorizzazioni della Knowledge Base.

Console
Per connettere un bucket Amazon S3 alla tua knowledge base

  1. Segui i passaggi indicati Crea una knowledge base collegandoti a una fonte di dati in Amazon Bedrock Knowledge Bases e scegli Amazon S3 come origine dati.

  2. Fornisci un nome per la fonte di dati.

  3. Specificate se il bucket Amazon S3 si trova nel vostro AWS account corrente o in un altro account. AWS Il bucket deve trovarsi nella stessa regione della knowledge base.

  4. (Facoltativo) Se il bucket Amazon S3 è crittografato con una chiave KMS, includi la chiave. Per ulteriori informazioni, consulta Autorizzazioni per decrittografare la AWS KMS chiave per le fonti di dati in Amazon S3.

  5. (Facoltativo) Nella sezione Analisi e suddivisione in blocchi dei contenuti, puoi personalizzare la modalità di analisi e suddivisione in blocchi dei dati. Per ulteriori informazioni su queste personalizzazioni, consulta le seguenti risorse:

  6. Nella sezione Impostazioni avanzate, puoi facoltativamente configurare quanto segue:

    • Chiave KMS per l'archiviazione di dati transitori. — Puoi crittografare i dati transitori mentre li converti in incorporamenti con la chiave KMS predefinita o con la tua chiave KMS. Chiave gestita da AWS Per ulteriori informazioni, consulta Crittografia dell'archiviazione di dati transitoria durante l'importazione dei dati.

    • Politica di cancellazione dei dati: puoi eliminare gli incorporamenti vettoriali per la tua fonte di dati che sono archiviati nell'archivio vettoriale per impostazione predefinita o scegliere di conservare i dati del vector store.

  7. Continua a scegliere un modello di incorporamento e un archivio vettoriale. Per visualizzare i passaggi rimanenti, torna Crea una knowledge base collegandoti a una fonte di dati in Amazon Bedrock Knowledge Bases e continua dal passaggio successivo alla connessione dell'origine dati.

API

Di seguito è riportato un esempio di configurazione per la connessione ad Amazon S3 per la tua knowledge base Amazon Bedrock. Puoi configurare la tua origine dati utilizzando l'API con l'SDK AWS CLI o supportato, come Python. Dopo la chiamata CreateKnowledgeBase, chiami CreateDataSourceper creare la fonte di dati contenente le informazioni di connessione. dataSourceConfiguration

Per ulteriori informazioni sulle personalizzazioni che è possibile applicare all'ingestione includendo il vectorIngestionConfiguration campo opzionale, vedere. Personalizza l'inserimento per un'origine dati

AWS Command Line Interface

aws bedrock-agent create-data-source \
 --name "S3-connector" \
 --description "S3 data source connector for Amazon Bedrock to use content in S3" \
 --knowledge-base-id "your-knowledge-base-id" \
 --data-source-configuration file://s3-bedrock-connector-configuration.json \
 --data-deletion-policy "DELETE" \
 --vector-ingestion-configuration '{"chunkingConfiguration":{"chunkingStrategy":"FIXED_SIZE","fixedSizeChunkingConfiguration":{"maxTokens":100,"overlapPercentage":10}}}'
                    
s3-bedrock-connector-configuration.json
{
    "s3Configuration": {
	    "bucketArn": "arn:aws:s3:::bucket-name",
	    "bucketOwnerAccountId": "000000000000",
	    "inclusionPrefixes": [
	        ".*\\.pdf"
	    ]
    },
    "type": "S3"	
}