Connettersi ad Amazon S3 per una knowledge base - Amazon Bedrock
Funzionalità supportatePrerequisitiConfigurazione della connessione

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Connettersi ad Amazon S3 per una knowledge base

Amazon S3 è un servizio che consente di archiviare dati come oggetti nei bucket. Puoi connetterti al tuo bucket Amazon S3 per la tua knowledge base di Amazon Bedrock utilizzando la AWSconsole di gestione per Amazon Bedrock o l'API CreateDataSource(vedi Amazon Bedrock supportata e). SDKs AWS CLI

Supporto di contenuti multimodali

Le sorgenti dati Amazon S3 supportano contenuti multimodali tra cui immagini, file audio e video. Per una guida completa sull'utilizzo di contenuti multimodali, consulta. Crea una base di conoscenze per contenuti multimodali

Puoi caricare un batch ridotto di file in un bucket Amazon S3 utilizzando la console Amazon S3 o l’API. In alternativa, puoi AWS DataSyncutilizzarlo per caricare più file su S3 in modo continuo e trasferire file secondo una pianificazione da locale, edge, altro cloud o storage. AWS

Attualmente sono supportati solo i bucket S3 per uso generico.

Il numero di file e le dimensioni in MB per file che è possibile sottoporre a crawling sono limitati. Consulta Quote per le knowledge base.

Funzionalità supportate

  • Campi di metadati dei documenti

  • Prefissi di inclusione

  • Sincronizzazione incrementale dei contenuti per aggiunte, aggiornamenti ed eliminazioni

Prerequisiti

In Amazon S3, verifica quanto segue:

  • Annota l’URI del bucket Amazon S3, il nome della risorsa Amazon (ARN) e l’ID dell’account AWS per il proprietario del bucket. Puoi trovare l’URI e l’ARN nella sezione delle proprietà della console Amazon S3. Il bucket deve trovarsi nella stessa Regione di Knowledge Base per Amazon Bedrock. È necessario disporre dell’autorizzazione per accedere al bucket.

Nel tuo AWS account, assicurati di:

  • Includi le autorizzazioni necessarie per connetterti alla tua fonte di dati nella role/permissions policy AWS Identity and Access Management (IAM) per la tua knowledge base. Per informazioni sulle autorizzazioni richieste per questa fonte di dati da aggiungere al IAM ruolo della knowledge base, consulta Autorizzazioni per l'accesso alle fonti di dati.

Nota

Se utilizzi la console, puoi creare IAM automaticamente il ruolo con tutte le autorizzazioni richieste come parte dei passaggi per la creazione di una knowledge base. Dopo la configurazione dell’origine dati e delle altre impostazioni, il ruolo IAM e tutte le autorizzazioni vengono applicati alla knowledge base specifica.

Configurazione della connessione

Per connetterti al bucket Amazon S3, devi fornire le informazioni di configurazione necessarie per consentire ad Amazon Bedrock di accedere ai dati e di sottoporli a crawling, nonché rispettare le indicazioni presenti nella sezione Prerequisiti.

Un esempio di configurazione per l’origine dati è incluso in questa sezione.

Per ulteriori informazioni sui filtri di inclusione/esclusione, sui campi di metadati dei documenti, sulla sincronizzazione incrementale e sul relativo funzionamento, consulta le sezioni seguenti:

Puoi includere un file separato che specifica i metadati del documento fields/attributes per ogni file nella tua origine dati Amazon S3 e se includerli negli incorporamenti durante l'indicizzazione della fonte di dati nel vector store. Ad esempio, puoi creare un file nel seguente formato, assegnargli un nome fileName.extension.metadata.json e caricarlo nel tuo bucket S3.


{
  "metadataAttributes": {
    "company": {
      "value": {
        "type": "STRING",
        "stringValue": "BioPharm Innovations"
      },
      "includeForEmbedding": true
    },
    "created_date": {
      "value": {
        "type": "NUMBER",
        "numberValue": 20221205
      },
      "includeForEmbedding": true
    },
    "author": {
      "value": {
        "type": "STRING",
        "stringValue": "Lisa Thompson"
      },
      "includeForEmbedding": true
    },
    "origin": {
      "value": {
        "type": "STRING",
        "stringValue": "Overview"
      },
      "includeForEmbedding": true
    }
  }
}

Il file di metadati deve utilizzare lo stesso nome del file del documento di origine associato, con la dicitura .metadata.json aggiunta alla fine del nome del file. Il file di metadati deve essere archiviato nella stessa cartella o nello stesso percorso del file di origine nel bucket Amazon S3. Il file non deve superare il limite di 10 KB. Per informazioni sui tipi di attribute/field dati supportati e sugli operatori di filtro che puoi applicare ai campi di metadati, consulta Metadati e filtri.

Puoi specificare un prefisso di inclusione, ovvero un prefisso di percorso Amazon S3, in cui utilizzare un file o una cartella S3 anziché l’intero bucket per creare il connettore delle origini dati S3.

Il connettore per le sorgenti dati esegue la ricerca per indicizzazione dei contenuti nuovi, modificati ed eliminati ogni volta che l'origine dati si sincronizza con la knowledge base. Amazon Bedrockpuò utilizzare il meccanismo dell'origine dati per tenere traccia delle modifiche ai contenuti ed eseguire la scansione dei contenuti modificati dall'ultima sincronizzazione. Quando sincronizzi per la prima volta l’origine dati con la knowledge base, per impostazione predefinita tutti i contenuti vengono sottoposti a crawling.

Per sincronizzare la fonte di dati con la knowledge base, utilizza l'StartIngestionJobAPI o seleziona la knowledge base nella console e seleziona Sincronizza nella sezione panoramica delle origini dati.

Importante

Tutti i dati sincronizzati dall’origine dati diventano disponibili per chiunque disponga delle autorizzazioni bedrock:Retrieve per recuperarli. Ciò può includere anche tutti i dati con autorizzazioni per l’origine dati controllate. Per ulteriori informazioni, consulta Autorizzazioni della knowledge base.

Console
Come connettersi a un bucket Amazon S3 per una knowledge base

  1. Segui la procedura in Creazione di una knowledge base mediante connessione a un’origine dati in Knowledge Base per Amazon Bedrock e scegli Amazon S3 come origine dati.

  2. Fornisci un nome per l’origine dati.

  3. Specificate se il bucket Amazon S3 si trova nel vostro AWS account corrente o in un altro account. AWS Il bucket deve trovarsi nella stessa Regione della knowledge base.

  4. (Facoltativo) Se il bucket Amazon S3 è crittografato con una chiave KMS, includi la chiave. Per ulteriori informazioni, consulta Autorizzazioni per decrittografare la AWS KMS chiave per le fonti di dati in Amazon S3.

  5. (Facoltativo) Nella sezione relativa a chunking e analisi dei contenuti, puoi personalizzare il modo in cui analizzare i dati ed eseguirne il chunking. Per ulteriori informazioni su queste personalizzazioni, consulta le risorse seguenti:

  6. Nella sezione Impostazioni avanzate, puoi configurare gli elementi seguenti (facoltativo):

    • Chiave KMS per l’archiviazione di dati transitori. — Puoi crittografare i dati transitori mentre li converti in incorporamenti con la chiave KMS predefinita o con la tua chiave KMS. Chiave gestita da AWS Per ulteriori informazioni, consulta Crittografia dell'archiviazione di dati transitoria durante l'importazione dei dati.

    • Policy di eliminazione dei dati: è possibile eliminare gli embedding vettoriali per l’origine dati corrente presenti nell’archivio vettoriale per impostazione predefinita oppure scegliere di mantenere i dati dell’archivio vettoriale.

  7. Continua a scegliere un modello di embedding e un archivio vettoriale. Per visualizzare le fasi rimanenti, torna a Creazione di una knowledge base mediante connessione a un’origine dati in Knowledge Base per Amazon Bedrock e continua dalla fase successiva alla connessione all’origine dati.

API

Di seguito è riportato un esempio di configurazione per la connessione ad Amazon S3 per Knowledge Base per Amazon Bedrock. Puoi configurare la tua origine dati utilizzando l'API con l'SDK AWS CLI o supportato, come Python. Dopo la chiamata CreateKnowledgeBase, chiami CreateDataSourceper creare la fonte di dati contenente le informazioni di connessione. dataSourceConfiguration

Per informazioni sulle personalizzazioni che è possibile applicare all’importazione includendo il campo vectorIngestionConfiguration opzionale, consulta Personalizzare l’importazione per un’origine dati.

AWS Command Line Interface

aws bedrock-agent create-data-source \
 --name "S3-connector" \
 --description "S3 data source connector for Amazon Bedrock to use content in S3" \
 --knowledge-base-id "your-knowledge-base-id" \
 --data-source-configuration file://s3-bedrock-connector-configuration.json \
 --data-deletion-policy "DELETE" \
 --vector-ingestion-configuration '{"chunkingConfiguration":{"chunkingStrategy":"FIXED_SIZE","fixedSizeChunkingConfiguration":{"maxTokens":100,"overlapPercentage":10}}}'
                    
s3-bedrock-connector-configuration.json
{
    "s3Configuration": {
	    "bucketArn": "arn:aws:s3:::bucket-name",
	    "bucketOwnerAccountId": "000000000000",
	    "inclusionPrefixes": [
	        "documents/"
	    ]
    },
    "type": "S3"	
}