Sincronizzare i dati con Knowledge Base per Amazon Bedrock - Amazon Bedrock

Sincronizzare i dati con Knowledge Base per Amazon Bedrock

Dopo aver creato la knowledge base, importare o sincronizzare i dati in modo che possano essere interrogati. L’importazione converte i dati grezzi dell’origine dati in embedding vettoriali, in base al modello di embedding vettoriali e alle configurazioni specificati.

Prima di iniziare l’importazione, verificare che l’origine dati soddisfi le seguenti condizioni:

  • Le informazioni sulla connessione dell’origine dati sono state configurate. Per configurare un connettore di origine dati per eseguire la scansione dei dati dal repository di origini dati, consultare Connettori di origine dati supportati. La configurazione dell’origine dati viene effettuata nell’ambito della creazione della knowledge base.

  • Il modello di embedding vettoriali e l’archivio vettoriale scelti sono stati configurati. Consultare Modelli di embedding vettoriali supportati e Archivi vettoriali per knowledge base. La configurazione degli embedding vettoriali viene effettuata nell’ambito della creazione della knowledge base.

  • I file sono nei formati supportati. Per ulteriori informazioni, consulta Formati di documenti supportati.

  • I file non superano le dimensioni del file del processo di importazione specificate in Endpoint e quote di Amazon Bedrock nei Riferimenti generali di AWS.

  • Se l’origine dati contiene file di metadati, verificare le seguenti condizioni per garantire che i file di metadati non vengano ignorati:

    • Ogni .metadata.json file condivide lo stesso nome e la stessa estensione del file di origine a cui è associato.

    • Se l’indice vettoriale per la knowledge base si trova in un archivio vettoriale Amazon OpenSearch Serverless, verificare che l’indice vettoriale sia configurato con il motore faiss. Se l’indice vettoriale è configurato con il motore nmslib, eseguire una delle seguenti operazioni:

    • Se l’indice vettoriale per la knowledge base si trova in un cluster di database Amazon Aurora, consigliamo di utilizzare il campo dei metadati personalizzati per archiviare tutti i metadati in un’unica colonna e creare un indice su questa colonna. Se il campo dei metadati personalizzati non è specificato, è necessario verificare che la tabella dell’indice contenga una colonna per ogni proprietà dei metadati nei file di metadati prima di iniziare l’importazione. Per ulteriori informazioni, consulta Prerequisiti per l’utilizzo di un archivio vettoriale creato per una knowledge base.

Ogni volta che vengono aggiunti, modificati o rimossi file dall’origine dati, è necessario sincronizzare l’origine dati in modo che venga reindicizzata nella knowledge base. La sincronizzazione è incrementale, quindi Amazon Bedrock elabora solo i documenti aggiunti, modificati o eliminati dall’ultima sincronizzazione.

Per sapere come inserire i dati nella tua knowledge base e sincronizzarli con i dati più recenti, scegliere la scheda corrispondente al metodo preferito, poi seguire la procedura:

Console
Come importare i dati nella knowledge base e sincronizzarli con i dati più recenti

  1. Apri la console Amazon Bedrock all’indirizzo https://console.aws.amazon.com/bedrock/.

  2. Dal riquadro di navigazione a sinistra, seleziona la tua knowledge base da Knowledge base.

  3. Nella sezione Origine dati, seleziona Sincronizza per iniziare l’importazione dei dati o la sincronizzazione dei dati più recenti. Per interrompere la sincronizzazione di un’origine dati attualmente in corso, seleziona Interrompi. Per interrompere la sincronizzazione dell’origine dati, la sincronizzazione dell’origine dati deve essere attualmente in esecuzione. Puoi selezionare nuovamente Sincronizza per importare il resto dei tuoi dati.

  4. Al termine dell’importazione dei dati, se l’operazione è riuscita, viene visualizzato un banner verde.

    Nota

    Una volta completata la sincronizzazione dei dati, potrebbero essere necessari alcuni minuti prima che gli embedding vettoriali dei dati appena sincronizzati si riflettano nella knowledge base e siano disponibili per essere interrogati se viene utilizzato un archivio vettoriale diverso da Amazon Aurora (RDS).

  5. Puoi scegliere un’origine dati per visualizzarne la cronologia di sincronizzazione. Seleziona Visualizza avvisi per scoprire perché un processo di importazione dei dati non è riuscito.

API

Per importare i dati nella knowledge base e sincronizzarli con i dati più recenti, invia una richiesta StartIngestionJob a un endpoint in fase di compilazione di Agent per Amazon Bedrock. Specifica il knowledgeBaseId e il dataSourceId. Puoi anche interrompere un processo di importazione dei dati attualmente in esecuzione inviando una richiesta StopIngestionJob. Specifica il dataSourceId, il ingestionJobId e il knowledgeBaseId. Per interrompere l’importazione dei dati, il processo deve essere attualmente in esecuzione. Puoi inviare nuovamente una richiesta StartIngestionJob per importare il resto dei tuoi dati quando è tutto pronto.

Utilizza il ingestionJobId restituito nella risposta in una richiesta GetIngestionJob con un endpoint in fase di compilazione di Agent per Amazon Bedrock per monitorare lo stato del processo di importazione. Inoltre, specifica il knowledgeBaseId e il dataSourceId.

  • Al termine del processo di importazione, lo status della risposta è COMPLETE.

    Nota

    Una volta completata l’importazione dei dati, potrebbero essere necessari alcuni minuti prima che gli embedding vettoriali dei dati appena importati siano disponibili nell’archivio vettoriale per essere interrogati se viene utilizzato un archivio vettoriale diverso da Amazon Aurora (RDS).

  • L’oggetto statistics nella risposta restituisce informazioni sull’esito, positivo o negativo, dell’importazione dei documenti nell’origine dati.

Puoi anche visualizzare le informazioni per tutti i processi di importazione per un’origine dati inviando una richiesta ListIngestionJobs con un endpoint in fase di compilazione di Agent per Amazon Bedrock. Specifica il dataSourceId e il knowledgeBaseId della knowledge base in cui vengono importati i dati.

  • Filtra i risultati specificando lo stato da cercare nell’oggetto filters.

  • Ordina in base all’ora di avvio del processo o allo stato di un processo specificando l’oggetto sortBy. Puoi scegliere l’ordinamento crescente o decrescente.

  • Puoi impostare il numero massimo di risultati che dovranno essere restituiti nella risposta nel campo maxResults. Se i risultati sono superiori al numero impostato, la risposta restituisce un nextToken che puoi inviare in un’altra richiesta ListIngestionJobs per visualizzare il successivo batch di processi.