Synchronisieren Sie Ihre Datenquelle mit Ihrer Amazon Bedrock-Wissensdatenbank - Amazon Bedrock

Synchronisieren Sie Ihre Datenquelle mit Ihrer Amazon Bedrock-Wissensdatenbank

Nachdem Sie Ihre Wissensdatenbank erstellt haben, nehmen Sie Ihre Daten auf oder synchronisieren, damit die Daten abgefragt werden können. Bei der Aufnahme werden die Rohdaten in Ihrer Datenquelle auf Grundlage des von Ihnen angegebenen Vektoreinbettungsmodells und der von Ihnen angegebenen Konfigurationen in Vektoreinbettungen umgewandelt.

Bevor Sie mit der Aufnahme beginnen, überprüfen Sie, ob Ihre Datenquelle die folgenden Bedingungen erfüllt:

  • Sie haben die Verbindungsinformationen für Ihre Datenquelle konfiguriert. Informationen zum Konfigurieren eines Datenquellen-Connectors zum Crawlen Ihrer Daten aus Ihrem Datenquellen-Repository finden Sie unter Unterstützte Datenquellen-Connectors. Sie konfigurieren Ihre Datenquelle im Rahmen der Erstellung Ihrer Wissensdatenbank.

  • Sie haben das von Ihnen gewählte Vektoreinbettungsmodell und den Vektorspeicher konfiguriert. Weitere Informationen finden Sie unter Unterstützte Modelle für Vektoreinbettungen und Vektorspeicher für Wissensdatenbanken. Sie konfigurieren Ihre Vektoreinbettungen im Rahmen der Erstellung Ihrer Wissensdatenbank.

  • Die Dateien haben unterstützte Formate. Weitere Informationen finden Sie unter Unterstützte Dokumentformate.

  • Die Dateien überschreiten nicht die unter Endpunkte und Kontingente von Amazon Bedrock in der Allgemeine AWS-Referenz angegebene Dateigröße des Aufnahmeauftrags.

  • Wenn Ihre Datenquelle Metadatendateien enthält, überprüfen Sie die folgenden Bedingungen, um sicherzustellen, dass die Metadatendateien nicht ignoriert werden:

    • Jede .metadata.json-Datei hat denselben Dateinamen und dieselbe Erweiterung wie die Quelldatei, mit der sie verknüpft ist.

    • Wenn sich der Vektorindex für Ihre Wissensdatenbank in einem Amazon-OpenSearch-Serverless-Vektorspeicher befindet, überprüfen Sie, ob der Vektorindex mit der faiss-Engine konfiguriert ist. Wenn der Vektorindex mit der nmslib-Engine konfiguriert ist, müssen Sie einen der folgenden Prozesse ausführen:

    • Wenn sich der Vektorindex für Ihre Wissensdatenbank in einem Amazon-Aurora-Datenbankcluster befindet, empfehlen wir, das benutzerdefinierte Metadatenfeld zu verwenden, um all Ihre Metadaten in einer einzigen Spalte zu speichern und einen Index für diese Spalte zu erstellen. Wenn Sie das benutzerdefinierte Metadatenfeld nicht angeben, müssen Sie sicherstellen, dass die Tabelle für Ihren Index eine Spalte für jede Metadateneigenschaft in Ihren Metadatendateien enthält, bevor Sie mit der Aufnahme beginnen. Weitere Informationen finden Sie unter Voraussetzungen für die Verwendung eines Vektorspeichers, den Sie für eine Wissensdatenbank erstellt haben.

Jedes Mal, wenn Sie Dateien zu Ihrer Datenquelle hinzufügen, ändern oder daraus entfernen, müssen Sie die Datenquelle synchronisieren, damit sie erneut mit der Wissensdatenbank indexiert wird. Die Synchronisierung erfolgt inkrementell, sodass Amazon Bedrock nur Dokumente verarbeitet, die seit der letzten Synchronisierung hinzugefügt, geändert oder gelöscht wurden.

Wählen Sie die Registerkarte für Ihre bevorzugte Methode aus, um zu erfahren, wie Sie Ihre Daten in Ihre Wissensdatenbank aufnehmen und mit Ihren neuesten Daten synchronisieren, und führen Sie dann die folgenden Schritte aus:

Console
So nehmen Sie Ihre Daten in Ihre Wissensdatenbank auf und synchronisieren sie mit Ihren neuesten Daten

  1. Öffnen Sie die Amazon-Bedrock-Konsole unter https://console.aws.amazon.com/bedrock/.

  2. Klicken Sie im linken Navigationsbereich auf Wissensdatenbank und wählen Sie Ihre Wissensdatenbank aus.

  3. Wählen Sie im Abschnitt Datenquelle die Option Synchronisieren aus, um mit der Erfassung oder Synchronisierung Ihrer neuesten Daten zu beginnen. Klicken Sie auf Stopp, um eine laufende Datenquellensynchronisierung zu stoppen. Eine Datenquelle muss gerade synchronisiert werden, um die Synchronisierung zu stoppen. Sie können erneut Synchronisieren auswählen, um den Rest Ihrer Daten aufzunehmen.

  4. Wenn die Datenaufnahme abgeschlossen ist, wird ein grünes Banner angezeigt, wenn sie erfolgreich war.

    Anmerkung

    Nachdem die Datensynchronisierung abgeschlossen ist, kann es einige Minuten dauern, bis die Vektoreinbettungen der neu synchronisierten Daten in Ihrer Wissensdatenbank sichtbar sind und für Abfragen zur Verfügung stehen, wenn Sie einen anderen Vektorspeicher als Amazon Aurora (RDS) verwenden.

  5. Sie können eine Datenquelle auswählen, um deren Synchronisierungsverlauf anzuzeigen. Wählen Sie Warnungen anzeigen aus, um zu sehen, warum ein Datenerfassungsauftrag fehlgeschlagen ist.

API

Um Ihre Daten in Ihre Wissensdatenbank aufzunehmen und mit Ihren neuesten Daten zu synchronisieren, senden Sie eine StartIngestionJob-Anfrage an einen Build-Time-Endpunkt für Agenten für Amazon Bedrock. Geben Sie die knowledgeBaseId und die dataSourceId an. Sie können einen Datenerfassungsauftrag, der gerade ausgeführt wird, auch beenden, indem Sie eine StopIngestionJob-Anfrage senden. Geben Sie die dataSourceId, ingestionJobId und die knowledgeBaseId an. Ein Datenerfassungsauftrag muss derzeit ausgeführt werden, um die Datenaufnahme zu beenden. Sie können erneut eine StartIngestionJob-Anfrage senden, um den Rest Ihrer Daten aufzunehmen, wenn Sie bereit sind.

Verwenden Sie die in der Antwort zurückgegebene ingestionJobId in einer GetIngestionJob-Anfrage mit einem Build-Time-Endpunkt für Agenten für Amazon Bedrock, um den Status des Aufnahmeauftrags nachzuverfolgen. Geben Sie zusätzlich die knowledgeBaseId und die dataSourceId an.

  • Bei Abschluss des Aufnahmeauftrags lautet der status in der Antwort COMPLETE.

    Anmerkung

    Nachdem die Datenerfassung abgeschlossen ist, kann es einige Minuten dauern, bis die Vektoreinbettungen der neu aufgenommenen Daten im Vektorspeicher verfügbar sind und für Abfragen genutzt werden können, wenn Sie einen anderen Vektorspeicher als Amazon Aurora (RDS) verwenden.

  • Das statistics-Objekt in der Antwort liefert Informationen darüber, ob die Aufnahme der Dokumente in der Datenquelle erfolgreich war oder nicht.

Sie können auch Informationen zu allen Aufnahmeaufträgen für eine Datenquelle anzeigen, indem Sie eine ListIngestionJobs-Anfrage mit einem Build-Time-Endpunkt für Agenten für Amazon Bedrock senden. Geben Sie die dataSourceId und die knowledgeBaseId der Wissensdatenbank an, in die die Daten aufgenommen werden.

  • Filtern Sie nach Ergebnissen, indem Sie einen Status angeben, nach dem im filters-Objekt gesucht werden soll.

  • Sortieren Sie nach dem Zeitpunkt, zu dem der Auftrag gestartet wurde, oder nach dem Status eines Auftrags, indem Sie das sortBy-Objekt angeben. Sie können in aufsteigender () oder absteigender () Reihenfolge sortieren.

  • Im Feld maxResults können Sie die Höchstzahl der Ergebnisse in einer Antwort bestimmen. Wenn es mehr Ergebnisse als die von Ihnen festgelegte Höchstzahl gibt, gibt die Antwort ein nextToken zurück, das Sie in einer weiteren ListIngestionJobs-Anfrage senden können, um den nächsten Auftragsstapel zu sehen.