Voraussetzungen für die Verwendung eines Vektorspeichers, den Sie für eine Wissensdatenbank erstellt haben - Amazon Bedrock

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Voraussetzungen für die Verwendung eines Vektorspeichers, den Sie für eine Wissensdatenbank erstellt haben

Um die Vektoreinbettungen zu speichern, in die Ihre Dokumente konvertiert werden, verwenden Sie einen Vektorspeicher. Amazon Bedrock Knowledge Bases unterstützt einen Schnellerstellungsablauf für einige Vektorspeicher. Wenn Sie es also vorziehen, dass Amazon Bedrock automatisch einen Vektorindex für Sie in einem dieser Vektorspeicher erstellt, überspringen Sie diese Voraussetzung und fahren Sie fort mit. Erstellen Sie eine Wissensdatenbank, indem Sie eine Verbindung zu einer Datenquelle in Amazon Bedrock Knowledge Bases herstellen

Wenn Sie binäre Vektor-Einbettungen anstelle der standardmäßigen Gleitkomma-Vektor-Einbettungen (Float32) speichern möchten, müssen Sie einen Vektorspeicher verwenden, der binäre Vektoren unterstützt.

Anmerkung

Amazon OpenSearch Serverless und Amazon OpenSearch Managed Clusters sind die einzigen Vektorspeicher, die das Speichern binärer Vektoren unterstützen.

Sie können Ihren eigenen unterstützten Vektorspeicher einrichten, um die Darstellung Ihrer Daten durch Vektoreinbettungen zu indexieren. Sie erstellen Felder für die folgenden Daten:

  • Ein Feld für die Vektoren, die mit dem von Ihnen ausgewählten Einbettungsmodell aus dem Text in Ihrer Datenquelle generiert wurden.

  • Ein Feld für die Textblöcke, die aus den Dateien in Ihrer Datenquelle extrahiert wurden.

  • Felder für Metadaten von Quelldateien, die Amazon Bedrock verwaltet.

  • (Wenn Sie eine Amazon Aurora Aurora-Datenbank verwenden und die Filterung nach Metadaten einrichten möchten) Felder für Metadaten, die Sie Ihren Quelldateien zuordnen. Wenn Sie die Filterung in anderen Vector Stores einrichten möchten, müssen Sie diese Felder nicht für die Filterung einrichten.

Sie können Vektorspeicher von Drittanbietern mit einem KMS-Schlüssel verschlüsseln. Weitere Informationen finden Sie unter Verschlüsselung von Wissensdatenbank-Ressourcen.

Wählen Sie die Registerkarte aus, die dem Vector Store-Dienst entspricht, mit dem Sie Ihren Vektorindex erstellen werden.

Anmerkung

Ihre Wahl des Einbettungsmodells und der Vektorabmessungen kann sich auf die verfügbaren Vector Store-Optionen auswirken. Wenn Sie Ihren bevorzugten Vektorspeicher nicht verwenden können, wählen Sie die kompatiblen Optionen für das Einbettungsmodell und die Vektorabmessungen.

Amazon OpenSearch Serverless
  1. Um Berechtigungen zu konfigurieren und eine Vektorsuchsammlung in Amazon OpenSearch Serverless in der zu erstellen AWS Management Console, folgen Sie den Schritten 1 und 2 unter Arbeiten mit Vektorsuchsammlungen im Amazon OpenSearch Service Developer Guide. Beachten Sie bei der Einrichtung Ihrer Sammlung die folgenden Überlegungen:

    1. Geben Sie der Sammlung einen Namen und eine Beschreibung Ihrer Wahl.

    2. Um Ihre Sammlung privat zu machen, wählen Sie im Bereich Sicherheit die Option Standard erstellen aus. Wählen Sie dann im Abschnitt Netzwerkzugriffseinstellungen VPC als Zugriffstyp und wählen Sie einen VPC-Endpunkt aus. Weitere Informationen zur Einrichtung eines VPC-Endpunkts für eine Amazon OpenSearch Serverless-Sammlung finden Sie unter Zugriff auf Amazon OpenSearch Serverless über einen Schnittstellenendpunkt (AWS PrivateLink) im Amazon OpenSearch Service Developer Guide.

  2. Notieren Sie sich nach der Erstellung der Sammlung den Sammlungs-ARN für die Erstellung der Wissensdatenbank.

  3. Wählen Sie im linken Navigationsbereich unter Serverlos die Option Sammlungen aus. Wählen Sie dann Ihre Vektorsuchsammlung aus.

  4. Wählen Sie die Registerkarte Indizes aus. Wählen Sie dann Vektorindex erstellen.

  5. Geben Sie im Abschnitt Details zum Vektorindex im Feld Vektorindexname einen Namen für Ihren Index ein.

  6. Wählen Sie im Abschnitt Vektorfelder die Option Vektorfeld hinzufügen aus. Amazon Bedrock speichert die Vektoreinbettungen für Ihre Datenquelle in diesem Feld. Stellen Sie die folgenden Konfigurationen bereit:

    • Vektorfeldname — Geben Sie einen Namen für das Feld ein (z. B.embeddings).

    • Engine — Die für die Suche verwendete Vektor-Engine. Wählen Sie faiss aus.

    • Dimensionen – die Anzahl der Dimensionen im Vektor. Anhand der folgenden Tabelle können Sie bestimmen, wie viele Dimensionen der Vektor enthalten sollte:

      Modell Dimensionen
      TitanG1 Einbettungen — Text 1 536
      TitanV2 Einbettungen - Text 1.024, 512 und 256
      CohereEmbedEnglisch 1,024
      CohereEmbedMehrsprachig 1,024
    • Entfernungsmetrik – die Metrik, die verwendet wird, um die Ähnlichkeit zwischen Vektoren zu messen. Wir empfehlen, Euklidisch für Gleitkomma-Vektor-Einbettungen zu verwenden.

  7. Erweitern Sie den Bereich Metadatenverwaltung und fügen Sie zwei Felder hinzu, um den Vektorindex so zu konfigurieren, dass zusätzliche Metadaten gespeichert werden, die eine Wissensdatenbank mit Vektoren abrufen kann. In der folgenden Tabelle werden die Felder und die Werte beschrieben, die für jedes Feld angegeben werden müssen:

    Beschreibung des Feldes Feld zuordnen Datentyp Filtrierbar
    Amazon Bedrock zerschneidet den Rohtext aus Ihren Daten und speichert die Teile in diesem Feld. Name Ihrer Wahl (zum Beispiel) text String True
    Amazon Bedrock speichert Metadaten zu Ihrer Wissensdatenbank in diesem Feld. Name Ihrer Wahl (zum Beispielbedrock-metadata) String False
  8. Notieren Sie sich die Namen, die Sie für den Vektorindexnamen, den Vektorfeldnamen und die Namen der Mapping-Felder für die Metadatenverwaltung ausgewählt haben, wenn Sie Ihre Wissensdatenbank erstellen. Wählen Sie die Option Erstellen aus.

Nachdem der Vektorindex erstellt wurde, können Sie mit der Erstellung Ihrer Wissensdatenbank fortfahren. In der folgenden Tabelle ist zusammengefasst, wo Sie die einzelnen Informationen eingeben werden, die Sie zur Kenntnis genommen haben.

Feld Entsprechendes Feld in der Einrichtung der Wissensdatenbank (Konsole) Entsprechendes Feld in der Einrichtung der Wissensdatenbank (API) Beschreibung
Sammlungs-ARN Sammlungs-ARN Sammlung ARN Der Amazon-Ressourcenname (ARN) der Vektorsuchsammlung.
Name des Vektor-Indexes Name des Vektorindexes vectorIndexName Der Name des Vektorindexes.
Name des Vektorfeldes Vektorfeld Vektor-Feld Der Name des Felds, in dem Vektoreinbettungen für Ihre Datenquellen gespeichert werden sollen.
Metadatenverwaltung (erstes Mapping-Feld) Textfeld TextFeld Der Name des Felds, in dem der Rohtext aus Ihren Datenquellen gespeichert werden soll.
Metadatenverwaltung (zweites Mapping-Feld) Von Bedrock verwaltetes Metadatenfeld Metadatenfeld Der Name des Felds, in dem Metadaten gespeichert werden sollen, die Amazon Bedrock verwaltet.

Eine ausführlichere Dokumentation zur Einrichtung eines Vektorspeichers in Amazon OpenSearch Serverless finden Sie unter Arbeiten mit Vektorsuchsammlungen im Amazon OpenSearch Service Developer Guide.

Amazon OpenSearch Service Managed Clusters
Wichtig
  1. Um einen Domain- und Vektorindex in OpenSearch Cluster in the zu erstellen AWS Management Console, folgen Sie den Schritten, die unter OpenSearch Service-Domains erstellen und verwalten im Amazon OpenSearch Service Developer Guide beschrieben sind.

    Beachten Sie bei der Einrichtung Ihrer Domain die folgenden Überlegungen:

    1. Geben Sie der Domain einen Namen Ihrer Wahl.

    2. Wir empfehlen Ihnen, die Option Einfach erstellen zu verwenden, um schnell mit der Erstellung Ihrer Domain zu beginnen.

      Anmerkung

      Mit dieser Option erhalten Sie eine Domain mit geringem Durchsatz. Wenn Sie größere Workloads haben, die einen höheren Durchsatz erfordern, wählen Sie die Option Standard Create. Sie können die Kapazität später nach Bedarf anpassen. Mit dieser Option können Sie mit der niedrigsten Kapazität beginnen, die dann später nach Bedarf geändert werden kann.

    3. Für Netzwerk müssen Sie Öffentlicher Zugriff wählen. OpenSearch Domänen, die sich hinter einer VPC befinden, werden von Ihrer Knowledge Base nicht unterstützt.

    4. Für Version: Wenn Sie binäre Vektoreinbettungen verwenden, benötigt Amazon Bedrock Knowledge Bases eine Engine-Version von 2.16 oder höher. Darüber hinaus ist eine Version von 2.13 oder höher erforderlich, um einen k-nn-Index zu erstellen. Weitere Informationen finden Sie unter K-NN Search im Amazon OpenSearch Service Developer Guide.

    5. Wir empfehlen, den Dual-Stack-Modus zu verwenden.

    6. Wir empfehlen Ihnen, die detaillierte Zugriffskontrolle zu aktivieren, um die Daten in Ihrer Domain zu schützen, und die Berechtigungen, die Ihrer Knowledge-Base-Servicerolle Zugriff auf die OpenSearch Domain und das Stellen von Anfragen gewähren, weiter zu kontrollieren.

    7. Behalten Sie für alle anderen Einstellungen die Standardwerte bei und wählen Sie Erstellen, um Ihre Domain zu erstellen.

  2. Sobald die Domain erstellt wurde, klicken Sie darauf, um den Domain-ARN und den Domain-Endpunkt für die Erstellung der Wissensdatenbank zu notieren.

  3. Nachdem Sie die Domain erstellt haben, können Sie einen Vektorindex erstellen, indem Sie die folgenden Befehle auf einem OpenSearch Dashboard ausführen oder curl-Befehle verwenden. Weitere Informationen finden Sie in der OpenSearch -Dokumentation.

    Wenn Sie den Befehl ausführen:

    • Geben Sie einen Namen für das Vektorfeld ein (z. B.embeddings).

    • Stellen Sie sicher, dass der für die Suche verwendete Vektor faiss ist. nmslib wird nicht unterstützt.

    • Die Anzahl der Dimensionen im Vektor finden Sie in der folgenden Tabelle, um zu bestimmen, wie viele Dimensionen der Vektor enthalten sollte:

      Anmerkung

      Das Modell Titan V2 Embeddings — Text unterstützt mehrere Dimensionen. Es kann auch 256 oder 512 sein.

      Modell Dimensionen
      TitanG1-Einbettungen — Text 1 536
      TitanV2 Einbettungen - Text 1.024, 512 und 256
      CohereEmbedEnglisch 1,024
      CohereEmbedMehrsprachig 1,024
    • Sie können zwei Felder hinzufügen, um den Vektorindex so zu konfigurieren, dass zusätzliche Metadaten gespeichert werden, die eine Wissensdatenbank mit Vektoren abrufen kann. In der folgenden Tabelle werden die Felder und die Werte beschrieben, die für jedes Feld angegeben werden müssen.

      Beschreibung des Feldes Feld zuordnen
      Amazon Bedrock zerschneidet den Rohtext aus Ihren Daten und speichert die Teile in diesem Feld. Als Objekt angegeben, zum Beispiel. AMAZON_BEDROCK_TEXT_CHUNK
      Amazon Bedrock speichert Metadaten zu Ihrer Wissensdatenbank in diesem Feld. Als Objekt angegeben, zum BeispielAMAZON_BEDROCK_METADATA.
    PUT /<index-name> { "settings": { "index": { "knn": true } }, "mappings": { "properties": { "<vector-name>": { "type": "knn_vector", "dimension": <embedding-dimension>, "data_type": "binary", # Only needed for binary embeddings "space_type": "l2" | "hamming", # Use l2 for float embeddings and hamming for binary embeddings "method": { "name": "hnsw", "engine": "faiss", "parameters": { "ef_construction": 128, "m": 24 } } }, "AMAZON_BEDROCK_METADATA": { "type": "text", "index": "false" }, "AMAZON_BEDROCK_TEXT_CHUNK": { "type": "text", "index": "true" } } } }
  4. Notieren Sie sich den Domain-ARN und den Endpunkt sowie die Namen, die Sie für den Vektorindexnamen, den Vektorfeldnamen und die Namen der Zuordnungsfelder für die Metadatenverwaltung wählen, wenn Sie Ihre Wissensdatenbank erstellen.

Nachdem der Vektorindex erstellt wurde, können Sie mit der Erstellung Ihrer Wissensdatenbank fortfahren. In der folgenden Tabelle ist zusammengefasst, wo Sie die einzelnen Informationen eingeben werden, die Sie zur Kenntnis genommen haben.

Feld Entsprechendes Feld in der Einrichtung der Wissensdatenbank (Konsole) Entsprechendes Feld in der Einrichtung der Wissensdatenbank (API) Beschreibung
Domänen-ARN Domänen-ARN Domänen-ARN Der Amazon-Ressourcenname (ARN) der OpenSearch Domain.
Domains-Endpunkte Domains-Endpunkte Domänen-Endpunkt Der Endpunkt für die Verbindung mit der OpenSearch Domain.
Name des Vektor-Indexes Name des Vektorindexes vectorIndexName Der Name des Vektorindexes.
Name des Vektorfeldes Vektorfeld Vektor-Feld Der Name des Felds, in dem Vektoreinbettungen für Ihre Datenquellen gespeichert werden sollen.
Metadatenverwaltung (erstes Mapping-Feld) Textfeld TextFeld Der Name des Felds, in dem der Rohtext aus Ihren Datenquellen gespeichert werden soll.
Metadatenverwaltung (zweites Mapping-Feld) Von Bedrock verwaltetes Metadatenfeld Metadatenfeld Der Name des Felds, in dem Metadaten gespeichert werden sollen, die Amazon Bedrock verwaltet.
Amazon S3 Vectors

Amazon S3 Vectors bietet kostengünstigen Vektorspeicher in Amazon S3, der zum Speichern und Abfragen von Vektordaten verwendet werden kann. Es bietet eine dauerhafte und elastische Speicherung großer Vektordatensätze mit einer Abfrageleistung von weniger als einer Sekunde. Amazon S3 Vectors eignet sich am besten für seltene Abfrage-Workloads und kann bei der Verwendung in Retrieval Augmented Generation (RAG) und semantischen Suchanwendungen zur Kostensenkung beitragen.

Wichtig

Die Amazon S3 Vectors-Integration mit Amazon Bedrock Knowledge Bases befindet sich in der Vorschauversion und kann sich ändern.

Amazon S3 Vectors führt S3-Vektor-Buckets ein, die Sie anhand ihrer semantischen Bedeutung und Ähnlichkeit abfragen können. Es kann verwendet werden, um Antwortzeiten von weniger als einer Sekunde zu erreichen und Kosten zu senken, während gleichzeitig Vektordaten in großem Umfang gespeichert, abgerufen und abgefragt werden, ohne dass eine Infrastruktur bereitgestellt werden muss. In einem Vektor-Bucket können Sie Ihre Vektordaten in Vektorindizes organisieren. Ihr Vektor-Bucket kann mehrere Vektorindizes haben, und jeder Vektorindex kann Millionen von Vektoren enthalten. Weitere Informationen finden Sie unter Amazon S3 Vectors im Amazon S3 S3-Benutzerhandbuch.

Anmerkung

Sie können eine Wissensdatenbank für Amazon S3 Vectors in allen AWS-Region Umgebungen erstellen, in denen sowohl Amazon Bedrock als auch Amazon S3 Vectors verfügbar sind. Informationen zur regionalen Verfügbarkeit von Amazon S3 Vectors finden Sie unter Amazon S3 Vectors im Amazon S3 S3-Benutzerhandbuch.

Unterstützung von Metadaten

Nachdem Sie einen Vektorindex erstellt haben, können Sie beim Hinzufügen von Vektordaten zum Index jedem Vektor Metadaten als Schlüssel-Wert-Paare hinzufügen. Standardmäßig sind alle an einen Vektor angehängten Metadaten filterbar und können als Filter in einer Ähnlichkeitssuchabfrage verwendet werden. Die filterbaren Metadaten können verwendet werden, um eingehende Abfragen auf der Grundlage einer Reihe von Bedingungen wie Daten, Kategorien oder Benutzereinstellungen zu filtern.

Sie können die Metadaten auch so konfigurieren, dass sie nicht gefiltert werden können, wenn Sie den Vektorindex erstellen. Amazon S3 S3-Vektorindizes unterstützen Zeichenketten-, Boolean- und Zahlentypen. Es kann bis zu 40 KB an Metadaten für jeden Vektor unterstützen. Innerhalb dieser 40 KB an Metadaten können die filterbaren Metadaten für jeden Vektor bis zu 2 KB groß sein. Der filterbare Metadatenbereich kann verwendet werden, um die Einbettungen zu speichern, nachdem die Wissensdatenbank erstellt wurde.

Wenn die Metadaten einen dieser Grenzwerte überschreiten, führt dies zu einem Fehler bei der Erstellung des Vektorindex. Weitere Informationen finden Sie unter Amazon S3 Vectors im Amazon S3 S3-Benutzerhandbuch.

Erforderliche Berechtigungen

Stellen Sie sicher, dass Ihre IAM-Richtlinie Amazon Bedrock den Zugriff auf Ihren Vektorindex im S3-Vektor-Bucket ermöglicht. Weitere Informationen zu den erforderlichen Berechtigungen finden Sie unter Erstellen Sie eine Servicerolle für Amazon Bedrock Knowledge Bases.

Erstellen Sie einen S3-Vektor-Bucket und einen Index

Um Amazon S3 Vectors mit Ihrer Wissensdatenbank verwenden zu können, müssen Sie einen S3-Vektor-Bucket und einen Vektorindex erstellen. Sie können mit der Amazon S3 S3-Konsole oder dem AWS SDK einen Vektor-Bucket und einen Index erstellen. AWS CLI Eine ausführliche Anleitung finden Sie unter Erstellen eines Vektorindex im Amazon S3 S3-Benutzerhandbuch.

Beachten Sie die folgenden Überlegungen, wenn Sie Ihren Vektor-Bucket und Index in der Amazon S3 S3-Konsole erstellen.

  1. Beachten Sie bei der Erstellung Ihres S3-Vektor-Buckets die folgenden Überlegungen.

    • Geben Sie einen eindeutigen Vector-Bucket-Namen an.

    • (Optional) Amazon S3 verschlüsselt die Daten automatisch mit der serverseitigen Standardverschlüsselung mit verwalteten Amazon S3 S3-Schlüsseln (SSE-S3). Sie können wählen, ob Sie stattdessen diese Standardverschlüsselung oder die serverseitige Verschlüsselung mit AWS Key Management Service-Schlüsseln (SSE-KMS) verwenden möchten.

      Anmerkung

      Der Verschlüsselungstyp kann nicht mehr geändert werden, sobald der Vektor-Bucket erstellt wurde.

      step-by-stepAnweisungen finden Sie unter Verschlüsselung mit AWS KMS-Schlüsseln.

  2. Nachdem Sie den S3-Vektor-Bucket erstellt haben, notieren Sie sich den Amazon-Ressourcennamen (ARN) des Vektor-Buckets für die Erstellung der Wissensdatenbank.

  3. Wählen Sie den Vektor-Bucket aus, den Sie erstellt haben, und erstellen Sie dann einen Vektorindex. Beachten Sie bei der Erstellung des Vektorindexes die folgenden Überlegungen.

    • Name des Vektorindexes — Geben Sie einen Namen für das Feld ein (z. B.embeddings).

    • Dimension — Die Anzahl der Dimensionen im Vektor. Die Dimensionen müssen ein Wert zwischen 1 und 4096 sein. Anhand der folgenden Tabelle können Sie anhand der von Ihnen ausgewählten Einbettungsmodell bestimmen, wie viele Dimensionen der Vektor enthalten sollte:

      Modell Dimensionen
      TitanG1 Einbettungen — Text 1 536
      TitanV2 Einbettungen - Text 1.024, 512 und 256
      CohereEmbedEnglisch 1,024
      CohereEmbedMehrsprachig 1,024
    • Anmerkung

      Amazon S3 Vectors unterstützt nur Gleitkomma-Einbettungen. Binäre Einbettungen werden nicht unterstützt.

      Entfernungsmetrik – die Metrik, die verwendet wird, um die Ähnlichkeit zwischen Vektoren zu messen. Sie können Kosinus oder Euklidisch verwenden.

  4. Erweitern Sie die zusätzlichen Einstellungen und geben Sie alle nicht filterbaren Metadaten in das Feld Nicht filterbare Metadaten ein.

    Anmerkung

    Wenn Sie davon ausgehen, dass Ihre Textblöcke den Metadatenraum von 2 KB überschreiten, empfehlen wir Ihnen, das Textfeld AMAZON_BEDROCK_TEXT als nicht filterbaren Metadatenschlüssel hinzuzufügen. Ihre Wissensdatenbank wird dieses Feld verwenden, um die Textblöcke zu speichern.

    Sie können bis zu 10 nicht filterbare Metadatenschlüssel konfigurieren. Wählen Sie Schlüssel hinzufügen und dann AMAZON_BEDROCK_TEXT Als Schlüssel hinzufügen.

  5. Erstellen Sie den Vektorindex und notieren Sie sich den Amazon-Ressourcennamen (ARN) des Vektorindex, wenn Sie die Wissensdatenbank erstellen.

Erstellen Sie eine Wissensdatenbank für den S3-Vektor-Bucket

Nachdem Sie diese Informationen gesammelt haben, können Sie mit der Erstellung Ihrer Wissensdatenbank fortfahren. Wenn Sie Ihre Wissensdatenbank mit dem S3-Vektor-Bucket erstellen, müssen Sie den ARN des Vektor-Buckets und den Vektorindex angeben. Der Vektorindex speichert die Einbettungen, die aus Ihren Datenquellen generiert wurden. In der folgenden Tabelle ist zusammengefasst, wo Sie die einzelnen Informationen eingeben werden:

Feld Entsprechendes Feld in der Einrichtung der Wissensdatenbank (Konsole) Entsprechendes Feld in der Einrichtung der Wissensdatenbank (API) Beschreibung
Vektor-Eimer ARN S3-Vektor-Bucket ARN vectorBucketArn Der Amazon-Ressourcenname (ARN) Ihres S3-Vektor-Buckets.
Vektor-Index ARN S3-Vektorindex ARN Vektorindex ARN Der Amazon-Ressourcenname (ARN) des Vektorindexes für Ihren S3-Vektor-Bucket.
Amazon Aurora (RDS)
  1. Erstellen Sie einen Amazon Aurora Aurora-Datenbank-Cluster, ein Schema und eine Tabelle, indem Sie die Schritte unter Aurora PostgreSQL als Wissensdatenbank verwenden befolgen. Wenn Sie die Tabelle erstellen, konfigurieren Sie sie mit den folgenden Spalten und Datentypen. Sie können anstelle der in der folgenden Tabelle aufgeführten Spaltennamen nach Ihren Wünschen verwenden. Notieren Sie sich die von Ihnen ausgewählten Spaltennamen, damit Sie sie bei der Einrichtung der Wissensdatenbank angeben können.

    Sie müssen diese Felder angeben, bevor Sie die Wissensdatenbank erstellen. Sie können nicht aktualisiert werden, sobald die Wissensdatenbank erstellt wurde.

    Wichtig

    Der Aurora-Cluster muss sich in demselben befinden AWS-Konto wie der, in dem die Wissensdatenbank für Amazon Bedrock erstellt wurde.

    Spaltenname Datentyp Entsprechendes Feld in der Einrichtung der Wissensdatenbank (Konsole) Entsprechendes Feld in der Einrichtung der Wissensdatenbank (API) Beschreibung
    id UUID-Primärschlüssel Primärschlüssel primaryKeyField Enthält eindeutige Bezeichner für jeden Datensatz.
    Einbettung Vektor Vektorfeld vectorField Enthält die Vektoreinbettungen der Datenquellen.
    Brocken Text Textfeld textField Enthält die Rohtextblöcke aus Ihren Datenquellen.
    Metadaten JSON Von Bedrock verwaltetes Metadatenfeld metadataField Enthält Metadaten, die für die Quellenzuweisung und die Datenerfassung und -abfrage erforderlich sind
    custom_metadata JSONB Benutzerdefiniertes Metadatenfeld customMetadataField Optionales Feld, das die Spalte angibt, in die Amazon Bedrock alle Informationen aller Metadatendateien aus Ihren Datenquellen schreibt.
  2. Sie müssen einen Index für die Spalten, Vektor und Text für Ihre Text- und Einbettungsfelder erstellen. Wenn Sie das benutzerdefinierte Metadatenfeld verwenden, müssen Sie auch einen GIN-Index für diese Spalte erstellen. GIN-Indizes können verwendet werden, um effizient nach Schlüssel-Wert-Paaren in Jsonb-Dokumenten für die Metadatenfilterung zu suchen. Weitere Informationen finden Sie unter jsonb-Indizierung in der PostgreSQL-Dokumentation.

    Spaltenname Index erstellen für Erforderlich?
    Vektor CREATE INDEX ON bedrock_integration.bedrock_kb USING hnsw (embedding vector_cosine_ops); Ja
    text CREATE INDEX ON bedrock_integration.bedrock_kb USING gin (to_tsvector('simple', chunks)); Ja
    benutzerdefinierte Metadaten CREATE INDEX ON bedrock_integration.bedrock_kb USING gin (custom_metadata); Nur wenn Sie die benutzerdefinierte Metadatenspalte erstellt haben.
  3. (Optional) Wenn Sie Ihren Dateien Metadaten zum Filtern hinzugefügt haben, empfehlen wir Ihnen, den Spaltennamen im Feld für benutzerdefinierte Metadaten anzugeben, um all Ihre Metadaten in einer einzigen Spalte zu speichern. Während der Datenaufnahme wird diese Spalte mit allen Informationen in den Metadatendateien aus Ihren Datenquellen gefüllt. Wenn Sie dieses Feld angeben möchten, müssen Sie einen GIN-Index für diese Spalte erstellen.

    Anmerkung

    Wenn Sie häufig Bereichsfilter für numerische Metadaten verwenden, erstellen Sie zur Optimierung der Leistung einen Index für den jeweiligen Schlüssel. Wenn Sie beispielsweise Filter wie verwenden"lessThan": { "key": "year", "value": 1989 }, erstellen Sie einen Ausdrucksindex für den year Schlüssel. Weitere Informationen finden Sie unter Indizes für Ausdrücke in der PostgreSQL-Dokumentation.

    CREATE INDEX ON your_table ((custom_metadata->>'year')::double precision

    Wenn Sie diesen Feldnamen nicht angeben, können Sie alternativ für jedes Metadatenattribut in Ihren Dateien eine Spalte erstellen und den Datentyp (Text, Zahl oder Boolean) angeben. Wenn das Attribut beispielsweise in Ihrer Datenquelle genre vorhanden ist, würden Sie eine Spalte mit dem Namen genre und der Angabe text als Datentyp hinzufügen. Während der Datenaufnahme werden diese separaten Spalten mit den entsprechenden Attributwerten gefüllt.

  4. Konfigurieren Sie ein AWS Secrets Manager Geheimnis für Ihren Aurora-DB-Cluster, indem Sie die Schritte unter Passwortverwaltung mit Amazon Aurora und befolgen AWS Secrets Manager.

  5. Notieren Sie sich die folgenden Informationen, nachdem Sie Ihren DB-Cluster erstellt und das Geheimnis eingerichtet haben.

    Feld in der Einrichtung der Wissensdatenbank (Konsole) Feld in der Einrichtung der Wissensdatenbank (API) Beschreibung
    ARN des Amazon-Aurora-DB-Clusters resourceArn Der ARN Ihres DB-Clusters
    Datenbankname databaseName Der Name Ihrer Datenbank
    Tabellenname tableName Der Name der Tabelle Ihrem DB-Cluster
    ARN des Secrets credentialsSecretArn Der ARN des AWS Secrets Manager Schlüssels für Ihren DB-Cluster
Neptune Analytics graphs (GraphRAG)
  1. Um ein Diagramm und einen Vektorspeicher in Neptune Analytics in der zu erstellen AWS Management Console, folgen Sie den unter Vektorindizierung in Neptune Analytics im Neptune Analytics-Benutzerhandbuch beschriebenen Schritten.

    Anmerkung

    Um Neptune GraphRag zu verwenden, erstellen Sie ein leeres Neptune Analytics-Diagramm mit einem Vektor-Suchindex. Der Vektorsuchindex kann nur erstellt werden, wenn das Diagramm erstellt wird. Wenn Sie in der Konsole ein Neptune Analytics-Diagramm erstellen, geben Sie gegen Ende des Vorgangs die Indexdimension unter Einstellungen für die Vektorsuche an.

    Beachten Sie bei der Erstellung des Diagramms die folgenden Überlegungen:

    1. Geben Sie dem Diagramm einen Namen Ihrer Wahl.

    2. Wählen Sie unter Datenquelle die Option Leeres Diagramm erstellen aus und geben Sie die Anzahl der m- NCUs an, die zugewiesen werden sollen. Jede m-NCU verfügt über rund ein GiB Speicherkapazität und entsprechende Rechen- und Netzwerkfunktionen.

      Anmerkung

      Die Kapazität Ihres Diagramms kann später geändert werden. Wir empfehlen, mit der kleinsten Instanz zu beginnen und später, falls erforderlich, eine andere Instanz auszuwählen.

    3. Sie können die Standardeinstellungen für die Netzwerkkonnektivität beibehalten. Amazon Bedrock stellt eine Netzwerkverbindung zum Neptune Analytics-Diagramm her, mit dem Sie die Wissensdatenbank verknüpfen. Sie müssen keine öffentliche Konnektivität oder private Endpunkte für Ihr Diagramm konfigurieren.

    4. Wählen Sie unter Einstellungen für die Vektorsuche die Option Vektordimension verwenden aus und geben Sie die Anzahl der Dimensionen in jedem Vektor an.

      Anmerkung

      Die Anzahl der Dimensionen in jedem Vektor muss mit den Vektorabmessungen im Einbettungsmodell übereinstimmen. Anhand der folgenden Tabelle können Sie bestimmen, wie viele Dimensionen der Vektor enthalten sollte:

      Modell Dimensionen
      TitanG1 Einbettungen — Text 1 536
      TitanV2 Einbettungen - Text 1.024, 512 und 256
      CohereEmbedEnglisch 1,024
      CohereEmbedMehrsprachig 1,024
    5. Belassen Sie alle anderen Einstellungen auf den Standardeinstellungen und erstellen Sie das Diagramm.

  2. Sobald das Diagramm erstellt wurde, klicken Sie darauf, um die Ressourcen-ARN - und Vector-Dimensionen für die Erstellung der Wissensdatenbank zu notieren. Achten Sie bei der Auswahl des Einbettungsmodells in Amazon Bedrock darauf, dass Sie ein Modell mit denselben Abmessungen wie die Vector-Dimensionen wählen, die Sie in Ihrem Neptune Analytics-Diagramm konfiguriert haben.

Nachdem der Vektorindex erstellt wurde, können Sie mit der Erstellung Ihrer Wissensdatenbank fortfahren. In der folgenden Tabelle ist zusammengefasst, wo Sie die einzelnen Informationen eingeben werden, die Sie zur Kenntnis genommen haben.

Feld Entsprechendes Feld in der Einrichtung der Wissensdatenbank (Konsole) Entsprechendes Feld in der Einrichtung der Wissensdatenbank (API) Beschreibung
Grafik ARN Neptune Analytics-Grafik ARN Graphiken Sie ARN Der Amazon-Ressourcenname (ARN) des Neptune Analytics-Diagramms.
Metadatenverwaltung (erstes Zuordnungsfeld) Name des Textfeldes TextFeld Der Name des Felds, in dem der Rohtext aus Ihren Datenquellen gespeichert werden soll. Sie können einen beliebigen Wert für dieses Feld angeben, z. B. Text.
Metadatenverwaltung (zweites Mapping-Feld) Von Bedrock verwaltetes Metadatenfeld Metadatenfeld Der Name des Felds, in dem Metadaten gespeichert werden sollen, die Amazon Bedrock verwaltet. Sie können einen beliebigen Wert für dieses Feld angeben, z. B. Metadaten.
Pinecone
Anmerkung

Wenn Sie diese verwendenPinecone, erklären Sie sich damit einverstanden, AWS in Ihrem Namen auf die angegebene Drittanbieter-Quelle zuzugreifen, um Ihnen Vector Store-Dienste anbieten zu können. Sie sind dafür verantwortlich, alle Bedingungen Dritter einzuhalten, die für die Nutzung und Übertragung von Daten aus dem Drittanbieter-Service gelten.

Eine ausführliche Dokumentation zur Einrichtung eines Vector Stores in Pinecone finden Sie unter Pinecone als Wissensdatenbank für Amazon Bedrock.

Notieren Sie sich beim Einrichten des Vektorspeichers die folgenden Informationen, die Sie später beim Erstellen einer Wissensdatenbank angeben.

  • Endpunkt-URL — Die Endpunkt-URL für Ihre Indexverwaltungsseite.

  • Credentials Secret ARN — Der Amazon-Ressourcenname (ARN) des Geheimnisses, das Sie erstellt haben und das den Benutzernamen und das Passwort für einen Datenbankbenutzer enthält. AWS Secrets Manager

  • (Optional) Vom Kunden verwalteter KMS-Schlüssel für Ihren geheimen ARN für Anmeldeinformationen — wenn Sie Ihren geheimen ARN für Anmeldeinformationen verschlüsselt haben, geben Sie den KMS-Schlüssel an, damit Amazon Bedrock ihn entschlüsseln kann.

  • Namespace — (Optional) Der Namespace, der verwendet werden soll, um neue Daten in Ihre Datenbank zu schreiben. Weitere Informationen finden Sie unter Verwenden von Namespaces.

Es gibt zusätzliche Konfigurationen, die Sie bei der Erstellung eines Pinecone Indexes angeben müssen:

  • Textfeldname — Der Name des Felds, in dem Amazon Bedrock den rohen Chunk-Text speichern soll.

  • Name des Metadatenfeldes — Der Name des Felds, in dem Amazon Bedrock Metadaten zur Quellenattribution speichern soll.

Um auf Ihren Pinecone Index zuzugreifen, müssen Sie Amazon Bedrock Ihren Pinecone API-Schlüssel über den AWS Secrets Manager zur Verfügung stellen.

Um ein Geheimnis für Ihre Pinecone Konfiguration einzurichten
  1. Folgen Sie den Schritten unter Ein AWS Secrets Manager Geheimnis erstellen und legen Sie den Schlüssel als apiKey und den Wert als API-Schlüssel für den Zugriff auf Ihren Pinecone Index fest.

  2. Sie finden Ihren API-Schlüssel, indem Sie die Pinecone-Konsole öffnen und API-Schlüssel auswählen.

  3. Nachdem Sie das Geheimnis erstellt haben, notieren Sie sich den ARN des KMS-Schlüssels.

  4. Ordnen Sie Ihrer Servicerolle Berechtigungen zu, um den ARN des KMS-Schlüssels zu entschlüsseln, indem Sie die Schritte unter Berechtigungen zum Entschlüsseln eines AWS Secrets Manager Geheimnisses für den Vektorspeicher, der Ihre Wissensdatenbank enthält befolgen.

  5. Geben Sie den ARN später beim Erstellen Ihrer Wissensdatenbank in das Feld Anmeldeinformationen – geheimer ARN ein.

Redis Enterprise Cloud
Anmerkung

Wenn Sie die Website verwendenRedis Enterprise Cloud, erklären Sie sich damit einverstanden, den AWS Zugriff auf die angegebene Drittanbieter-Quelle in Ihrem Namen zu autorisieren, um Ihnen Vector Store-Dienste zur Verfügung zu stellen. Sie sind dafür verantwortlich, alle Bedingungen Dritter einzuhalten, die für die Nutzung und Übertragung von Daten aus dem Drittanbieter-Service gelten.

Eine ausführliche Dokumentation zur Einrichtung eines Vector Stores in Redis Enterprise Cloud finden Sie unter Integration Redis Enterprise Cloud mit Amazon Bedrock.

Notieren Sie sich beim Einrichten des Vektorspeichers die folgenden Informationen, die Sie später beim Erstellen einer Wissensdatenbank angeben.

  • Endpunkt-URL — Die öffentliche Endpunkt-URL für Ihre Datenbank.

  • Name des Vektorindex — Der Name des Vektorindexes für Ihre Datenbank.

  • Vektorfeld — Der Name des Feldes, in dem die Vektoreinbettungen gespeichert werden. Anhand der folgenden Tabelle können Sie bestimmen, wie viele Dimensionen der Vektor enthalten sollte.

    Modell Dimensionen
    TitanG1 Einbettungen — Text 1 536
    TitanV2 Einbettungen - Text 1.024, 512 und 256
    CohereEmbedEnglisch 1,024
    CohereEmbedMehrsprachig 1,024
  • Textfeld — Der Name des Felds, in dem Amazon Bedrock die Rohtextblöcke speichert.

  • Von Bedrock verwaltetes Metadatenfeld — Der Name des Feldes, in dem Amazon Bedrock Metadaten zu Ihrer Wissensdatenbank speichert.

Um auf Ihren Redis Enterprise Cloud Cluster zuzugreifen, müssen Sie Amazon Bedrock Ihre Redis Enterprise Cloud Sicherheitskonfiguration über den AWS Secrets Manager zur Verfügung stellen.

Um ein Geheimnis für Ihre Redis Enterprise Cloud Konfiguration einzurichten
  1. Aktivieren Sie TLS, um Ihre Datenbank mit Amazon Bedrock zu verwenden, indem Sie die Schritte unter Transport Layer Security (TLS) befolgen.

  2. Folgen Sie den Schritten unter Ein AWS Secrets Manager Geheimnis erstellen. Richten Sie die folgenden Schlüssel mit den entsprechenden Werten aus Ihrer Redis Enterprise Cloud Konfiguration im Secret ein:

    • username— Der Benutzername für den Zugriff auf Ihre Redis Enterprise Cloud Datenbank. Ihren Benutzernamen finden Sie in der Redis-Konsole im Abschnitt Sicherheit Ihrer Datenbank.

    • password— Das Passwort für den Zugriff auf Ihre Redis Enterprise Cloud Datenbank. Ihr Passwort finden Sie in der Redis-Konsole im Abschnitt Sicherheit Ihrer Datenbank.

    • serverCertificate – Der Inhalt des Zertifikats von der Redis-Cloud-Zertifizierungsstelle. Laden Sie das Serverzertifikat von der Redis-Administratorkonsole herunter, indem Sie den Schritten unter Herunterladen von Zertifikaten folgen.

    • clientPrivateKey – Der private Schlüssel von der Redis-Cloud-Zertifizierungsstelle. Laden Sie das Serverzertifikat von der Redis-Administratorkonsole herunter, indem Sie den Schritten unter Herunterladen von Zertifikaten folgen.

    • clientCertificate – Der öffentliche Schlüssel von der Redis-Cloud-Zertifizierungsstelle. Laden Sie das Serverzertifikat von der Redis-Administratorkonsole herunter, indem Sie den Schritten unter Herunterladen von Zertifikaten folgen.

  3. Nachdem Sie das Secret erstellt haben, notieren Sie sich den entsprechenden ARN. Geben Sie den ARN später beim Erstellen Ihrer Wissensdatenbank in das Feld Anmeldeinformationen – geheimer ARN ein.

MongoDB Atlas
Anmerkung

Wenn Sie MongoDB Atlas verwenden, erklären Sie sich damit einverstanden, AWS in Ihrem Namen auf die angegebene Drittanbieter-Quelle zuzugreifen, um Ihnen Vector Store-Dienste bereitzustellen. Sie sind dafür verantwortlich, alle Bedingungen Dritter einzuhalten, die für die Nutzung und Übertragung von Daten aus dem Drittanbieter-Service gelten.

Eine ausführliche Dokumentation zur Einrichtung eines Vektorspeichers in MongoDB Atlas finden Sie unter Starten eines vollständig verwalteten RAG-Workflows mit MongoDB Atlas und Amazon Bedrock.

Beachten Sie bei der Einrichtung des Vektorspeichers die folgenden Informationen, die Sie bei der Erstellung einer Wissensdatenbank hinzufügen werden:

  • Endpunkt-URL — Die Endpunkt-URL Ihres MongoDB Atlas-Clusters.

  • Datenbankname — Der Name der Datenbank in Ihrem MongoDB Atlas-Cluster.

  • Sammlungsname — Der Name der Sammlung in Ihrer Datenbank.

  • Credentials Secret ARN — Der Amazon-Ressourcenname (ARN) des Geheimnisses, das Sie erstellt haben und AWS Secrets Manager das den Benutzernamen und das Passwort für einen Datenbankbenutzer in Ihrem MongoDB Atlas-Cluster enthält.

  • (Optional) Vom Kunden verwalteter KMS-Schlüssel für Ihren geheimen ARN für Anmeldeinformationen — wenn Sie Ihren geheimen ARN für Anmeldeinformationen verschlüsselt haben, geben Sie den KMS-Schlüssel an, damit Amazon Bedrock ihn entschlüsseln kann.

Es gibt zusätzliche Konfigurationen für die Feldzuordnung, die Sie angeben müssen, wenn Sie einen MongoDB-Atlas-Index erstellen:

  • Vektorindexname — Der Name des MongoDB Atlas Vector Search Index in Ihrer Sammlung.

  • Vektorfeldname — Der Name des Felds, in dem Amazon Bedrock Vektoreinbettungen speichern soll.

  • Textfeldname — Der Name des Felds, in dem Amazon Bedrock den rohen Chunk-Text speichern soll.

  • Name des Metadatenfeldes — Der Name des Felds, in dem Amazon Bedrock Metadaten zur Quellenattribution speichern soll.

  • (Optional) Name des Textsuchindexes — Der Name des MongoDB Atlas Search-Index in Ihrer Sammlung.

(Optional) Informationen darüber, wie Amazon Bedrock eine Verbindung zu Ihrem MongoDB Atlas-Cluster herstellt AWS PrivateLink, finden Sie unter RAG-Workflow mit MongoDB Atlas mithilfe von Amazon Bedrock.