Voraussetzungen für die Verwendung eines Vektorspeichers, den Sie für eine Wissensdatenbank erstellt haben

1. Wenn Sie Berechtigungen konfigurieren und eine Vektor-Suchsammlung in Amazon OpenSearch Serverless in der AWS-Managementkonsole erstellen möchten, folgen Sie den Schritten 1 und 2 unter Arbeiten mit Vektorsuchsammlungen im Entwicklerhandbuch zu Amazon OpenSearch Service. Beachten Sie bei der Einrichtung Ihrer Sammlung die folgenden Überlegungen:

   1. Geben Sie der Sammlung einen Namen und eine Beschreibung Ihrer Wahl.

   2. Damit Ihre Sammlung privat bleibt, wählen Sie im Bereich Sicherheit die Option Standard erstellen aus. Wählen Sie dann im Abschnitt Netzwerkzugriffseinstellungen VPC als Zugriffstyp und einen VPC-Endpunkt aus. Weitere Informationen zum Einrichten eines VPC-Endpunkts für eine Sammlung von Amazon OpenSearch Serverless finden Sie unter Zugreifen auf Amazon OpenSearch Serverless über einen Schnittstellenendpunkt (AWS PrivateLink) im Entwicklerhandbuch zu Amazon OpenSearch Service.

2. Notieren Sie sich nach der Erstellung der Sammlung den Sammlungs-ARN zum Anlegen der Wissensdatenbank.

3. Wählen Sie im linken Navigationsbereich unter Serverless die Option Sammlungen aus. Wählen Sie dann Ihre Vektorsuchsammlung aus.

4. Wechseln Sie zur Registerkarte Indizes. Wählen Sie dann Vektorindex erstellen aus.

5. Geben Sie im Abschnitt Details zum Vektorindex im Feld Vektor-Indexname einen Namen für Ihren Index ein.

6. Wählen Sie im Abschnitt Vektorfelder die Option Vektorfeld hinzufügen aus. Amazon Bedrock speichert die Vektoreinbettungen für Ihre Datenquelle in diesem Feld. Stellen Sie die folgenden Konfigurationen bereit:

   • Vektorfeldname – Geben Sie einen Namen für das Feld ein (z. B. embeddings).

   • Engine – Dies ist die Vektor-Engine, die für die Suche verwendet wird. Wählen Sie faiss aus.

   • Dimensionen – Die Anzahl der Dimensionen im Vektor. Bestimmen Sie anhand der folgenden Tabelle, wie viele Dimensionen der Vektor enthalten soll:

     Modell	Dimensionen
     Titan G1 Einbettungen – Text	1 536
     Titan V2 Einbettungen – Text	1 024, 512 und 256
     Cohere Embed English	1,024
     Cohere Embed Multilingual	1,024

   • Entfernungsmetrik – Die Metrik, die verwendet wird, um die Ähnlichkeit zwischen Vektoren zu messen. Wir empfehlen, Euklidisch für Gleitkomma-Vektoreinbettungen zu verwenden.

7. Erweitern Sie den Abschnitt Verwaltung von Metadaten und fügen Sie zwei Felder hinzu, um den Vektorindex so zu konfigurieren, dass zusätzliche Metadaten gespeichert werden, die von einer Wissensdatenbank mit Vektoren abgerufen werden können. In der folgenden Tabelle werden die Felder und Werte beschrieben, die für jedes Feld angegeben werden müssen:

   Beschreibung des Feldes	Feld „Mapping“	Datentyp	Filterbar
   Amazon Bedrock teilt den Rohtext in Ihren Daten auf und speichert die Teile in diesem Feld.	Name Ihrer Wahl (zum Beispiel text)	String	Wahr
   In diesem Feld speichert Amazon Bedrock Metadaten, die sich auf Ihre Wissensdatenbank beziehen.	Name Ihrer Wahl (zum Beispiel bedrock-metadata)	String	Falsch

8. Notieren Sie sich die Namen, die Sie für den Vektorindex, das Vektorfeld und die Zuordnungsfelder für die Metadatenverwaltung ausgewählt haben, um später Ihre Wissensdatenbank zu erstellen. Wählen Sie die Option Erstellen aus.

1. Wenn Sie einen Domain- und Vektorindex in OpenSearch Cluster in der AWS-Managementkonsole erstellen möchten, folgen Sie den Schritten, die unter Erstellen und Verwalten von OpenSearch-Service-Domains im Entwicklungshandbuch zu Amazon OpenSearch Service beschrieben sind.

   Beachten Sie bei der Einrichtung Ihrer Domain die folgenden Überlegungen:

   1. Geben Sie der Domain einen Namen Ihrer Wahl.

   2. Wir empfehlen Ihnen, die Option Einfach erstellen zu verwenden, um schnell mit der Erstellung Ihrer Domain zu beginnen.

      Anmerkung

      Mit dieser Option erhalten Sie eine Domain mit geringem Durchsatz. Wenn Sie größere Workloads haben, die einen höheren Durchsatz erfordern, wählen Sie die Option Standard erstellen aus. Sie können die Kapazität später nach Bedarf anpassen. Mit dieser Option können Sie mit der niedrigsten Kapazität beginnen und diese dann später nach Bedarf ändern.

   3. Für das Netzwerk müssen Sie Öffentlicher Zugriff auswählen. OpenSearch-Domains, die sich hinter einer VPC befinden, werden für Ihre Wissensdatenbank nicht unterstützt.

   4. Version: Wenn Sie binäre Vektoreinbettungen verwenden, benötigt Wissensdatenbanken für Amazon Bedrock eine Engine-Version 2.16 oder höher. Darüber hinaus ist eine Version 2.13 oder höher erforderlich, um einen k-nn-Index zu erstellen. Weitere Informationen finden Sie unter K-NN-Suche im Entwicklerhandbuch zu Amazon OpenSearch Service.

   5. Wir empfehlen, den Dual-Stack-Modus zu verwenden.

   6. Wir empfehlen Ihnen, die Option Differenzierte Zugriffskontrolle zu aktivieren, um die Daten in Ihrer Domain zu schützen, und die Berechtigungen, die Ihrer Servicerolle für die Wissensdatenbank Zugriff auf die OpenSearch-Domain gewähren und Anfragen stellen, weiter zu kontrollieren.

   7. Übernehmen Sie für alle anderen Einstellungen die Standardwerte und wählen Sie Erstellen aus, um Ihre Domain zu erstellen.

2. Sobald die Domain erstellt wurde, klicken Sie darauf, um sich den Domain-ARN und den Domainendpunkt für die Erstellung der Wissensdatenbank zu notieren.

3. Nachdem Sie die Domain erstellt haben, können Sie einen Vektorindex generieren, indem Sie die folgenden Befehle auf einem OpenSearch-Dashboard ausführen oder curl-Befehle verwenden. Weitere Informationen finden Sie in der OpenSearch-Dokumentation.

   Beim Ausführen des Befehls:

   • Geben Sie einen Namen für das Vektorfeld ein (z. B. embeddings).

   • Stellen Sie sicher, dass der für die Suche verwendete Vektor faiss ist. nmslib wird nicht unterstützt.

   • Im Hinblick auf die Anzahl der Dimensionen des Vektors bestimmen Sie anhand der folgenden Tabelle, wie viele Dimensionen der Vektor enthalten soll:

     Anmerkung

     Das Textmodell Titan V2 Embeddings unterstützt mehrere Dimensionen. Möglich ist auch 256 oder 512.

     Modell	Dimensionen
     Titan G1 Einbettungen – Text	1 536
     Titan V2 Einbettungen – Text	1 024, 512 und 256
     Cohere Embed English	1,024
     Cohere Embed Multilingual	1,024

   • Sie können zwei Felder hinzufügen, um den Vektorindex so zu konfigurieren, dass zusätzliche Metadaten gespeichert werden, die von einer Wissensdatenbank mit Vektoren abgerufen werden können. In der folgenden Tabelle werden die Felder und Werte beschrieben, die jeweils angegeben werden müssen:

     Beschreibung des Feldes	Feld „Mapping“
     Amazon Bedrock teilt den Rohtext in Ihren Daten auf und speichert die Teile in diesem Feld.	Als Objekt angegeben, zum Beispiel AMAZON_BEDROCK_TEXT_CHUNK
     In diesem Feld speichert Amazon Bedrock Metadaten, die sich auf Ihre Wissensdatenbank beziehen.	Als Objekt angegeben, zum Beispiel AMAZON_BEDROCK_METADATA

   PUT /<index-name>
   {
       "settings": {
           "index": {
               "knn": true
           }
       },
       "mappings": {
           "properties": {
               "<vector-name>": {
                   "type": "knn_vector",
                   "dimension": <embedding-dimension>,
                   "data_type": "binary",          # Only needed for binary embeddings
                   "space_type": "l2" | "hamming", # Use l2 for float embeddings and hamming for binary embeddings
                   "method": {
                       "name": "hnsw",
                       "engine": "faiss",
                       "parameters": {
                           "ef_construction": 128,
                           "m": 24
                       }
                   }
               },
   
               "AMAZON_BEDROCK_METADATA": {
                   "type": "text",
                   "index": "false"
               },
               "AMAZON_BEDROCK_TEXT_CHUNK": {
                   "type": "text",
                   "index": "true"            
               }
           }
       }
   }

4. Notieren Sie sich den Domain-ARN und Endpunkt sowie die Namen, die Sie für den Vektorindex, das Vektorfeld und die Zuordnungsfelder für die Metadatenverwaltung ausgewählt haben, um später Ihre Wissensdatenbank zu erstellen.

1. Beachten Sie beim Erstellen Ihres S3-Vektor-Buckets die folgenden Überlegungen.

   • Geben Sie einen eindeutigen Namen des Vektor-Buckets an.

   • (Optional) Amazon S3 verschlüsselt die Daten automatisch unter Verwendung der standardmäßigen serverseitigen Verschlüsselung mit von Amazon S3 verwalteten Schlüsseln (SSE-S3). Sie können wählen, ob Sie diese Standardverschlüsselung oder die serverseitige Verschlüsselung mit Schlüsseln von AWS Key Management Service (SSE-KMS) verwenden.

     Anmerkung

     Der Verschlüsselungstyp kann nach dem Anlegen des Vektor-Buckets nicht mehr geändert werden.

     Schrittweise Anleitungen hierzu finden Sie unter Verschlüsselung mit AWS-KMS-Schlüsseln.

2. Nachdem Sie den S3-Vektor-Bucket erstellt haben, notieren Sie sich den Amazon-Ressourcennamen (ARN) des Vektor-Buckets für die Erstellung der Wissensdatenbank.

3. Wählen Sie den Vektor-Bucket aus, den Sie angelegt haben, und erstellen Sie dann einen Vektorindex. Beachten Sie beim Erstellen des Vektorindex die folgenden Überlegungen.

   • Name des Vektorindex – Geben Sie einen Namen für das Feld ein (z. B. embeddings).

   • Dimension – Hiermit wird die Anzahl der Dimensionen im Vektor festgelegt. Die Dimensionen müssen als Wert zwischen 1 und 4 096 eingegeben werden. Bestimmen Sie anhand der folgenden Tabelle, wie viele Dimensionen der Vektor auf der Grundlage des ausgewählten Einbettungsmodells enthalten soll:

     Modell	Dimensionen
     Titan G1 Einbettungen – Text	1 536
     Titan V2 Einbettungen – Text	1 024, 512 und 256
     Cohere Embed English	1,024
     Cohere Embed Multilingual	1,024

   • Anmerkung

     Amazon S3 Vectors unterstützt nur Gleitkomma-Einbettungen. Binäre Einbettungen werden nicht unterstützt.

     Entfernungsmetrik – Die Metrik, die verwendet wird, um die Ähnlichkeit zwischen Vektoren zu messen. Sie können Kosinus oder Euklidisch verwenden.

4. Erweitern Sie das Feld Zusätzliche Einstellungen und geben Sie alle nicht filterbaren Metadaten in das Feld Nicht filterbare Metadaten ein.

   Anmerkung

   Wenn Sie davon ausgehen, dass Ihre Textblöcke den Metadaten-Speicherplatz von 2 KB überschreiten, empfehlen wir Ihnen, das Textfeld AMAZON_BEDROCK_TEXT und AMAZON_BEDROCK_METADATA als nicht filterbare Metadatenschlüssel hinzuzufügen. Ihre Wissensdatenbank verwendet diese Felder, um die Textblöcke und Systemmetadaten zu speichern.

   Sie können bis zu 10 nicht filterbare Metadatenschlüssel konfigurieren. Wählen Sie Schlüssel hinzufügen aus und fügen Sie AMAZON_BEDROCK_TEXT und AMAZON_BEDROCK_METADATA als Schlüssel hinzu.

5. Erstellen Sie den Vektorindex und notieren Sie sich den Amazon-Ressourcennamen (ARN) des Vektorindex für die spätere Erstellung der Wissensdatenbank.

1. Erstellen Sie einen Datenbank-Cluster (DB-Cluster), ein Schema und eine Tabelle von Amazon Aurora, indem Sie die Schritte unter Verwenden von Aurora PostgreSQL als Wissensdatenbank befolgen. Wenn Sie die Tabelle erstellen, konfigurieren Sie sie mit den folgenden Spalten und Datentypen. Sie können anstelle der in der obigen Tabelle aufgeführten Spaltennamen eigene Namen verwenden. Notieren Sie sich die von Ihnen ausgewählten Spaltennamen, damit Sie sie bei der Einrichtung der Wissensdatenbank angeben können.

   Sie müssen diese Felder angeben, bevor Sie die Wissensdatenbank erstellen. Die Felder können nicht aktualisiert werden, nachdem die Wissensdatenbank erstellt wurde.

   Wichtig

   Der Aurora-Cluster muss sich in demselben AWS-Konto befinden wie der, in dem die Wissensdatenbank für Amazon Bedrock erstellt wurde.

   Spaltenname	Datentyp	Entsprechendes Feld in der Einrichtung der Wissensdatenbank (Konsole)	Entsprechendes Feld in der Einrichtung der Wissensdatenbank (API)	Beschreibung
   id	UUID-Primärschlüssel	Primärschlüssel	primaryKeyField	Enthält eindeutige Bezeichner für jeden Datensatz.
   Einbettung	Vektor	Vektorfeld	vectorField	Enthält die Vektoreinbettungen der Datenquellen.
   Blöcke	Text	Textfeld	textField	Enthält die Rohtextblöcke aus Ihren Datenquellen.
   Metadaten	JSON	Von Amazon Bedrock verwaltetes Metadatenfeld	metadataField	Enthält Metadaten, die für die Quellenzuweisung und die Datenerfassung und -abfrage erforderlich sind
   custom_metadata	JSONB	Feld „Benutzerdefinierte Metadaten“	customMetadataField	Optionales Feld, das die Spalte angibt, in die Amazon Bedrock sämtliche Informationen aller Metadatendateien aus Ihren Datenquellen schreibt.

2. Sie müssen einen Index für Spalten, Vektor und Text für Ihre Text- und Einbettungsfelder erstellen. Wenn Sie das Feld „Benutzerdefinierte Metadaten“ verwenden, müssen Sie auch einen GIN-Index für diese Spalte erstellen. GIN-Indizes können verwendet werden, um effizient nach Schlüssel-Wert-Paaren in JSONB-Dokumenten für die Metadatenfilterung zu suchen. Weitere Informationen finden Sie unter JSONB-Indizierung in der PostgreSQL-Dokumentation.

   Spaltenname	Index erstellen für	Erforderlich?
   Vektor	CREATE INDEX ON bedrock_integration.bedrock_kb USING hnsw (embedding vector_cosine_ops);	Ja
   text	CREATE INDEX ON bedrock_integration.bedrock_kb USING gin (to_tsvector('simple', chunks));	Ja
   Benutzerdefinierte Metadaten	CREATE INDEX ON bedrock_integration.bedrock_kb USING gin (custom_metadata);	Nur wenn Sie die Spalte für benutzerdefinierte Metadaten erstellt haben.

3. (Optional) Wenn Sie Ihren Dateien Metadaten zum Filtern hinzugefügt haben, empfehlen wir Ihnen, den Spaltennamen im Feld „Benutzerdefinierte Metadaten“ anzugeben, um all Ihre Metadaten in einer einzigen Spalte zu speichern. Während der Datenerfassung wird diese Spalte mit allen in den Metadatendateien enthaltenen Informationen aus Ihren Datenquellen gefüllt. Wenn Sie dieses Feld angeben möchten, müssen Sie einen GIN-Index für diese Spalte erstellen.

   Anmerkung

   Wenn Sie häufig Bereichsfilter für numerische Metadaten verwenden, erstellen Sie zur Optimierung der Leistung einen Index für den jeweiligen Schlüssel. Wenn Sie beispielsweise Filter wie "lessThan": { "key": "year", "value": 1989 } verwenden, erstellen Sie einen Ausdrucksindex für den Schlüssel year. Weitere Informationen finden Sie unter Indizes für Ausdrücke in der PostgreSQL-Dokumentation.

   CREATE INDEX ON your_table ((custom_metadata->>'year')::double precision

   Wenn Sie diesen Feldnamen nicht angeben, können Sie alternativ für jedes Metadatenattribut in Ihren Dateien eine Spalte erstellen und den Datentyp (Text, Zahl oder Boolescher Wert) angeben. Wenn das Attribut genre beispielsweise in Ihrer Datenquelle vorhanden ist, würden Sie eine Spalte mit dem Namen genre und der Angabe text als Datentyp hinzufügen. Während der Datenerfassung werden diese separaten Spalten mit den entsprechenden Attributwerten gefüllt.

4. Konfigurieren Sie ein AWS Secrets Manager-Geheimnis für Ihren Aurora-DB-Cluster, indem Sie die Schritte unter Passwortverwaltung mit Amazon Aurora und AWS Secrets Manager befolgen.

5. Notieren Sie sich die folgenden Informationen, nachdem Sie Ihren DB-Cluster erstellt und das Geheimnis eingerichtet haben.

   Feld in der Einrichtung der Wissensdatenbank (Konsole)	Feld in der Einrichtung der Wissensdatenbank (API)	Beschreibung
   ARN des Amazon-Aurora-DB-Clusters	resourceArn	Der ARN Ihres DB-Clusters
   Datenbankname	databaseName	Der Name Ihrer Datenbank
   Tabellenname	tableName	Der Name der Tabelle Ihrem DB-Cluster
   ARN des Geheimnisses	credentialsSecretArn	Der ARN des AWS Secrets Manager-Schlüssels für Ihren DB-Cluster

1. Wenn Sie ein Diagramm und einen Vektorspeicher in Neptune Analytics in der AWS-Managementkonsole erstellen möchten, folgen Sie den Schritten, die unter Vektorindizierung in Neptune Analytics im Neptune-Analytics-Benutzerhandbuch beschrieben sind.

   Anmerkung

   Wenn Sie Neptune GraphRAG verwenden möchten, erstellen Sie ein leeres Neptune-Analytics-Diagramm mit einem Vektorsuchindex. Der Vektorsuchindex kann nur erstellt werden, wenn das Diagramm angelegt wurde. Wenn Sie ein Neptune-Analytics-Diagramm in der Konsole erstellen, geben Sie gegen Ende des Vorgangs die Indexdimension unter Einstellungen für die Vektorsuche an.

   Beachten Sie beim Erstellen des Diagramms die folgenden Überlegungen:

   1. Geben Sie dem Diagramm einen Namen Ihrer Wahl.

   2. Wählen Sie unter Datenquelle die Option Leeren Graphen erstellen aus und geben Sie die Anzahl der m-NCUs an, die zugewiesen werden sollen. Jede m-NCU verfügt über etwa ein GiB Speicherkapazität und entsprechende Rechen- und Netzwerkfunktionen.

      Anmerkung

      Die Kapazität Ihres Diagramms kann später geändert werden. Wir empfehlen, mit der kleinsten Instance zu beginnen und später, falls erforderlich, eine andere Instance auszuwählen.

   3. Sie können die Standardeinstellungen für die Netzwerkkonnektivität beibehalten. Amazon Bedrock stellt eine Netzwerkverbindung zum Neptune-Analytics-Diagramm her, mit dem Sie die Wissensdatenbank verknüpfen. Sie müssen keine öffentliche Konnektivität oder privaten Endpunkte für Ihr Diagramm konfigurieren.

   4. Wählen Sie unter Einstellungen für die Vektorsuche die Option Vektordimension verwenden aus und geben Sie die Anzahl der Dimensionen in jedem Vektor an.

      Anmerkung

      Die Anzahl der Dimensionen in jedem Vektor muss mit den Vektordimensionen im Einbettungsmodell übereinstimmen. Bestimmen Sie anhand der folgenden Tabelle, wie viele Dimensionen der Vektor enthalten soll:

      Modell	Dimensionen
      Titan G1 Einbettungen – Text	1 536
      Titan V2 Einbettungen – Text	1 024, 512 und 256
      Cohere Embed English	1,024
      Cohere Embed Multilingual	1,024

   5. Übernehmen Sie für alle anderen Einstellungen die Standardwerte und erstellen Sie das Diagramm.

2. Sobald das Diagramm erstellt wurde, klicken Sie darauf, um sich den Ressourcen-ARN und die Vektordimensionen für die Erstellung der Wissensdatenbank zu notieren. Achten Sie bei der Auswahl des Einbettungsmodells in Amazon Bedrock darauf, dass Sie ein Modell mit denselben Dimensionen wie die Vektordimensionen auswählen, die Sie in Ihrem Neptune-Analytics-Diagramm konfiguriert haben.

So richten Sie ein Secret für Ihre Pinecone-Konfiguration ein

1. Folgen Sie den Schritten unter Erstellen eines Secrets in AWS Secrets Manager und legen Sie für den Schlüssel apiKey und für den Wert den API-Schlüssel fest, um auf den Pinecone-Index zuzugreifen.

2. Sie finden Ihren API-Schlüssel, indem Sie die Pinecone-Konsole öffnen und API-Schlüssel auswählen.

3. Nachdem Sie das Geheimnis erstellt haben, notieren Sie sich den ARN des KMS-Schlüssels.

4. Ordnen Sie Ihrer Servicerolle Berechtigungen zu, um den ARN des KMS-Schlüssels zu entschlüsseln, indem Sie die Schritte unter Berechtigungen zum Entschlüsseln eines AWS Secrets Manager-Geheimnisses für den Vektorspeicher, der Ihre Wissensdatenbank enthält befolgen.

5. Geben Sie den ARN später beim Erstellen Ihrer Wissensdatenbank in das Feld Anmeldeinformationen – Geheimer ARN ein.

So richten Sie ein Secret für Ihre Redis Enterprise Cloud-Konfiguration ein

1. Aktivieren Sie TLS, um Ihre Datenbank mit Amazon Bedrock zu verwenden, indem Sie die Schritte unter Transport Layer Security (TLS) befolgen.

2. Folgen Sie den Schritten unter Erstellen eines Secrets in AWS Secrets Manager. Richten Sie die folgenden Schlüssel mit den entsprechenden Werten aus Ihrer Konfiguration von Redis Enterprise Cloud im Secret ein:

   • username – Der Benutzername für den Zugriff auf Ihre Datenbank von Redis Enterprise Cloud. Ihren Benutzernamen finden Sie in der Redis-Konsole im Abschnitt Sicherheit Ihrer Datenbank.

   • password – Das Passwort für den Zugriff auf Ihre Datenbank von Redis Enterprise Cloud. Ihr Passwort finden Sie in der Redis-Konsole im Abschnitt Sicherheit Ihrer Datenbank.

   • serverCertificate – Der Inhalt des Zertifikats von der Redis-Cloud-Zertifizierungsstelle. Laden Sie das Serverzertifikat von der Redis-Administratorkonsole herunter, indem Sie den Schritten unter Herunterladen von Zertifikaten folgen.

   • clientPrivateKey – Der private Schlüssel von der Redis-Cloud-Zertifizierungsstelle. Laden Sie das Serverzertifikat von der Redis-Administratorkonsole herunter, indem Sie den Schritten unter Herunterladen von Zertifikaten folgen.

   • clientCertificate – Der öffentliche Schlüssel von der Redis-Cloud-Zertifizierungsstelle. Laden Sie das Serverzertifikat von der Redis-Administratorkonsole herunter, indem Sie den Schritten unter Herunterladen von Zertifikaten folgen.

3. Nachdem Sie das Secret erstellt haben, notieren Sie sich den entsprechenden ARN. Geben Sie den ARN später beim Erstellen Ihrer Wissensdatenbank in das Feld Anmeldeinformationen – geheimer ARN ein.