Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich. # GPU-Beschleunigung für die Vektorindizierung Mit GPU-Beschleunigung können Sie große Vektordatenbanken schneller und effizienter erstellen. Sie können diese Funktion für neue oder bestehende OpenSearch Domains und OpenSearch serverlose Sammlungen aktivieren. Diese Funktion verwendet GPU-Beschleunigung, um den Zeitaufwand für die Indizierung von Daten in Vektorindizes zu reduzieren. Mit der GPU-Beschleunigung können Sie die Geschwindigkeit der Vektorindizierung um das bis zu 10-fache erhöhen, und das bei einem Viertel der Indexierungskosten. ## Voraussetzungen Die GPU-Beschleunigung wird für OpenSearch Domains, auf denen Version oder höher ausgeführt wird, und für serverlose Sammlungen unterstützt. OpenSearch `3.1` OpenSearch Weitere Informationen finden Sie unter[Upgrade von Amazon OpenSearch Service-Domains](version-migration.md), und. [UpdateDomainConfig[UpdateCollection](https://docs.aws.amazon.com/opensearch-service/latest/ServerlessAPIReference/API_UpdateCollection.html)](https://docs.aws.amazon.com/opensearch-service/latest/APIReference/API_UpdateDomainConfig.html) APIs ## Funktionsweise Vektorindizes erfordern erhebliche Rechenressourcen, um Datenstrukturen wie Hierarchical Navigable Small Worlds (HNSW) -Diagramme zu erstellen. Wenn Sie die GPU-Beschleunigung für Ihre Domain oder Sammlung aktivieren, OpenSearch werden automatisch Möglichkeiten zur Beschleunigung Ihrer Indexerstellungen erkannt und die Index-Builds auf GPU-Instanzen ausgelagert. OpenSearch Der Service verwaltet die GPU-Instanzen in Ihrem Namen und weist sie bei Bedarf Ihrer Domain oder Sammlung zu. Das bedeutet, dass Sie nicht die Auslastung verwalten und auch nicht für Leerlaufzeiten zahlen müssen. Mit Compute Units (OCU) — Vector Acceleration zahlen Sie nur für nutzbringende Verarbeitung. Jede Vector Acceleration OCU ist eine Kombination aus etwa 8 GiB CPU-Speicher, 2 V CPUs und 6 GiB GPU-Speicher. Weitere Informationen finden Sie unter [Preise für GPU-Beschleunigung](#gpu-acceleration-pricing). Informationen zum Aktivieren der GPU-Beschleunigung für Ihre Domain oder Sammlung finden Sie unter[GPU-Beschleunigung aktivieren](gpu-acceleration-enabling.md). ## Preise für GPU-Beschleunigung AWS berechnet Ihnen Gebühren, wenn Möglichkeiten zur Beschleunigung der Indexerstellung Ihrer Domain oder Sammlung OpenSearch erkannt werden. Jede Vector Acceleration OCU ist eine Kombination aus etwa 8 GiB CPU-Speicher, 2 V CPUs und 6 GiB GPU-Speicher. AWS berechnet OCU mit Granularität der zweiten Ebene. In Ihrem Kontoauszug finden Sie einen Eintrag für die Berechnung in OCU-Stunden. Wenn Sie beispielsweise GPU-Beschleunigung für eine Stunde verwenden, um einen Index zu erstellen und dabei 2 vCPU und 1 GiB GPU-Speicher verwenden, wird Ihnen 1 OCU in Rechnung gestellt. Wenn Sie 9 GiB CPU-Speicher verwenden und gleichzeitig die GPU-Beschleunigung verwenden, werden Ihnen 2 OCU in Rechnung gestellt. OpenSearch Serverless fügt je nach Rechenleistung und Speicherplatz, die zur Unterstützung Ihrer Sammlungen benötigt werden, OCUs in Schritten von 1 OCU weitere hinzu. Sie können eine maximale Anzahl von OCUs für Ihr Konto konfigurieren, um die Kosten zu kontrollieren. **Anmerkung** Die Anzahl der zu einem beliebigen Zeitpunkt OCUs bereitgestellten Dateien kann variieren und ist nicht exakt. Im Laufe der Zeit wird der Algorithmus, den OpenSearch und OpenSearch Serverless verwendet, weiter verbessert, um die Systemnutzung besser zu minimieren. Vollständige Preisinformationen finden Sie unter [Amazon OpenSearch Service Pricing](https://aws.amazon.com/opensearch-service/pricing/). ## GPU-Beschleunigung und Schreiboperationen Die GPU-Beschleunigung wird aktiviert, wenn OpenSearch die Vektoraufnahmerate (MB/s) innerhalb eines bestimmten Bereichs liegt. [Bei OpenSearch Domänen haben Sie die Flexibilität, diesen Bereich über und zu konfigurieren.](https://docs.opensearch.org/3.2/vector-search/remote-index-build/#using-the-remote-index-build-service) `index.knn.remote_index_build.size.min` `index.knn.remote_index_build.size.max` Wenn beispielsweise der untere Bereich standardmäßig 50 MB beträgt, löst das Schreiben von 15.000 Vektoren mit voller Genauigkeit und 768 Dimensionen zwischen den [Aktualisierungsintervallen](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/bp.html#bp-perf) standardmäßig die GPU-Beschleunigung aus. Daten werden mit den folgenden API-Operationen geschrieben: + [Spülen](https://docs.opensearch.org/latest/api-reference/index-apis/flush/) + [Masse](https://docs.opensearch.org/latest/api-reference/document-apis/bulk/) + [Erneut indizieren](https://docs.opensearch.org/latest/api-reference/document-apis/reindex/) + [Index](https://docs.opensearch.org/latest/api-reference/index-apis/index/) + [Aktualisieren](https://docs.opensearch.org/latest/api-reference/document-apis/update-document/) + [Löschen](https://docs.opensearch.org/latest/api-reference/document-apis/delete-document/) + [Zusammenführung erzwingen](https://docs.opensearch.org/latest/api-reference/index-apis/force-merge/) Die GPU-Beschleunigung ist sowohl bei automatischen als auch bei [manuellen](https://docs.opensearch.org/latest/api-reference/index-apis/force-merge/) Segmentzusammenführungen aktiviert. ## Unterstützte Indexkonfigurationen Die [Faiss-Engine](https://docs.opensearch.org/latest/field-types/supported-field-types/knn-methods-engines/#faiss-engine) unterstützt GPU-Beschleunigung. Die folgenden Konfigurationen unterstützen keine GPU-Beschleunigung: + [Faiss-Produktquantisierung](https://docs.opensearch.org/latest/vector-search/optimizing-storage/faiss-product-quantization/) + [Invertierter Dateiindex (IVF)](https://docs.opensearch.org/latest/field-types/supported-field-types/knn-methods-engines/#ivf-parameters) + [Nichtmetrische Weltraumbibliothek](https://docs.opensearch.org/latest/field-types/supported-field-types/knn-methods-engines/#nmslib-engine-deprecated) + [Lucene-Motor](https://docs.opensearch.org/latest/field-types/supported-field-types/knn-methods-engines/#lucene-engine) ## Wird unterstützt AWS-Regionen GPU-Beschleunigung ist in den folgenden Versionen verfügbar: AWS-Regionen + USA Ost (Nord-Virginia) + USA West (Oregon) + Asien-Pazifik (Sydney) + Asien-Pazifik (Tokio) + Europa (Irland) # GPU-Beschleunigung aktivieren Sie können die GPU-Beschleunigung aktivieren, wenn Sie eine OpenSearch Domain oder eine OpenSearch serverlose Sammlung mit dem, oder SDK erstellen oder aktualisieren. AWS-Managementkonsole AWS CLI AWS Sobald Sie die GPU-Beschleunigung für Ihre Domain oder Sammlung aktiviert haben, ist diese Funktion standardmäßig für alle Indizes aktiviert. Informationen dazu, wie Sie diese Funktion auf Indexebene deaktivieren müssen, finden Sie unter. [GPU-beschleunigte Vektorindizes erstellen](gpu-acceleration-creating-indexes.md) ## Konsole Die folgenden Verfahren aktivieren die GPU-Beschleunigung für OpenSearch Domänen und OpenSearch serverlose Sammlungen mithilfe der OpenSearch Serverless-Managementkonsole. ------ #### [ Create new domain ] Informationen zum Erstellen einer OpenSearch Domäne mit aktivierter GPU-Beschleunigung finden Sie unter. [OpenSearch Dienstdomänen erstellen](createupdatedomains.md#createdomains) ------ #### [ Edit existing domain ] 1. Öffnen Sie die [OpenSearch Service Management Console.](https://console.aws.amazon.com/aos/home ) 1. Wählen Sie im Navigationsbereich **Domains** aus. 1. Wählen Sie Ihren Domainnamen, um die Seite mit den Domain-Details zu öffnen. 1. Wählen Sie „**Aktionen**“ und dann **„Domain bearbeiten“**. 1. Wählen Sie im Abschnitt **Erweiterte Funktionen** die Option **GPU-Beschleunigung aktivieren** aus. Sobald diese Funktion aktiviert ist, werden Ihre Vektorindizierungsvorgänge [beschleunigt](gpu-acceleration-vector-index.md#gpu-acceleration-write-operations). 1. Wählen Sie **Änderungen speichern ** aus. ------ #### [ Create new collection ] Informationen zum Erstellen einer OpenSearch serverlosen Sammlung mit aktivierter GPU-Beschleunigung finden Sie unter. [Tutorial: Erste Schritte mit Amazon OpenSearch Serverless](serverless-getting-started.md) Stellen Sie bei der Erstellung der Sammlung sicher, dass Sie den Sammlungstyp **Vektorsuche** auswählen und die GPU-Beschleunigung in der Vektorsuchkonfiguration aktivieren. ------ #### [ Edit existing collection ] 1. Öffnen Sie die [OpenSearch Service Management Console.](https://console.aws.amazon.com/aos/home ) 1. Wählen Sie im Navigationsbereich **Sammlungen** aus. 1. Wählen Sie den Namen Ihrer Sammlung, um die Seite mit den Sammlungsdetails zu öffnen. 1. Klicken Sie im Abschnitt **Bereitstellungsoptionen** auf Vektor-GPU-Beschleunigung **bearbeiten**. 1. Deaktivieren oder aktivieren Sie die GPU-Beschleunigung. 1. Wählen Sie **Änderungen speichern ** aus. ------ ### AWS CLI ------ #### [ Create new domain ] Im folgenden AWS CLI Beispiel wird eine OpenSearch Domäne mit aktivierter GPU-Beschleunigung in USA Ost (Nord-Virginia) erstellt. Ersetzen Sie die *text* durch die Ihrer eigenen Konfiguration. ``` aws opensearch create-domain \ --domain-name my-domain \ --engine-version OpenSearch_3.1 \ --cluster-config InstanceType=r6g.xlarge.search,\ InstanceCount=1,\ DedicatedMasterEnabled=true,\ DedicatedMasterCount=3,\ DedicatedMasterType=m6g.large.search \ --ebs-options "EBSEnabled=true,\ VolumeType=gp3,\ VolumeSize=2000" \ --encryption-at-rest-options '{"Enabled":true}' \ --aiml-options '{"ServerlessVectorAcceleration": {"Enabled": true}}' \ --node-to-node-encryption-options '{"Enabled":true}' \ --domain-endpoint-options '{"EnforceHTTPS":true,\ "TLSSecurityPolicy":"Policy-Min-TLS-1-0-2019-07"}' \ --access-policies '{"Version": "2012-10-17", "Statement": [{ "Effect": "Allow", "Principal": {"AWS": "*"}, "Action": "es:*", "Resource": "arn:aws:es:us-east-1:123456789012:domain/my-domain/*" }]}' \ --advanced-security-options '{ "Enabled":true, "InternalUserDatabaseEnabled":true, "MasterUserOptions": { "MasterUserName":"USER_NAME", "MasterUserPassword":"PASSWORD" }}' \ --region us-east-1 ``` ------ #### [ Edit existing domain ] Das folgende AWS CLI Beispiel aktiviert die GPU-Beschleunigung für eine bestehende Domäne. OpenSearch Ersetzen Sie die *text* durch die Ihrer eigenen Konfiguration. ``` aws opensearch update-domain-config \ --domain-name my-domain \ --cluster-config InstanceType=r7g.16xlarge.search,InstanceCount=3 \ --aiml-options '{"ServerlessVectorAcceleration": {"Enabled": true}}' ``` ------ #### [ Create new collection ] Im folgenden AWS CLI Beispiel wird eine OpenSearch serverlose Sammlung mit aktivierter GPU-Beschleunigung in US East (Nord-Virginia) erstellt. Ersetzen Sie die *text* durch die Ihrer eigenen Konfiguration. ``` aws opensearchserverless create-collection \ --name "my-collection" \ --type "VECTORSEARCH" \ --description "My vector collection with GPU acceleration" \ --vector-options '{"ServerlessVectorAcceleration": "ENABLED"}' \ --region us-east-1 ``` ------ #### [ Edit existing collection ] Das folgende AWS CLI Beispiel aktiviert die GPU-Beschleunigung für eine bestehende OpenSearch serverlose Sammlung. Ersetzen Sie die *text* durch die Ihrer eigenen Konfiguration. ``` aws opensearchserverless update-collection \ --id 07tjusf2h91cunochc \ --vector-options '{"ServerlessVectorAcceleration": "ENABLED"}' \ --region us-east-1 ``` ------ # GPU-beschleunigte Vektorindizes erstellen Nachdem Sie die GPU-Beschleunigung für Ihre Domain oder Sammlung aktiviert haben, erstellen Sie Vektorindizes, die die Vorteile der GPU-Verarbeitung nutzen können. **Anmerkung** Wenn Sie eine Domain mit aktivierter GPU-Beschleunigung erstellen, ist die Einstellung standardmäßig. `index.knn.remote_index_build.enabled` `true` Sie müssen diese Einstellung nicht explizit festlegen, wenn Sie Indizes erstellen. Für Sammlungen müssen Sie explizit einen Wert für diese Einstellung angeben. ------ #### [ Creating index with GPU-acceleration ] Im folgenden Beispiel wird ein Vektorindex erstellt, der für die GPU-Verarbeitung optimiert ist. Dieser Index speichert 768-dimensionale Vektoren (üblich für Texteinbettungen). ``` PUT my-vector-index { "settings": { "index.knn": true, "index.knn.remote_index_build.enabled": true }, "mappings": { "properties": { "vector_field": { "type": "knn_vector", "dimension": 768 }, "text": { "type": "text" } } } } ``` Die wichtigsten Konfigurationselemente: + `"index.knn": true`- Aktiviert die K-Nearest-Neighbor-Funktionalität + `"index.knn.remote_index_build.enabled": true`— Aktiviert die GPU-Verarbeitung für diesen Index. Wenn für die Domain die GPU-Beschleunigung aktiviert ist, wird diese Einstellung standardmäßig auf nicht angegeben. `true` Für Sammlungen müssen Sie explizit einen Wert für diese Einstellung angeben. + `"dimension": 768`- Legt die Vektorgröße fest (passt sich an Ihr Einbettungsmodell an) ------ #### [ Creating index without GPU-acceleration ] Im folgenden Beispiel wird ein Vektorindex erstellt, bei dem die GPU-Verarbeitung deaktiviert ist. Dieser Index speichert 768-dimensionale Vektoren (üblich für Texteinbettungen). ``` PUT my-vector-index { "settings": { "index.knn": true, "index.knn.remote_index_build.enabled": false }, "mappings": { "properties": { "vector_field": { "type": "knn_vector", "dimension": 768 }, "text": { "type": "text" } } } } ``` ------ # Indexierung von Vektordaten und erzwungenes Zusammenführen Sobald Sie einen GPU-beschleunigten Vektorindex für Ihre Domain oder Sammlung erstellt haben, können Sie Vektordaten hinzufügen und Ihren Index mithilfe von Standardoperationen optimieren. OpenSearch Die GPU-Beschleunigung verbessert automatisch sowohl die Indizierungsleistung als auch die erzwungene Zusammenführung, sodass umfangreiche Vektorsuchanwendungen schneller erstellt und verwaltet werden können, ohne dass Änderungen an Ihren bestehenden Workflows erforderlich sind. ## Indizierung von Vektordaten Indexieren Sie Vektordaten wie gewohnt. Die GPU-Beschleunigung gilt automatisch für Indizierungs- und Force-Merge-Operationen. [Das folgende Beispiel zeigt, wie Sie mithilfe der Bulk-API Vektordokumente zu Ihrem Index hinzufügen können.](https://docs.opensearch.org/latest/api-reference/document-apis/bulk/#index) Jedes Dokument enthält ein Vektorfeld mit numerischen Werten und zugehörigem Textinhalt: ``` POST _bulk {"index": {"_index": "my-vector-index"}} {"vector_field": [0.1, 0.2, 0.3, ...], "text": "Sample document 1"} {"index": {"_index": "my-vector-index"}} {"vector_field": [0.4, 0.5, 0.6, ...], "text": "Sample document 2"} ``` ### Operationen zum Zusammenführen erzwingen Die GPU-Beschleunigung gilt auch für [Force-Merge-Operationen](https://docs.opensearch.org/latest/api-reference/index-apis/force-merge/), wodurch der Zeitaufwand für die Optimierung von Vektorindizes erheblich reduziert werden kann. Beachten Sie, dass Force-Merge-Operationen für Sammlungen nicht unterstützt werden. Das folgende Beispiel zeigt, wie Sie Ihren Vektorindex optimieren können, indem Sie alle Segmente zu einem einzigen Segment konsolidieren: ``` POST my-vector-index/_forcemerge?max_num_segments=1 ``` ## Best Practices Folgen Sie diesen bewährten Methoden, um die Vorteile der GPU-Beschleunigung für Ihre Workloads bei der Vektorsuche zu maximieren: + **Erhöhen Sie die Anzahl der Index-Clients**: Erhöhen Sie die Anzahl der Index-Clients, in die Daten aufgenommen werden, um die Vorteile GPUs bei der Indexerstellung voll auszuschöpfen. OpenSearch Dies ermöglicht eine bessere Parallelisierung und Nutzung der GPU-Ressourcen. + **Ungefähren Schwellenwert anpassen** — Ändern Sie die `index.knn.advanced.approximate_threshold` Einstellung, um sicherzustellen, dass kein kleinerer Segmentindex erstellt wird. Dadurch wird die Gesamtgeschwindigkeit der Aufnahme verbessert. Ein Wert von 10.000 ist ein guter Ausgangspunkt. Für Sammlungen müssen Sie explizit einen Wert für diese Einstellung angeben. + **Shard-Größe optimieren** — Versuchen Sie, Shards mit mindestens 1 Million Dokumenten zu erstellen. Bei Shards mit weniger als dieser Anzahl von Dokumenten kann es sein, dass die GPU-Beschleunigung insgesamt keinen Nutzen bringt.