Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Arbeiten mit Vektorsuchsammlungen

Mit dem Sammlungstyp Vektorsuche in OpenSearch Serverless können Sie skalierbare, leistungsstarke Ähnlichkeitssuchen durchführen. Sie können moderne, erweiterte Sucherlebnisse mit maschinellem Lernen (ML) und Anwendungen für generative künstliche Intelligenz (KI) entwickeln, ohne die zugrunde liegende Vektordatenbankinfrastruktur verwalten zu müssen.

Zu den Anwendungsfällen für Vektorsuchsammlungen gehören Bildersuchen, Dokumentensuchen, Musikabruf, Produktempfehlungen, Videosuchen, standortbezogene Suchen, Betrugserkennung und Anomalieerkennung.

Die Vektor-Engine für OpenSearch Serverless verwendet die Suchfunktion k-Nearest Neighbor (k-NN) in. OpenSearch Sie erhalten dieselbe Funktionalität mit der Einfachheit einer serverlosen Umgebung. Die Engine unterstützt die k-NN-Plugin-API. Mit diesen Vorgängen können Sie Volltextsuche, erweiterte Filterung, Aggregationen, Geodatenabfragen und verschachtelte Abfragen verwenden, um Daten schneller abzurufen und bessere Suchergebnisse zu erzielen.

Die Vektor-Engine bietet Entfernungsmetriken wie euklidische Entfernung, Kosinusähnlichkeit und Punktproduktähnlichkeit und kann 16.000 Dimensionen aufnehmen. Sie können Felder mit verschiedenen Datentypen für Metadaten wie Zahlen, Boolesche Werte, Datumsangaben, Stichwörter und Geopunkte speichern. Sie können auch Felder mit Text für beschreibende Informationen speichern, um gespeicherten Vektoren mehr Kontext zu verleihen. Durch die gemeinsame Zuordnung der Datentypen wird die Komplexität reduziert, die Wartbarkeit erhöht und Datenduplizierungen, Probleme mit der Versionskompatibilität und Lizenzprobleme vermieden.

NextGen Sammlungen für die Vektorsuche

NextGen Die Vektorsuche wird je nach Arbeitslast je nach Bedarf skaliert, um das Gleichgewicht zwischen Kosten und Leistung zu optimieren. Nur die Datenblöcke, die für die Bearbeitung aktiver Suchanfragen erforderlich sind, werden in den Arbeitsspeicher geladen, und Worker skalieren dynamisch auf der Grundlage der benötigten Speicher- und CPU-Ressourcen. Wenn die Sammlung inaktiv ist und keine laufenden Anfragen vorliegen, werden sowohl Indexierung als auch Suche auf Null skaliert, was zusätzliche Kosteneinsparungen ermöglicht. NextGenEnthält standardmäßig integrierte Optimierungen, die den Abruf verbessern und gleichzeitig die Kosten und die Latenz reduzieren.

Erste Schritte mit Vektor-Suchsammlungen

In diesem Tutorial führen Sie die folgenden Schritte aus, um Vektoreinbettungen in Echtzeit zu speichern, zu suchen und abzurufen:

Schritt 1: Konfigurieren von Berechtigungen

Um dieses Tutorial abzuschließen (und OpenSearch Serverless im Allgemeinen zu verwenden), benötigen Sie die richtigen AWS Identity and Access Management (IAM-) Berechtigungen. In diesem Tutorial erstellen Sie eine Sammlung, laden Daten hoch, suchen nach Daten und löschen dann die Sammlung.

Ihr Benutzer oder Ihre Rolle muss über eine angefügte identitätsbasierte Richtlinie mit den folgenden Mindestberechtigungen verfügen:

JSON

{
  "Version":"2012-10-17",
  "Statement": [
    {
      "Action": [
        "aoss:CreateCollection",
        "aoss:ListCollections",
        "aoss:BatchGetCollection",
        "aoss:DeleteCollection",
        "aoss:CreateAccessPolicy",
        "aoss:ListAccessPolicies",
        "aoss:UpdateAccessPolicy",
        "aoss:CreateSecurityPolicy",
        "iam:ListUsers",
        "iam:ListRoles"
      ],
      "Effect": "Allow",
      "Resource": "*"
    }
  ]
}

Weitere Informationen zu OpenSearch serverlosen IAM-Berechtigungen finden Sie unter. Identity and Access Management für Amazon OpenSearch Serverless

Schritt 2: Erstellen einer Sammlung

Um eine neue Sammlung zu erstellen, folgen Sie dem einheitlichen Ablauf zur Erstellung von Sammlungen (NextGen Express Create), der automatisch Verschlüsselungs-, Netzwerk- und Datenzugriffsrichtlinien konfiguriert. Detaillierte Anweisungen finden Sie unter Erstellen Sie eine NextGen Sammlung (Express Create).

Für den Rest dieses Tutorials hat die Beispielsammlung einen Namen housing und es handelt sich um eine NextGen Vektorsuchsammlung.

Schritt 3: Daten hochladen und suchen

Ein Index ist eine Sammlung von Dokumenten mit einem gemeinsamen Datenschema, mit dem Sie Ihre Vektoreinbettungen und andere Felder speichern, durchsuchen und abrufen können. Sie können Daten erstellen und in Indizes in einer OpenSearch serverlosen Sammlung hochladen, indem Sie die Dev Tools-Konsole in OpenSearch Dashboards oder ein HTTP-Tool wie Postman oder awscurl verwenden. In diesem Tutorial werden Dev Tools verwendet. Informationen zum programmatischen Zugriff mit dem Python-SDK finden Sie unterDaten in Amazon OpenSearch Serverless-Sammlungen aufnehmen.

Ruft das vollständige Dokument mit Vektoren ab

Um das Standardverhalten zu überschreiben, legen Sie _source true in der Suchanfrage den Wert auf fest. Sie können auch die excludes Optionenincludes/von verwenden_source, um bestimmte Felder abzurufen.

GET housing-index/_search
{
  "size": 5,
  "_source": true,
  "query": {
    "knn": {
      "housing-vector": {
        "vector": [10, 20, 30],
        "k": 2
      }
    }
  }
}

Die Antwort enthält jetzt das housing-vector Feld in_source:

{
  "took": 10,
  "timed_out": false,
  "_shards": {
    "total": 0,
    "successful": 0,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": {
      "value": 1,
      "relation": "eq"
    },
    "max_score": 1,
    "hits": [
      {
        "_index": "housing-index",
        "_id": "100",
        "_score": 1,
        "_source": {
          "housing-vector": [10, 20, 30],
          "price": "2800",
          "location": "47.71, 122.00",
          "title": "2 bedroom in downtown Seattle"
        }
      }
    ]
  }
}

Schritt 4: Sammlung löschen

Da die Wohnungssammlung zu Testzwecken dient, löschen Sie sie, wenn Sie mit dem Experimentieren fertig sind.

Gefilterte Suche

Sie können Filter verwenden, um Ihre semantischen Suchergebnisse zu verfeinern. Um einen Index zu erstellen und eine gefilterte Suche in Ihren Dokumenten durchzuführen, ersetzen Sie die folgenden Anweisungen anstelle von Daten hochladen und suchen aus dem vorherigen Tutorial. Die anderen Schritte bleiben gleich. Weitere Informationen zu Filtern finden Sie unter k-NN-Suche mit Filtern.

Einschränkungen

Arbeiten mit klassischen Vektorsammlungen

Klassische Vektorsammlungen sind die ursprüngliche Generation der OpenSearch serverlosen Vektorsuche. Verwenden Sie die Verfahren in diesem Abschnitt, wenn Sie bereits über eine klassische Vektorsammlung verfügen. Für neue Sammlungen empfehlen wir NextGen — siehe Erstellen von Sammlungen So erstellen Sie eine NextGen Vektorsammlung.

Billion-scale Arbeitslasten

Klassische Vektorsuchsammlungen unterstützen Workloads mit Milliarden von Vektoren. Sie müssen zu Skalierungszwecken keine Neuindizierung durchführen, da Auto Scaling dies für Sie erledigt. Wenn Sie über Millionen von Vektoren (oder mehr) mit einer hohen Anzahl von Dimensionen verfügen und mehr als 200 OCUs benötigen, wenden Sie sich an den AWS Support, um die maximale Anzahl an OpenSearch Recheneinheiten (OCU) für Ihr Konto zu erhöhen.

Nächste Schritte

Da Sie nun wissen, wie Sie eine Vektorsuchsammlung erstellen und Daten indexieren, können Sie die folgenden Übungen ausprobieren: