Bewährte Methoden für die Arbeit mit der DynamoDB Zero-ETL-Integration und dem Service OpenSearch

Indizieren Sie nur Daten, die Sie für die Durchführung von Suchvorgängen benötigen. Verwenden Sie immer eine Zuweisungsvorlage (template_type: index_template und template_content) und include_keys, um diese zu implementieren.

Überwachen Sie Ihre Protokolle auf Fehler, die mit Typkonflikten zusammenhängen. OpenSearch Der Service erwartet, dass alle Werte für einen bestimmten Schlüssel den gleichen Typ haben. Bei Nichtübereinstimmungen werden Ausnahmen generiert. Wenn ein solcher Fehler auftritt, können Sie einen Prozessor hinzufügen, um zu erkennen, ob ein bestimmter Schlüssel immer denselben Wert hat.

Verwenden Sie im Allgemeinen den Metadatenwert primary_key für den Wert document_id. In OpenSearch Service entspricht die Dokument-ID dem Primärschlüssel in DynamoDB. Die Verwendung des Primärschlüssels erleichtert das Auffinden Ihres Dokuments und stellt sicher, dass Aktualisierungen konsistent und ohne Konflikte in das Dokument repliziert werden.

Sie können zum Abrufen des Primärschlüssels die Helper-Funktion getMetadata verwenden (z. B. document_id: "${getMetadata('primary_key')}"). Wenn Sie einen zusammengesetzten Primärschlüssel verwenden, wird dieser von der Hilfsfunktion verkettet.

Verwenden Sie im Allgemeinen den Metadatenwert opensearch_action für den Wert action. Dadurch wird sichergestellt, dass Aktualisierungen so repliziert werden, dass die Daten in OpenSearch Service dem neuesten Status in DynamoDB entsprechen.

Sie können zum Abrufen des Primärschlüssels die Helper-Funktion getMetadata verwenden (z. B. action: "${getMetadata('opensearch_action')}"). In Anwendungsfällen wie Filteroperationen können Sie den Typ des Stream-Ereignisses auch mit dynamodb_event_name abrufen. In der Regel sollten Sie ihn jedoch nicht für die Einstellung action verwenden.

Verwenden Sie auf Ihren Senken immer eine Dead-Letter-Warteschlange (DLQ), um ausfallende Ereignisse zu verarbeiten OpenSearch . DynamoDB ist im Allgemeinen weniger strukturiert als OpenSearch Service, und es ist immer möglich, dass etwas Unerwartetes passiert. Mit einer Warteschlange für unzustellbare Nachrichten können Sie einzelne Ereignisse wiederherstellen und sogar den Wiederherstellungsprozess automatisieren. Auf diese Weise müssen Sie nicht den gesamten Index neu erstellen.

Richten Sie immer Warnmeldungen ein, sodass der erwartete Betrag durch eine verzögerte Replikation nicht überschritten wird. In der Regel kann von einer Minute ausgegangen werden, ohne dass die Warnung zu laut wird. Dies kann variieren, je nachdem, wie stark Ihr Schreibdatenverkehr ist und wie Ihre OpenSearch Compute Unit (OCU) -Einstellungen in der Pipeline sind.

Wenn die Replikationsverzögerung bei mehr als 24 Stunden liegt, werden im Stream Ereignisse gelöscht, und es treten Probleme mit der Genauigkeit auf, sofern Sie den Index nicht von Grund auf neu erstellen.

Verwenden Sie Auto Scaling für Pipelines, um die OCUs nach oben oder unten zu skalieren und sie optimal an die Workload anzupassen.

Für bereitgestellte Durchsatztabellen ohne Auto Scaling empfiehlt es sich, OCUs auf der Grundlage der Schreibkapazitätseinheiten (WCUs) geteilt durch 1000 festzulegen. Legen Sie als Minimum 1 OCU unter diesem Wert (mindestens 1) und als Maximum mindestens 1 OCU über diesem Wert fest.

Für bereitgestellte Durchsatztabellen mit Auto Scaling empfiehlt es sich, OCUs auf der Grundlage der minimalen und maximalen Schreibkapazitätseinheiten (WCUs) geteilt durch 1000 festzulegen. Legen Sie als Minimum 1 OCU unter dem Minimum von DynamoDB und als Maximum mindestens 1 OCU über dem Maximum von DynamoDB fest.

Für On-Demand-Durchsatztabellen empfiehlt es sich, die OCUs auf die typischen Höchst- und Tiefstwerte der Schreibanforderungseinheiten pro Sekunde einzustellen. Je nachdem, welche Aggregation Ihnen zur Verfügung steht, müssen Sie möglicherweise den Durchschnitt über einen längeren Zeitraum ermitteln. Legen Sie als Minimum 1 OCU unter dem Minimum von DynamoDB und als Maximum mindestens 1 OCU über dem Maximum von DynamoDB fest.

Folgen Sie den bewährten Methoden zur Skalierung Ihrer OpenSearch Zieldienstindizes. Eine Unterskalierung der Indizes verlangsamt die Aufnahme aus DynamoDB und kann zu Verzögerungen führen.