Verwenden von Datenlebenszyklusrichtlinien mit Amazon OpenSearch Serverless

Eine Datenlebenszyklusrichtlinie in Amazon OpenSearch Serverless definiert, wie lange OpenSearch Serverless Daten in einer Zeitreihenerfassung aufbewahrt. Sie können beispielsweise eine Richtlinie festlegen, nach der Protokolldaten 30 Tage lang aufbewahrt werden, bevor OpenSearch Serverless sie löscht.

Sie können für jeden Index innerhalb jeder Zeitreihensammlung in Ihrem eine separate Richtlinie konfigurieren. AWS-Konto OpenSearch Serverless bewahrt Dokumente mindestens für die Dauer auf, die Sie in der Richtlinie angeben. Anschließend werden die Dokumente automatisch nach bestem Wissen und Gewissen gelöscht, in der Regel innerhalb von 48 Stunden oder innerhalb von 10% der Aufbewahrungsfrist, je nachdem, welcher Zeitraum länger ist.

Nur Zeitreihenerfassungen unterstützen Richtlinien für den Datenlebenszyklus. Sammlungen mit Such- und Vektorsuche tun dies nicht.

Richtlinien für den Datenlebenszyklus

In einer Datenlebenszyklus-Richtlinie geben Sie eine Reihe von Regeln an. Mit der Datenlebenszyklus-Richtlinie können Sie die Aufbewahrungsdauer von Daten verwalten, die Indizes oder Sammlungen zugeordnet sind, die diesen Regeln entsprechen. Diese Regeln definieren den Aufbewahrungszeitraum für Daten in einem Index oder einer Gruppe von Indizes. Jede Regel besteht aus einem Ressourcentyp (index), einem Aufbewahrungszeitraum und einer Liste von Ressourcen (Indizes), für die der Aufbewahrungszeitraum gilt.

Sie definieren den Aufbewahrungszeitraum mit einem der folgenden Formate:

In der folgenden Beispielrichtlinie legt die erste Regel eine Aufbewahrungsfrist von 15 Tagen für alle Indizes innerhalb der Sammlung fest. marketing Die zweite Regel legt fest, dass für alle Indexnamen, die mit log in der finance Sammlung beginnen, keine Aufbewahrungsfrist festgelegt ist und dass sie auf unbestimmte Zeit aufbewahrt werden.

{
   "lifeCyclePolicyDetail": {
      "type": "retention",
      "name": "my-policy",
      "policyVersion": "MTY4ODI0NTM2OTk1N18x",
      "policy": {
         "Rules": [
            {
            "ResourceType":"index",
            "Resource":[
               "index/marketing/*"
            ],
            "MinIndexRetention": "15d"
         },
         {
            "ResourceType":"index",
            "Resource":[
               "index/finance/log*"
            ],
            "NoMinIndexRetention": true
         }
         ]
      },
      "createdDate": 1688245369957,
      "lastModifiedDate": 1688245369957
   }
}

In der folgenden Beispiel-Richtlinienregel speichert OpenSearch Serverless die Daten in allen Indizes für alle Sammlungen innerhalb des Kontos auf unbestimmte Zeit.

{
   "Rules": [
      {
         "ResourceType": "index",
         "Resource": [
            "index/*/*"
         ]
      }
   ],
   "NoMinIndexRetention": true
}

Erforderliche Berechtigungen

Lifecycle-Richtlinien für OpenSearch Serverless verwenden die folgenden AWS Identity and Access Management (IAM-) Berechtigungen. Sie können IAM-Bedingungen angeben, um Benutzer auf Datenlebenszyklus-Richtlinien zu beschränken, die bestimmten Sammlungen und Indizes zugeordnet sind.

Die folgende identitätsbasierte Zugriffsrichtlinie ermöglicht es einem Benutzer, alle Datenlebenszyklusrichtlinien einzusehen und Richtlinien anhand des Ressourcenmusters zu aktualisieren: collection/application-logs

Vorrang der Richtlinie

Es kann Situationen geben, in denen sich die Richtlinienregeln für den Datenlebenszyklus innerhalb oder zwischen Richtlinien überschneiden. In diesem Fall überschreibt eine Regel mit einem spezifischeren Ressourcennamen oder einem spezifischeren Muster für einen Index eine Regel mit einem allgemeineren Ressourcennamen oder Muster für alle Indizes, die beiden Regeln gemeinsam sind.

In der folgenden Richtlinie gelten beispielsweise zwei Regeln für einen Index. index/sales/logstash In diesem Fall hat die zweite Regel Vorrang, da sie index/sales/log* am längsten entsprichtindex/sales/logstash. Daher legt OpenSearch Serverless keine Aufbewahrungsfrist für den Index fest.

{
      "Rules":[
         {
            "ResourceType":"index",
            "Resource":[
               "index/sales/*",
            ],
            "MinIndexRetention": "15d"
         },
         {
            "ResourceType":"index",
            "Resource":[
               "index/sales/log*",
            ],
            "NoMinIndexRetention": true
         }
      ]
   }

Richtliniensyntax

Geben Sie eine oder mehrere Regeln an. Diese Regeln definieren die Datenlebenszykluseinstellungen für Ihre OpenSearch Serverless-Indizes.

Jede Regel enthält die folgenden Elemente. Sie können NoMinIndexRetention in jeder Regel entweder MinIndexRetention oder angeben, aber nicht beides.

Im folgenden Beispiel gilt die erste Regel für alle Indizes unter dem autoparts-inventory Muster (index/autoparts-inventory/*) und erfordert, dass Daten mindestens 20 Tage lang aufbewahrt werden, bevor Aktionen wie Löschen oder Archivieren ausgeführt werden können.

Die zweite Regel zielt auf Indizes ab, die dem auto*/gear Muster (index/auto*/gear) entsprechen, und legt eine Mindestaufbewahrungsdauer von 24 Stunden fest.

Die dritte Regel gilt speziell für den tires Index und hat keine Mindestaufbewahrungsdauer. Das bedeutet, dass Daten in diesem Index sofort oder auf der Grundlage anderer Kriterien gelöscht oder archiviert werden können. Diese Regeln helfen bei der Verwaltung der Aufbewahrung von Indexdaten mit unterschiedlichen Aufbewahrungszeiten oder ohne Aufbewahrungsbeschränkungen.

{
  "Rules": [
    {
      "ResourceType": "index",
      "Resource": [
        "index/autoparts-inventory/*"
      ],
      "MinIndexRetention": "20d"
    },
    {
      "ResourceType": "index",
      "Resource": [
        "index/auto*/gear"
      ],
      "MinIndexRetention": "24h"
    },
    {
      "ResourceType": "index",
      "Resource": [
        "index/autoparts-inventory/tires"
      ],
      "NoMinIndexRetention": true
    }
  ]
}

Erstellung von Richtlinien für den Datenlebenszyklus

Um eine Datenlebenszyklus-Richtlinie zu erstellen, definieren Sie Regeln, die die Aufbewahrung und Löschung Ihrer Daten auf der Grundlage bestimmter Kriterien regeln.

aws opensearchserverless create-lifecycle-policy \
  --name my-policy \
  --type retention \
  --policy "{\"Rules\":[{\"ResourceType\":\"index\",\"Resource\":[\"index/autoparts-inventory/*\"],\"MinIndexRetention\": \"81d\"},{\"ResourceType\":\"index\",\"Resource\":[\"index/sales/orders*\"],\"NoMinIndexRetention\":true}]}"

Aktualisierung der Richtlinien für den Datenlebenszyklus

Um eine Datenlebenszyklus-Richtlinie zu aktualisieren, können Sie bestehende Regeln ändern, um Änderungen Ihrer Anforderungen an die Aufbewahrung oder Löschung von Daten widerzuspiegeln. Auf diese Weise können Sie Ihre Richtlinien an die sich ändernden Anforderungen an das Datenmanagement anpassen.

Zwischen der Aktualisierung der Richtlinie und dem Beginn der Durchsetzung der neuen Aufbewahrungsfristen durch OpenSearch Serverless kann es zu einer Verzögerung von einigen Minuten kommen.

aws opensearchserverless update-lifecycle-policy \
  --name my-policy \
  --type retention \
  --policy-version MTY2MzY5MTY1MDA3Ml8x \
  --policy file://my-new-policy.json

Löschen von Datenlebenszyklus-Richtlinien

Wenn Sie eine Datenlebenszyklus-Richtlinie löschen, OpenSearch erzwingt Serverless sie nicht mehr für übereinstimmende Indizes.

aws opensearchserverless delete-lifecycle-policy \
  --name my-policy \
  --type retention