Amazon OpenSearch Serverless でデータライフサイクルポリシーを使用する

Amazon OpenSearch Serverless のデータライフサイクルポリシーは、OpenSearch Serverless が時系列コレクションにデータを保持する期間を定義します。例えば、OpenSearch Serverless がログデータを削除する前に、ログデータを 30 日間保持するようにポリシーを設定できます。

AWS アカウント内の各時系列コレクションのインデックスごとに、個別のポリシーを設定できます。OpenSearch Serverless は、少なくともポリシーで指定した期間ドキュメントを保持します。その後、ベストエフォート方式で、通常は 48 時間以内または保存期間の 10% 以内 (どちらか長い方) にドキュメントを自動的に削除していきます。

データライフサイクルポリシーをサポートしているのは「時系列」コレクションだけです。検索コレクションとベクトル検索コレクションはそうではありません。

データライフサイクルポリシー

データライフサイクルポリシーでは、一連の「ルール」を指定します。データライフサイクルポリシーでは、これらのルールに一致するインデックスまたはコレクションに関連するデータの保持期間を管理できます。これらのルールは、インデックスまたはインデックスグループ内のデータの保存期間を定義します。各ルールは、リソースタイプ (index)、保持期間、および保持期間が適用されるリソース (インデックス) のリストで構成されています。

保持期間は、以下のいずれかの形式で定義します。

次のサンプルポリシーでは、最初のルールがコレクション marketing 内のすべてのインデックスに対して 15 日間の保持期間を指定します。2 番目のルールは、finance コレクション内の log で始まるすべてのインデックス名には保存期間が設定されず、無期限に保持されることを指定しています。

{
   "lifeCyclePolicyDetail": {
      "type": "retention",
      "name": "my-policy",
      "policyVersion": "MTY4ODI0NTM2OTk1N18x",
      "policy": {
         "Rules": [
            {
            "ResourceType":"index",
            "Resource":[
               "index/marketing/*"
            ],
            "MinIndexRetention": "15d"
         },
         {
            "ResourceType":"index",
            "Resource":[
               "index/finance/log*"
            ],
            "NoMinIndexRetention": true
         }
         ]
      },
      "createdDate": 1688245369957,
      "lastModifiedDate": 1688245369957
   }
}

以下のサンプルポリシールールでは、OpenSearch Serverless はアカウント内のすべてのコレクションのすべてのインデックスのデータを無期限に保持します。

{
   "Rules": [
      {
         "ResourceType": "index",
         "Resource": [
            "index/*/*"
         ]
      }
   ],
   "NoMinIndexRetention": true
}

必要なアクセス許可

OpenSearch Serverless のライフサイクルポリシーでは、次の AWS Identity and Access Management (IAM) アクセス許可を使用します。IAM 条件を指定して、特定のコレクションとインデックスに関連付けられたデータライフサイクルポリシーにユーザーを制限できます。

次の ID ベースのアクセスポリシーにより、ユーザーはすべてのデータライフサイクルポリシーを表示し、リソースパターン index/application-logs を含むポリシーの更新が行えるようになります。

ポリシーの優先順位

ポリシー内またはポリシー間に、複数のデータライフサイクルポリシールールが同時に存在する場合があります。この場合、複数のルールに共通するインデックスが存在するのであれば、そのインデックスに対してより具体的なリソース名やパターンを持つルールのほうが、同じインデックスに対してより一般的なリソース名やパターンを持つルールよりも優先されます。

例えば、次のポリシーでは、1 つのインデックス index/sales/logstash に 2 つのルールが適用されます。この場合、index/sales/log* が index/sales/logstash に対する最長の一致なので 2 番目のルールが優先されます。そのため、OpenSearch Serverless はインデックスの保存期間を設定しません。

{
      "Rules":[
         {
            "ResourceType":"index",
            "Resource":[
               "index/sales/*",
            ],
            "MinIndexRetention": "15d"
         },
         {
            "ResourceType":"index",
            "Resource":[
               "index/sales/log*",
            ],
            "NoMinIndexRetention": true
         }
      ]
   }

ポリシー構文

1 つ以上のルールを指定します。これらのルールは OpenSearch Serverless インデックスのデータライフサイクル設定を定義します。

各ルールには以下の要素が含まれます。MinIndexRetention または NoMinIndexRetention を指定できますが、両方を指定することはできません。

次の例では、最初のルールが autoparts-inventory パターン (index/autoparts-inventory/*) のすべてのインデックスに適用され、削除やアーカイブなどのアクションが発生する前に、少なくとも 20 日間データを保持することを義務付けます。

2 番目のルールは、auto*/gear パターン (index/auto*/gear) に一致するインデックスをターゲットとし、最小保持期間を 24 時間に設定します。

3 番目のルールは特に tires インデックスに適用されるもので、最小保持期間はありません。つまり、このインデックスのデータはすぐに削除またはアーカイブするか、他の基準に基づいて処理することができます。これらのルールは、保持時間が異なる、または保持制限のないインデックスデータの保持を管理するのに役立ちます。

{
  "Rules": [
    {
      "ResourceType": "index",
      "Resource": [
        "index/autoparts-inventory/*"
      ],
      "MinIndexRetention": "20d"
    },
    {
      "ResourceType": "index",
      "Resource": [
        "index/auto*/gear"
      ],
      "MinIndexRetention": "24h"
    },
    {
      "ResourceType": "index",
      "Resource": [
        "index/autoparts-inventory/tires"
      ],
      "NoMinIndexRetention": true
    }
  ]
}

データライフサイクルポリシーを作成する

データライフサイクルポリシーを作成するには、指定された基準に基づいてデータの保持と削除を管理するルールを定義します。

aws opensearchserverless create-lifecycle-policy \
  --name my-policy \
  --type retention \
  --policy "{\"Rules\":[{\"ResourceType\":\"index\",\"Resource\":[\"index/autoparts-inventory/*\"],\"MinIndexRetention\": \"81d\"},{\"ResourceType\":\"index\",\"Resource\":[\"index/sales/orders*\"],\"NoMinIndexRetention\":true}]}"

データライフサイクルポリシーを更新する

データライフサイクルポリシーを更新するには、既存のルールを変更して、データ保持または削除の要件の変更を反映させます。これにより、データ管理のニーズの変化に応じてポリシーを調整することができます。

ポリシーを更新してから OpenSearch Serverless が新しい保持期間の適用を開始するまでに数分かかる場合があります。

aws opensearchserverless update-lifecycle-policy \
  --name my-policy \
  --type retention \
  --policy-version MTY2MzY5MTY1MDA3Ml8x \
  --policy file://my-new-policy.json

データライフサイクルポリシーを削除する

データライフサイクルポリシーを削除すると、OpenSearch Serverless はすべての一致するインデックスにそのポリシーを適用しなくなります。

aws opensearchserverless delete-lifecycle-policy \
  --name my-policy \
  --type retention