使用 Amazon OpenSearch 无服务器数据生命周期策略

Amazon OpenSearch 无服务器的数据生命周期策略定义 OpenSearch 无服务器在时间序列集合中保留数据的时长。例如，您可以设置策略，将日志数据保留 30 天后由 OpenSearch 无服务器进行删除。

您可以为 AWS 账户 中每个时间序列集合的每个索引配置单独的策略。OpenSearch 无服务器至少会保留您在策略中指定的时长。然后，OpenSearch 无服务器会自动尽最大程度删除文档，通常在 48 小时内或保留期的 10% 时间范围内（以较长者为准）。

只有时间序列集合支持数据生命周期策略。搜索和向量搜索集合不支持。

数据生命周期策略

在数据生命周期策略中，您可以指定一系列规则。数据生命周期策略允许您管理与符合这些规则的索引或集合相关的数据的保留期。这些规则定义了索引或索引组中数据的保留期。每条规则都由资源类型 (index)、保留期和保留期适用的资源（索引）列表组成。

您可以使用以下格式之一定义保留期：

在以下示例策略中，第一条规则指定集合 marketing 内所有索引的保留期为 15 天。第二条规则规定，finance 集合中以 log 开头的所有索引名称均未设置保留期，并且将无限期保留。

{
   "lifeCyclePolicyDetail": {
      "type": "retention",
      "name": "my-policy",
      "policyVersion": "MTY4ODI0NTM2OTk1N18x",
      "policy": {
         "Rules": [
            {
            "ResourceType":"index",
            "Resource":[
               "index/marketing/*"
            ],
            "MinIndexRetention": "15d"
         },
         {
            "ResourceType":"index",
            "Resource":[
               "index/finance/log*"
            ],
            "NoMinIndexRetention": true
         }
         ]
      },
      "createdDate": 1688245369957,
      "lastModifiedDate": 1688245369957
   }
}

在以下示例策略规则中，OpenSearch 无服务器无限期保留账户内所有集合的所有索引中的数据。

{
   "Rules": [
      {
         "ResourceType": "index",
         "Resource": [
            "index/*/*"
         ]
      }
   ],
   "NoMinIndexRetention": true
}

所需的权限

OpenSearch 无服务器的生命周期策略使用以下 AWS Identity and Access Management (IAM) 权限。您可以指定 IAM 条件，以限制用户使用与具体集合和索引相关的生命周期策略。

以下基于身份的访问策略允许用户查看所有数据生命周期策略，并使用资源模式 index/application-logs 更新策略：

策略优先顺序

在某些情况下，数据生命周期策略规则可能会在策略内部或策略之间重叠。发生这种情况时，具有更具体的资源名称或模式的索引规则，将覆盖具有更通用的资源名称或模式的任何索引（对于两个规则通用）规则。

例如，在以下策略中，两个规则都适用于索引 index/sales/logstash。在这种情况下，第二条规则优先，因为 index/sales/log* 与 index/sales/logstash 匹配的时间最长。因此，OpenSearch 无服务器未设置索引保留期。

{
      "Rules":[
         {
            "ResourceType":"index",
            "Resource":[
               "index/sales/*",
            ],
            "MinIndexRetention": "15d"
         },
         {
            "ResourceType":"index",
            "Resource":[
               "index/sales/log*",
            ],
            "NoMinIndexRetention": true
         }
      ]
   }

策略语法

提供一条或多条规则。这些规则定义了 OpenSearch 无服务器索引的数据生命周期设置。

每个规则包含以下元素。您可以在每条规则中提供 MinIndexRetention 或 NoMinIndexRetention，但不能两者兼而有之。

以下示例中，第一条规则适用于 autoparts-inventory 模式（index/autoparts-inventory/*）下的所有索引，要求数据必须保留至少 20 天，之后才能执行任何操作（如删除或归档）。

第二条规则针对与 auto*/gear 模式（index/auto*/gear）匹配的索引，将其保留期设置为至少 24 小时。

第三条规则专门适用于 tires 索引，没有最低保留期限，这意味着该索引中的数据可立即删除或归档，或根据其他标准进行处理。这些规则有助于管理具有不同保留时间或无保留限制的索引数据的保留。

{
  "Rules": [
    {
      "ResourceType": "index",
      "Resource": [
        "index/autoparts-inventory/*"
      ],
      "MinIndexRetention": "20d"
    },
    {
      "ResourceType": "index",
      "Resource": [
        "index/auto*/gear"
      ],
      "MinIndexRetention": "24h"
    },
    {
      "ResourceType": "index",
      "Resource": [
        "index/autoparts-inventory/tires"
      ],
      "NoMinIndexRetention": true
    }
  ]
}

创建数据生命周期策略

要创建数据生命周期策略，需要定义基于特定标准管理数据保留和删除的规则。

aws opensearchserverless create-lifecycle-policy \
  --name my-policy \
  --type retention \
  --policy "{\"Rules\":[{\"ResourceType\":\"index\",\"Resource\":[\"index/autoparts-inventory/*\"],\"MinIndexRetention\": \"81d\"},{\"ResourceType\":\"index\",\"Resource\":[\"index/sales/orders*\"],\"NoMinIndexRetention\":true}]}"

更新数据生命周期策略

要更新数据生命周期策略，您可以修改现有规则以反映数据留存或删除要求的变更。这使您能够根据数据管理需求的变化调整策略。

从更新策略到 OpenSearch 无服务器开始执行新的保留期限之间，可能会有几分钟的延迟。

aws opensearchserverless update-lifecycle-policy \
  --name my-policy \
  --type retention \
  --policy-version MTY2MzY5MTY1MDA3Ml8x \
  --policy file://my-new-policy.json

删除数据生命周期策略

删除数据生命周期策略后，OpenSearch 无服务器将不再对任何匹配的索引强制执行该策略。

aws opensearchserverless delete-lifecycle-policy \
  --name my-policy \
  --type retention