Amazon OpenSearch Serverless를 통한 데이터 수명 주기 정책 사용

Amazon OpenSearch Serverless의 데이터 수명 주기 정책은 OpenSearch Serverless가 시계열 컬렉션에 데이터를 보존하는 기간을 정의합니다. 예를 들어 OpenSearch Serverless가 로그 데이터를 삭제하기 전에 30일 동안 로그 데이터를 보존하도록 정책을 설정할 수 있습니다.

의 각 시계열 컬렉션 내에서 각 인덱스에 대해 별도의 정책을 구성할 수 있습니다 AWS 계정. OpenSearch Serverless는 최소한 정책에서 지정한 기간 동안 문서를 보존합니다. 그런 다음 일반적으로 보존 기간의 48시간 또는 10% 중 더 긴 시간 내에 최선을 다해 문서를 자동으로 삭제합니다.

시계열 컬렉션만 데이터 수명 주기 정책을 지원합니다. 검색 및 벡터 검색 컬렉션은 그렇지 않습니다.

데이터 수명 주기 정책

데이터 수명 주기 정책에서는 일련의 규칙을 지정합니다. 데이터 수명 주기 정책을 사용하면 이러한 규칙과 일치하는 인덱스 또는 컬렉션과 관련된 데이터의 보존 기간을 관리할 수 있습니다. 이러한 규칙은 인덱스 또는 인덱스 그룹에 있는 데이터의 보존 기간을 정의합니다. 각 규칙은 리소스 유형(index), 보존 기간, 보존 기간이 적용되는 리소스 목록(인덱스)으로 구성됩니다.

다음 형식 중 하나를 사용하여 보존 기간을 정의합니다.

다음 샘플 정책에서 첫 번째 규칙은 컬렉션 marketing 내 모든 인덱스의 보존 기간을 15일로 지정합니다. 두 번째 규칙은 finance 컬렉션에서 log로 시작하는 모든 인덱스 이름에 보존 기간을 설정하지 않고 무기한 보존하도록 지정합니다.

{
   "lifeCyclePolicyDetail": {
      "type": "retention",
      "name": "my-policy",
      "policyVersion": "MTY4ODI0NTM2OTk1N18x",
      "policy": {
         "Rules": [
            {
            "ResourceType":"index",
            "Resource":[
               "index/marketing/*"
            ],
            "MinIndexRetention": "15d"
         },
         {
            "ResourceType":"index",
            "Resource":[
               "index/finance/log*"
            ],
            "NoMinIndexRetention": true
         }
         ]
      },
      "createdDate": 1688245369957,
      "lastModifiedDate": 1688245369957
   }
}

다음 샘플 정책 규칙에서 OpenSearch Serverless는 계정 내 모든 컬렉션에 대해 모든 인덱스의 데이터를 무기한 보존합니다.

{
   "Rules": [
      {
         "ResourceType": "index",
         "Resource": [
            "index/*/*"
         ]
      }
   ],
   "NoMinIndexRetention": true
}

필수 권한

OpenSearch Serverless의 수명 주기 정책은 다음 AWS Identity and Access Management (IAM) 권한을 사용합니다. IAM 조건을 지정하여 사용자를 특정 컬렉션 및 인덱스와 연결된 데이터 수명 주기 정책으로 제한할 수 있습니다.

다음 자격 증명 기반 액세스 정책을 통해 사용자는 모든 데이터 수명 주기 정책을 보고 리소스 패턴 collection/application-logs로 정책을 업데이트할 수 있습니다.

정책 우선순위

데이터 수명 주기 정책 규칙이 정책 내에서 또는 정책 간에 중복되는 상황이 있을 수 있습니다. 이 경우 인덱스에 대해 보다 구체적인 리소스 이름이나 패턴을 사용하는 규칙이 두 규칙에 모두 공통되는 모든 인덱스에 대해 보다 일반적인 리소스 이름 또는 패턴으로 규칙을 재정의합니다.

예를 들어, 다음 정책에서는 인덱스 index/sales/logstash에 두 가지 규칙이 적용됩니다. 이 경우 index/sales/log*이 index/sales/logstash와 가장 길게 일치하므로 두 번째 규칙이 우선시됩니다. 따라서 OpenSearch Serverless는 인덱스에 보존 기간을 설정하지 않습니다.

{
      "Rules":[
         {
            "ResourceType":"index",
            "Resource":[
               "index/sales/*",
            ],
            "MinIndexRetention": "15d"
         },
         {
            "ResourceType":"index",
            "Resource":[
               "index/sales/log*",
            ],
            "NoMinIndexRetention": true
         }
      ]
   }

정책 구문

하나 이상의 규칙을 입력합니다. 이러한 규칙은 OpenSearch Serverless 인덱스의 데이터 수명 주기 설정을 정의합니다.

각 규칙에는 다음 요소가 포함됩니다. 각 규칙에 MinIndexRetention 또는 NoMinIndexRetention을 제공할 수 있지만 둘 다 제공할 수는 없습니다.

다음 예제에서 첫 번째 규칙은 autoparts-inventory 패턴(index/autoparts-inventory/*) 아래의 모든 인덱스에 적용되며 삭제 또는 아카이빙과 같은 작업이 발생하기 전에 최소 20일 동안 데이터를 보존해야 합니다.

두 번째 규칙은 auto*/gear 패턴(index/auto*/gear)과 일치하는 인덱스를 대상으로 하여 최소 보존 기간을 24시간으로 설정합니다.

세 번째 규칙은 특히 tires 인덱스에 적용되며 최소 보존 기간이 없습니다. 즉,이 인덱스의 데이터를 즉시 삭제하거나 보관하거나 다른 기준에 따라 보관할 수 있습니다. 이러한 규칙은 보존 기간이 다르거나 보존 제한이 없는 인덱스 데이터의 보존을 관리하는 데 도움이 됩니다.

{
  "Rules": [
    {
      "ResourceType": "index",
      "Resource": [
        "index/autoparts-inventory/*"
      ],
      "MinIndexRetention": "20d"
    },
    {
      "ResourceType": "index",
      "Resource": [
        "index/auto*/gear"
      ],
      "MinIndexRetention": "24h"
    },
    {
      "ResourceType": "index",
      "Resource": [
        "index/autoparts-inventory/tires"
      ],
      "NoMinIndexRetention": true
    }
  ]
}

데이터 수명 주기 정책 생성

데이터 수명 주기 정책을 생성하려면 지정된 기준에 따라 데이터의 보존 및 삭제를 관리하는 규칙을 정의합니다.

aws opensearchserverless create-lifecycle-policy \
  --name my-policy \
  --type retention \
  --policy "{\"Rules\":[{\"ResourceType\":\"index\",\"Resource\":[\"index/autoparts-inventory/*\"],\"MinIndexRetention\": \"81d\"},{\"ResourceType\":\"index\",\"Resource\":[\"index/sales/orders*\"],\"NoMinIndexRetention\":true}]}"

데이터 수명 주기 정책 업데이트

데이터 수명 주기 정책을 업데이트하려면 데이터 보존 또는 삭제 요구 사항의 변경 사항을 반영하도록 기존 규칙을 수정할 수 있습니다. 이를 통해 데이터 관리 요구 사항이 발전함에 따라 정책을 조정할 수 있습니다.

정책을 업데이트하는 시점과 OpenSearch Serverless가 새 보존 기간을 적용하기 시작하는 시점 사이에 몇 분의 지연 시간이 있을 수 있습니다.

aws opensearchserverless update-lifecycle-policy \
  --name my-policy \
  --type retention \
  --policy-version MTY2MzY5MTY1MDA3Ml8x \
  --policy file://my-new-policy.json

데이터 수명 주기 정책 삭제

데이터 수명 주기 정책을 삭제하면 OpenSearch Serverless는 더 이상 일치하는 인덱스에 해당 정책을 적용하지 않습니다.

aws opensearchserverless delete-lifecycle-policy \
  --name my-policy \
  --type retention