Usando políticas de ciclo de vida de dados com o Amazon Serverless OpenSearch

Uma política de ciclo de vida de dados no Amazon OpenSearch Serverless define por quanto tempo o OpenSearch Serverless retém os dados em uma coleção de séries temporais. Por exemplo, você pode definir uma política para reter dados de log por 30 dias antes que o OpenSearch Serverless os exclua.

Você pode configurar uma política separada para cada índice em cada coleção de séries temporais em seu Conta da AWS. OpenSearch O Serverless retém os documentos pelo menos pela duração especificada na política. Em seguida, ele exclui os documentos automaticamente com base no melhor esforço, normalmente dentro de 48 horas ou 10% do período de retenção, o que for maior.

Somente coleções de séries temporais oferecem suporte às políticas de ciclo de vida dos dados. As coleções de pesquisa e pesquisa vetorial não.

Políticas de ciclo de vida dos dados

Em uma política de ciclo de vida dos dados, você especifica uma série de regras. A política de ciclo de vida de dados permite gerenciar o período de retenção de dados associados a índices ou coleções que correspondam a essas regras. Essas regras definem o período de retenção dos dados em um índice ou grupo de índices. Cada regra consiste em um tipo de recurso (index), um período de retenção e uma lista de recursos (índices) aos quais o período de retenção se aplica.

Você define o período de retenção com um dos seguintes formatos:

No exemplo de política a seguir, a primeira regra especifica um período de retenção de 15 dias para todos os índices da coleção marketing. A segunda regra especifica que todos os nomes de índice que começam com log na coleção finance não têm período de retenção definido e serão mantidos indefinidamente.

{
   "lifeCyclePolicyDetail": {
      "type": "retention",
      "name": "my-policy",
      "policyVersion": "MTY4ODI0NTM2OTk1N18x",
      "policy": {
         "Rules": [
            {
            "ResourceType":"index",
            "Resource":[
               "index/marketing/*"
            ],
            "MinIndexRetention": "15d"
         },
         {
            "ResourceType":"index",
            "Resource":[
               "index/finance/log*"
            ],
            "NoMinIndexRetention": true
         }
         ]
      },
      "createdDate": 1688245369957,
      "lastModifiedDate": 1688245369957
   }
}

No exemplo de regra de política a seguir, o OpenSearch Serverless retém indefinidamente os dados em todos os índices de todas as coleções da conta.

{
   "Rules": [
      {
         "ResourceType": "index",
         "Resource": [
            "index/*/*"
         ]
      }
   ],
   "NoMinIndexRetention": true
}

Permissões obrigatórias

As políticas de ciclo de vida do OpenSearch Serverless usam as seguintes permissões AWS Identity and Access Management (IAM). Você pode especificar as condições do IAM para restringir os usuários a políticas de ciclo de vida dos dados associadas a coleções e índices específicos.

A política de acesso baseada em identidade a seguir permite que um usuário exiba todas as políticas de ciclo de vida dos dados e atualize as políticas com o padrão de recursos collection/application-logs.

Precedência das políticas

Pode haver situações em que as regras das políticas de ciclo de vida se sobreponham, dentro ou entre as políticas. Quando isso acontece, uma regra com um nome de recurso ou padrão mais específico para um índice substitui uma regra com um nome de recurso ou padrão mais geral para qualquer índice que seja comum às duas regras.

Por exemplo, na política a seguir, duas regras se aplicam a um índice index/sales/logstash. Nessa situação, a segunda regra tem precedência porque index/sales/log* é a correspondência mais longa para index/sales/logstash. Portanto, o OpenSearch Serverless não define um período de retenção para o índice.

{
      "Rules":[
         {
            "ResourceType":"index",
            "Resource":[
               "index/sales/*",
            ],
            "MinIndexRetention": "15d"
         },
         {
            "ResourceType":"index",
            "Resource":[
               "index/sales/log*",
            ],
            "NoMinIndexRetention": true
         }
      ]
   }

Sintaxe da política

Forneça uma ou mais regras. Essas regras definem as configurações do ciclo de vida dos dados para seus índices sem OpenSearch servidor.

Cada regra contém os seguintes elementos: Você pode fornecer MinIndexRetention ou NoMinIndexRetention em cada regra, mas não em ambas.

No exemplo a seguir, a primeira regra se aplica a todos os índices sob o autoparts-inventory padrão (index/autoparts-inventory/*) e exige que os dados sejam retidos por pelo menos 20 dias antes que qualquer ação, como exclusão ou arquivamento, possa ocorrer.

A segunda regra visa índices que correspondam ao auto*/gear padrão (index/auto*/gear), definindo um período mínimo de retenção de 24 horas.

A terceira regra se aplica especificamente ao tires índice e não tem período mínimo de retenção, o que significa que os dados desse índice podem ser excluídos ou arquivados imediatamente ou com base em outros critérios. Essas regras ajudam a gerenciar a retenção de dados de índice com tempos de retenção variáveis ou sem restrições de retenção.

{
  "Rules": [
    {
      "ResourceType": "index",
      "Resource": [
        "index/autoparts-inventory/*"
      ],
      "MinIndexRetention": "20d"
    },
    {
      "ResourceType": "index",
      "Resource": [
        "index/auto*/gear"
      ],
      "MinIndexRetention": "24h"
    },
    {
      "ResourceType": "index",
      "Resource": [
        "index/autoparts-inventory/tires"
      ],
      "NoMinIndexRetention": true
    }
  ]
}

Criação de políticas de ciclo de vida de dados

Para criar uma política de ciclo de vida de dados, você define regras que gerenciam a retenção e a exclusão de seus dados com base em critérios especificados.

aws opensearchserverless create-lifecycle-policy \
  --name my-policy \
  --type retention \
  --policy "{\"Rules\":[{\"ResourceType\":\"index\",\"Resource\":[\"index/autoparts-inventory/*\"],\"MinIndexRetention\": \"81d\"},{\"ResourceType\":\"index\",\"Resource\":[\"index/sales/orders*\"],\"NoMinIndexRetention\":true}]}"

Atualização de políticas de ciclo de vida de dados

Para atualizar uma política de ciclo de vida de dados, você pode modificar as regras existentes para refletir as alterações nos requisitos de retenção ou exclusão de dados. Isso permite que você adapte suas políticas à medida que suas necessidades de gerenciamento de dados evoluem.

Pode haver alguns minutos de intervalo entre o momento em que você atualiza a política e o momento em que o OpenSearch Serverless começa a aplicar os novos períodos de retenção.

aws opensearchserverless update-lifecycle-policy \
  --name my-policy \
  --type retention \
  --policy-version MTY2MzY5MTY1MDA3Ml8x \
  --policy file://my-new-policy.json

Como excluir políticas de ciclo de vida dos dados

Quando você exclui uma política de ciclo de vida de dados, o OpenSearch Serverless não a aplica mais em nenhum índice correspondente.

aws opensearchserverless delete-lifecycle-policy \
  --name my-policy \
  --type retention