Utilizzo delle politiche del ciclo di vita dei dati con Amazon Serverless OpenSearch

Una policy sul ciclo di vita dei dati in Amazon OpenSearch Serverless definisce per quanto tempo OpenSearch Serverless conserva i dati in una raccolta di serie temporali. Ad esempio, puoi impostare una politica per conservare i dati di registro per 30 giorni prima che Serverless li elimini. OpenSearch

Puoi configurare una politica separata per ogni indice all'interno di ogni raccolta di serie temporali presente nel tuo. Account AWS OpenSearch Serverless conserva i documenti almeno per la durata specificata nella policy. Quindi elimina automaticamente i documenti nel miglior modo possibile, in genere entro 48 ore o il 10% del periodo di conservazione, a seconda di quale sia il più lungo.

Solo le raccolte di serie temporali supportano le politiche relative al ciclo di vita dei dati. Le raccolte di ricerca e di ricerca vettoriale non lo fanno.

Policy del ciclo di vita dei dati

In una policy del ciclo di vita dei dati, si specifica una serie di regole. La politica del ciclo di vita dei dati consente di gestire il periodo di conservazione dei dati associati agli indici o alle raccolte che soddisfano queste regole. Queste regole definiscono il periodo di conservazione dei dati in un indice o in un gruppo di indici. Ogni regola è composta da un tipo di risorsa (index), un periodo di conservazione e un elenco di risorse (indici) a cui si applica il periodo di conservazione.

Il periodo di conservazione viene definito con uno dei seguenti formati:

Nella seguente politica di esempio, la prima regola specifica un periodo di conservazione di 15 giorni per tutti gli indici della raccolta. marketing La seconda regola specifica che per tutti i nomi di indice che iniziano con log la finance raccolta non è impostato alcun periodo di conservazione e verranno conservati a tempo indeterminato.

{
   "lifeCyclePolicyDetail": {
      "type": "retention",
      "name": "my-policy",
      "policyVersion": "MTY4ODI0NTM2OTk1N18x",
      "policy": {
         "Rules": [
            {
            "ResourceType":"index",
            "Resource":[
               "index/marketing/*"
            ],
            "MinIndexRetention": "15d"
         },
         {
            "ResourceType":"index",
            "Resource":[
               "index/finance/log*"
            ],
            "NoMinIndexRetention": true
         }
         ]
      },
      "createdDate": 1688245369957,
      "lastModifiedDate": 1688245369957
   }
}

Nel seguente esempio di regola politica, OpenSearch Serverless conserva a tempo indeterminato i dati in tutti gli indici per tutte le raccolte all'interno dell'account.

{
   "Rules": [
      {
         "ResourceType": "index",
         "Resource": [
            "index/*/*"
         ]
      }
   ],
   "NoMinIndexRetention": true
}

Autorizzazioni richieste

Le policy del ciclo di vita per OpenSearch Serverless utilizzano le seguenti autorizzazioni (IAM). AWS Identity and Access Management È possibile specificare condizioni IAM per limitare gli utenti alle policy del ciclo di vita dei dati associate a raccolte e indici specifici.

La seguente policy di accesso basata sull'identità consente a un utente di visualizzare tutte le policy del ciclo di vita dei dati e di aggiornarle in base al modello delle risorse modello: collection/application-logs

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "aoss:UpdateLifecyclePolicy"
            ],
            "Resource": "*",
            "Condition": {
                "StringEquals": {
                    "aoss:collection": "application-logs"
                }
            }
        },
        {
            "Effect": "Allow",
            "Action": [
                "aoss:ListLifecyclePolicies",
                "aoss:BatchGetLifecyclePolicy"
            ],
            "Resource": "*"
        }
    ]
}

Priorità delle policy

Possono verificarsi situazioni in cui le regole delle policy del ciclo di vita dei dati si sovrappongono, all'interno delle policy o tra di esse. Quando ciò accade, una regola con un nome o uno schema di risorsa più specifico per un indice sostituisce una regola con un nome o uno schema di risorsa più generale per tutti gli indici comuni a entrambe le regole.

Ad esempio, nella politica seguente, due regole si applicano a un indice. index/sales/logstash In questa situazione, la seconda regola ha la precedenza perché index/sales/log* è la corrispondenza più lunga a. index/sales/logstash Pertanto, OpenSearch Serverless non imposta alcun periodo di conservazione per l'indice.

{
      "Rules":[
         {
            "ResourceType":"index",
            "Resource":[
               "index/sales/*",
            ],
            "MinIndexRetention": "15d"
         },
         {
            "ResourceType":"index",
            "Resource":[
               "index/sales/log*",
            ],
            "NoMinIndexRetention": true
         }
      ]
   }

Sintassi delle policy

Fornisci una o più regole. Queste regole definiscono le impostazioni del ciclo di vita dei dati per gli indici Serverless. OpenSearch

Ogni regola contiene i seguenti elementi. È possibile fornire MinIndexRetention o NoMinIndexRetention in ciascuna regola, ma non in entrambe.

Nell'esempio seguente, la prima regola si applica a tutti gli indici inclusi nel autoparts-inventory pattern (index/autoparts-inventory/*) e richiede che i dati vengano conservati per almeno 20 giorni prima che possa verificarsi qualsiasi azione, come l'eliminazione o l'archiviazione.

La seconda regola si rivolge agli indici che corrispondono al auto*/gear pattern (index/auto*/gear), impostando un periodo di conservazione minimo di 24 ore.

La terza regola si applica specificamente all'tiresindice e non prevede un periodo di conservazione minimo, il che significa che i dati in questo indice possono essere eliminati o archiviati immediatamente o in base ad altri criteri. Queste regole aiutano a gestire la conservazione dei dati dell'indice con tempi di conservazione variabili o senza restrizioni di conservazione.

{
  "Rules": [
    {
      "ResourceType": "index",
      "Resource": [
        "index/autoparts-inventory/*"
      ],
      "MinIndexRetention": "20d"
    },
    {
      "ResourceType": "index",
      "Resource": [
        "index/auto*/gear"
      ],
      "MinIndexRetention": "24h"
    },
    {
      "ResourceType": "index",
      "Resource": [
        "index/autoparts-inventory/tires"
      ],
      "NoMinIndexRetention": true
    }
  ]
}

Creazione di politiche relative al ciclo di vita dei dati

Per creare una politica del ciclo di vita dei dati, si definiscono regole che gestiscono la conservazione e l'eliminazione dei dati in base a criteri specifici.

aws opensearchserverless create-lifecycle-policy \
  --name my-policy \
  --type retention \
  --policy "{\"Rules\":[{\"ResourceType\":\"index\",\"Resource\":[\"index/autoparts-inventory/*\"],\"MinIndexRetention\": \"81d\"},{\"ResourceType\":\"index\",\"Resource\":[\"index/sales/orders*\"],\"NoMinIndexRetention\":true}]}"

Aggiornamento delle policy del ciclo di vita dei dati

Per aggiornare una politica sul ciclo di vita dei dati, puoi modificare le regole esistenti per riflettere le modifiche ai requisiti di conservazione o eliminazione dei dati. Ciò consente di adattare le politiche all'evolversi delle esigenze di gestione dei dati.

Potrebbero verificarsi alcuni minuti di ritardo tra l'aggiornamento della policy e il momento in cui OpenSearch Serverless inizia a applicare i nuovi periodi di conservazione.

aws opensearchserverless update-lifecycle-policy \
  --name my-policy \
  --type retention \
  --policy-version MTY2MzY5MTY1MDA3Ml8x \
  --policy file://my-new-policy.json

Eliminazione delle policy del ciclo di vita dei dati

Quando elimini una policy sul ciclo di vita dei dati, OpenSearch Serverless non la applica più sugli indici corrispondenti.

aws opensearchserverless delete-lifecycle-policy \
  --name my-policy \
  --type retention