Uso de políticas de ciclo de vida de datos con Amazon OpenSearch Serverless

Una política del ciclo de vida de los datos en Amazon OpenSearch Serverless define durante cuánto tiempo OpenSearch Serverless conserva los datos de una recopilación de series temporales. Por ejemplo, puede establecer una política para conservar los datos de registro durante 30 días antes de que OpenSearch Serverless los elimine.

Puede configurar una política independiente para cada índice dentro de cada colección de series temporales de su. Cuenta de AWS OpenSearch Serverless conserva los documentos durante al menos el tiempo que especifique en la política. A continuación, borra los documentos automáticamente haciendo el mejor esfuerzo posible, normalmente en un plazo de 48 horas o en un 10% del período de retención, lo que sea más largo.

Solo las recopilaciones de series temporales admiten las políticas del ciclo de vida de los datos. Las colecciones de búsqueda y búsqueda vectorial no lo hacen.

Políticas de ciclo de vida de los datos

En una política de ciclo de vida de los datos, especifique una serie de reglas. La política de ciclo de vida de los datos le permite administrar el período de retención de los datos asociados a los índices o colecciones que cumplen estas reglas. Estas reglas definen el período de retención de los datos de un índice o grupo de índices. Cada regla consta de un tipo de recurso (index), un período de retención y una lista de recursos (índices) a los que se aplica el período de retención.

El período de retención se define con uno de los siguientes formatos:

En el siguiente ejemplo de política, la primera regla especifica un período de retención de 15 días para todos los índices de la colección marketing. La segunda regla especifica que todos los nombres de índice que comiencen por log en la colección finance no tienen un período de retención establecido y se conservarán indefinidamente.

{
   "lifeCyclePolicyDetail": {
      "type": "retention",
      "name": "my-policy",
      "policyVersion": "MTY4ODI0NTM2OTk1N18x",
      "policy": {
         "Rules": [
            {
            "ResourceType":"index",
            "Resource":[
               "index/marketing/*"
            ],
            "MinIndexRetention": "15d"
         },
         {
            "ResourceType":"index",
            "Resource":[
               "index/finance/log*"
            ],
            "NoMinIndexRetention": true
         }
         ]
      },
      "createdDate": 1688245369957,
      "lastModifiedDate": 1688245369957
   }
}

En el siguiente ejemplo de regla de política, OpenSearch Serverless conserva indefinidamente los datos de todos los índices de todas las colecciones de la cuenta.

{
   "Rules": [
      {
         "ResourceType": "index",
         "Resource": [
            "index/*/*"
         ]
      }
   ],
   "NoMinIndexRetention": true
}

Permisos necesarios

Las políticas de ciclo de vida de OpenSearch Serverless utilizan los siguientes permisos AWS Identity and Access Management (IAM). Puede especificar condiciones de IAM para restringir a los usuarios a las políticas de ciclo de vida de los datos asociadas con colecciones e índices específicos.

La siguiente política de acceso basada en identidades permite al usuario ver todas las políticas de ciclo de vida de los datos y actualizarlas según el patrón de recursos collection/application-logs:

Prioridad política

Puede haber situaciones en las que las reglas de la política de ciclo de vida de los datos se superpongan, dentro de las políticas o entre ellas. Cuando esto sucede, una regla con un nombre o patrón de recurso más específico para un índice anula una regla con un nombre o patrón de recurso más general para cualquier índice que sea común a ambas reglas.

Por ejemplo, en la siguiente política, se aplican dos reglas a un índice index/sales/logstash. En esta situación, la segunda regla tiene prioridad porque index/sales/log* es la que coincide más tiempo con index/sales/logstash. Por lo tanto, OpenSearch Serverless no establece ningún período de retención para el índice.

{
      "Rules":[
         {
            "ResourceType":"index",
            "Resource":[
               "index/sales/*",
            ],
            "MinIndexRetention": "15d"
         },
         {
            "ResourceType":"index",
            "Resource":[
               "index/sales/log*",
            ],
            "NoMinIndexRetention": true
         }
      ]
   }

Sintaxis de la política

Proporcione una o más reglas. Estas reglas definen la configuración del ciclo de vida de los datos para los índices OpenSearch Serverless.

Cada regla contiene los siguientes elementos. Puede proporcionar MinIndexRetention o NoMinIndexRetention en cada regla, pero no ambas.

En el siguiente ejemplo, la primera regla se aplica a todos los índices incluidos en el autoparts-inventory patrón (index/autoparts-inventory/*) y exige que los datos se conserven durante al menos 20 días antes de que se pueda realizar cualquier acción, como eliminarlos o archivarlos.

La segunda regla se dirige a los índices que coinciden con el auto*/gear patrón (index/auto*/gear) y establece un período de retención mínimo de 24 horas.

La tercera regla se aplica específicamente al tires índice y no tiene un período mínimo de retención, lo que significa que los datos de este índice se pueden eliminar o archivar de forma inmediata o en función de otros criterios. Estas reglas ayudan a gestionar la retención de los datos del índice con tiempos de retención variables o sin restricciones de retención.

{
  "Rules": [
    {
      "ResourceType": "index",
      "Resource": [
        "index/autoparts-inventory/*"
      ],
      "MinIndexRetention": "20d"
    },
    {
      "ResourceType": "index",
      "Resource": [
        "index/auto*/gear"
      ],
      "MinIndexRetention": "24h"
    },
    {
      "ResourceType": "index",
      "Resource": [
        "index/autoparts-inventory/tires"
      ],
      "NoMinIndexRetention": true
    }
  ]
}

Crear políticas de ciclo de vida de los datos

Para crear una política del ciclo de vida de los datos, debe definir reglas que gestionen la retención y la eliminación de los datos en función de criterios específicos.

aws opensearchserverless create-lifecycle-policy \
  --name my-policy \
  --type retention \
  --policy "{\"Rules\":[{\"ResourceType\":\"index\",\"Resource\":[\"index/autoparts-inventory/*\"],\"MinIndexRetention\": \"81d\"},{\"ResourceType\":\"index\",\"Resource\":[\"index/sales/orders*\"],\"NoMinIndexRetention\":true}]}"

Actualización de políticas de ciclo de vida de los datos

Para actualizar una política del ciclo de vida de los datos, puede modificar las reglas existentes para reflejar los cambios en sus requisitos de retención o eliminación de datos. Esto le permite adaptar sus políticas a medida que evolucionen sus necesidades de administración de datos.

Es posible que transcurran algunos minutos entre el momento en que se actualiza la política y el momento en que OpenSearch Serverless comienza a aplicar los nuevos períodos de retención.

aws opensearchserverless update-lifecycle-policy \
  --name my-policy \
  --type retention \
  --policy-version MTY2MzY5MTY1MDA3Ml8x \
  --policy file://my-new-policy.json

Eliminación de políticas de ciclo de vida de los datos

Al eliminar una política del ciclo de vida de los datos, OpenSearch Serverless ya no la aplica en ningún índice coincidente.

aws opensearchserverless delete-lifecycle-policy \
  --name my-policy \
  --type retention