Caducidad de registros para tablas
De forma predeterminada, los registros de las tablas de S3 no caducan. Para ayudarlo a minimizar los costos de almacenamiento de las tablas, puede habilitar y configurar la caducidad de los registros de las tablas. Con esta opción, Amazon S3 elimina automáticamente los registros de una tabla cuando los registros caducan.
Si habilita la caducidad de los registros de una tabla, debe especificar el número de días que se retendrán en la tabla antes de que caduquen. Puede ser cualquier número de días, desde 1 día hasta 2 147 483 647 días. Por ejemplo, para retener los registros de la tabla durante un año, especifique 365 días. A continuación, los registros persisten durante 365 días. Después de 365 días, los registros caducan y Amazon S3 los elimina automáticamente.
Puede habilitar y configurar la caducidad de los registros para las tablas administradas de AWS que almacenan conjuntos de datos específicos de determinados Servicios de AWS, actualmente Lente de almacenamiento de Amazon S3 y catálogo de Amazon SageMaker. Las opciones de caducidad de los registros no están disponibles actualmente para otras tablas administradas de AWS. La excepción son las tablas de diario de metadatos de Amazon S3. Las tablas de diario utilizan distintas configuraciones de caducidad de registros que se especifican por servicio. Para obtener información sobre cómo configurar la caducidad de los registros para este tipo de tabla, consulte Caducidad de los registros de la tabla de diario. Tenga en cuenta que las opciones de caducidad de los registros no están disponibles para las tablas de S3 que cree.
Después de habilitar la caducidad de los registros de una tabla, puede desactivarla en cualquier momento. Amazon S3 deja de caducar y de eliminar registros de la tabla.
Temas
Cómo funciona la caducidad de los registros
La caducidad de los registros elimina automáticamente los registros de una tabla de S3 cuando son anteriores al número de días especificado en la configuración de caducidad de los registros de la tabla. Para determinar cuándo caducan los registros, Amazon S3 utiliza marcas temporales específicas en los registros. La elección de la columna de marca temporal se deriva directamente del esquema de una tabla. No es necesario especificar qué columna de marca temporal utilizar. Las tablas las administra AWS y Amazon S3 elige automáticamente la columna adecuada para utilizarla cuando se habilita la caducidad de los registros de una tabla.
Puede habilitar y configurar los ajustes de caducidad de los registros para las tablas administradas de AWS que almacenan métricas de Lente de almacenamiento de Amazon S3 o metadatos de catálogo de Amazon SageMaker específicos. Las opciones de caducidad de los registros están disponibles para las siguientes tablas administradas de AWS para esos servicios:
-
Lente de almacenamiento de S3:
bucket_property_metrics,default_activity_metrics,default_storage_metrics,expanded_prefixes_activity_metricsyexpanded_prefixes_storage_metrics. Para determinar cuándo caducan los registros de estas tablas, Amazon S3 utiliza el camporeport_timede los registros. -
Catálogo de Amazon SageMaker:
ASSET. Para determinar cuándo caducan los registros de esta tabla, Amazon S3 utiliza el camposnapshot_timede los registros.
Tras habilitar la caducidad de registros para una tabla, Amazon S3 comienza a ejecutar trabajos de caducidad de registros que realizan las siguientes operaciones para la tabla:
-
Identifique los registros que superan la configuración de caducidad especificada.
-
Cree una nueva instantánea que excluya las referencias a los registros caducados.
La eliminación también se basa en la caducidad de la instantánea y en los ajustes de eliminación de archivos no referenciados incluidos en la configuración de mantenimiento de la tabla. Para obtener más información sobre estas configuración, consulte Mantenimiento de tablas.
aviso
Amazon S3 caduca y elimina los registros en un plazo de 24 a 48 horas después de que cumplan los requisitos para caducar. Los registros de tablas se eliminan de la última instantánea. Los datos y el almacenamiento de los registros se eliminan mediante operaciones de mantenimiento de tablas. Los registros de tablas no se pueden recuperar después de que caduquen.
Configuración de la caducidad de los registros de una tabla
Puede habilitar, configurar y administrar de otro modo la configuración de caducidad de los registros de una tabla de S3 mediante la consola de Amazon S3, la API de REST de Amazon S3, AWS Command Line Interface (AWS CLI) o los AWS SDK.
Antes de intentar realizar estas tareas para una tabla, asegúrese de que tiene los siguientes permisos de AWS Identity and Access Management (IAM):
-
s3tables:GetTableRecordExpirationConfiguration: esta acción permite acceder a la configuración actual de caducidad de los registros de las tablas. -
s3tables:PutTableRecordExpirationConfiguration: esta acción permite habilitar, configurar y desactivar los ajustes de caducidad de los registros de las tablas. -
s3tables:GetTableRecordExpirationJobStatus: esta acción permite supervisar el estado de las operaciones de caducidad de los registros (trabajos) de las tablas y acceder a las métricas de las operaciones.
En las siguientes secciones se explica cómo habilitar, configurar y desactivar los ajustes de caducidad de registros de una tabla mediante la consola de Amazon S3 y la AWS CLI. Para realizar estas tareas con la API de REST de Amazon S3 o un AWS SDK, utilice la operación PutTableRecordExpirationConfiguration. Para obtener más información, consulte Desarrollo con Amazon S3 en la Referencia de la API de Amazon Simple Storage Service.
Para habilitar y configurar los ajustes de caducidad de los registros de una tabla de S3 mediante la consola, siga estos pasos.
Inicie sesión en la Consola de administración de AWS y abra la consola de Amazon S3 en https://console.aws.amazon.com/s3/
. -
En el panel de navegación izquierdo, elija Buckets de tablas.
-
En la página Buckets de tablas, elija el bucket que almacena la tabla.
-
En la pestaña Tablas, elija la tabla.
-
En la pestaña Mantenimiento, en la sección Caducidad del registro, elija Editar.
-
En Caducidad del registro, elija Habilitar.
-
En Días después de los cuales caducan los registros, ingrese el número de días que se van a retener en la tabla. Puede ser cualquier número de días entre 1 y 2 147 483 647. Por ejemplo, para retener registros durante un año, ingrese
365.aviso
Al determinar el periodo de retención adecuado para los registros de la tabla, tenga en cuenta que los registros no se pueden recuperar una vez caducados.
-
Seleccione Save changes (Guardar cambios).
Para cambiar posteriormente el periodo de retención, repita los pasos anteriores.
Para desactivar posteriormente la caducidad de los registros, repita los pasos 1 a 5. A continuación, para el paso 6, elija Desactivar. Cuando termine de realizar los cambios, seleccione Save changes (Guardar cambios).
Para configurar y administrar los ajustes de caducidad de los registros de una tabla de S3 mediante la AWS CLI, ejecute el comando put-table-record-expiration-configuration.
Puede empezar por crear un archivo JSON que contenga la configuración de caducidad de los registros para aplicarla a la tabla. En el siguiente ejemplo, se muestra el contenido de un archivo JSON que habilita la caducidad de los registros de una tabla. También especifica un periodo de retención de 30 días para los registros de la tabla. En otras palabras, especifica que los registros de la tabla deben caducar a los 30 días.
{ "status": "enabled", "settings": { "days":30{ }
Para utilizar el ejemplo anterior, sustituya por su propia información.user input
placeholders
aviso
Al determinar el periodo de retención adecuado para los registros de la tabla, tenga en cuenta que los registros no se pueden recuperar una vez caducados.
Para desactivar la caducidad de los registros de una tabla, especifique disabled para el campo status y omita el objeto settings del archivo. Por ejemplo:
{ "status": "disabled" }
Tras crear un archivo JSON con la configuración que desee aplicar, ejecute el comando put-table-record-expiration-configuration. Para el parámetro table-arn, especifique el nombre de recurso de Amazon (ARN) de la tabla. Para el parámetro value, especifique el nombre del archivo que almacena la configuración.
Por ejemplo, el comando siguiente actualiza la configuración de caducidad de los registros de una tabla. La configuración se especifica en un archivo denominado .record-expiration-config.json
aws s3tables put-table-record-expiration-configuration \ --table-arn arn:aws:s3tables:us-east-1:123456789012:bucket/amzn-s3-demo-table-bucket/table/amzn-s3-demo-table\ --valuefile://./record-expiration-config.json
Para utilizar el ejemplo anterior, sustituya por su propia información.user input
placeholders
Supervisión de la caducidad de los registros de una tabla
Para supervisar el estado y los resultados de las operaciones de caducidad de los registros de las tablas de S3, utilice la operación GetTableRecordExpirationJobStatus o, si utiliza la AWS CLI, ejecute el comando get-table-record-expiration-job-status. En la solicitud, especifique el nombre de recurso de Amazon (ARN) de la tabla.
Por ejemplo, el comando AWS CLI siguiente recupera el estado de las operaciones de caducidad de los registros de una tabla específica de un bucket de tablas. Para utilizar este ejemplo, sustituya por su propia información.user input placeholders
aws s3tables get-table-record-expiration-job-status \ --table-arn arn:aws:s3tables:us-east-1:123456789012:bucket/amzn-s3-demo-table-bucket/table/amzn-s3-demo-table
Si la solicitud es correcta, recibirá una respuesta con detalles como la última vez que Amazon S3 ejecutó operaciones de caducidad de registros para la tabla y el estado de esa ejecución. Si la ejecución más reciente se realizó correctamente, la respuesta también incluye métricas de procesamiento, por ejemplo, el número de archivos de datos y registros que se eliminaron y el tamaño total de los datos que se eliminaron. Si se produjeron errores durante la ejecución más reciente, la respuesta incluye un mensaje de error que describe el motivo del error en la ejecución.
Consideraciones
Al configurar y administrar los ajustes de caducidad de los registros de las tablas de S3 administradas de AWS, tenga en cuenta lo siguiente:
-
La caducidad de los registros solo está disponible para determinadas tablas administradas de AWS creadas por Servicios de AWS, Lente de almacenamiento de Amazon S3 y el catálogo de Amazon SageMaker compatibles. Además, la caducidad de los registros solo está disponible para tablas individuales, no para buckets de tablas completas.
-
Para determinar cuándo caducan los registros, Amazon S3 utiliza marcas temporales específicas en las tablas. Estas marcas temporales representan cuándo se crearon los datos, no cuándo Amazon S3 ingirió los registros de una tabla. La columna de marca temporal que se utilice depende del servicio que publique la tabla: para las métricas de Lente de almacenamiento de S3, el campo
report_timey, para los metadatos del catálogo de Amazon Sagemaker, el camposnapshot_time. No puede especificar qué campo usar porque las tablas las administra AWS. -
Si se producen retrasos en la exportación de los datos a una tabla, es posible que los registros puedan caducar antes de lo esperado. Por este motivo, recomendamos que se tengan en cuenta los posibles retrasos en la ingesta y agregar un búfer al periodo de retención en la configuración de caducidad de las tablas.
-
Los registros caducan y se eliminan en un plazo de 24 a 48 horas después de que cumplan los requisitos para caducar. Amazon S3 no caduca y elimina los registros inmediatamente después de que cumplan los requisitos para caducar.
-
Los registros no se pueden recuperar después de que caduquen y se eliminen.