Exporte automáticamente las actualizaciones a su bucket de S3
Puede configurar su sistema de archivos de FSx para Lustre para que actualice automáticamente el contenido de un bucket de S3 vinculado a medida que se añaden, modifican o eliminan archivos en el sistema de archivos. FSx para Lustre crea, actualiza o elimina el objeto en S3, en función del cambio en el sistema de archivos.
nota
La exportación automática no está disponible en FSx para sistemas de archivos Scratch 1 o sistemas de archivos Lustre 2.10.
Puede exportar a un repositorio de datos que esté en la misma Región de AWS que el sistema de archivos o en una Región de AWS distinta.
Puede configurar la exportación automática al crear la asociación de repositorios de datos y actualizar la configuración de exportación automática en cualquier momento mediante la consola de administración de FSx, la AWS CLI y la API de AWS.
importante
Si se modifica un archivo en el sistema de archivos con todas las políticas de exportación automática activadas y la importación automática desactivada, el contenido de ese archivo siempre se exporta al objeto correspondiente en S3. Si ya existe un objeto en la ubicación de destino, se sobrescribe.
Si se modifica un archivo tanto en el sistema de archivos como en S3, con todas las políticas de importación y exportación automáticas activadas, el otro podría sobrescribir el archivo del sistema de archivos o el objeto de S3. No se garantiza que una edición posterior en una ubicación sobrescriba una edición anterior en otra ubicación. Si modifica el mismo archivo tanto en el sistema de archivos como en el bucket de S3, debe garantizar la coordinación a nivel de la aplicación para evitar conflictos. FSx para Lustre no evita escrituras conflictivas en varias ubicaciones.
La política de exportación especifica cómo desea que FSx para Lustre actualice el bucket de S3 vinculado a medida que cambia el contenido del sistema de archivos. Una asociación de repositorios de datos puede tener una de las siguientes políticas de exportación automática:
-
New: FSx para Lustre actualiza automáticamente el repositorio de datos de S3 solo cuando se crea un nuevo archivo, directorio o enlace simbólico en el sistema de archivos.
-
Changed: FSx para Lustre actualiza automáticamente el repositorio de datos de S3 solo cuando se modifica un archivo existente en el sistema de archivos. En el caso de los cambios en el contenido de los archivos, el archivo debe cerrarse antes de propagarse al repositorio de S3. Los cambios en los metadatos (cambio de nombre, propiedad, permisos y marcas de tiempo) se propagan al finalizar la operación. Al cambiar el nombre de los cambios (incluidos los movimientos), se elimina el objeto de S3 existente (renombrado previamente) y se crea un nuevo objeto de S3 con el nuevo nombre.
-
Deleted: FSx para Lustre actualiza automáticamente el repositorio de datos de S3 solo cuando se elimina un archivo, directorio o enlace simbólico del sistema de archivos.
-
Any combination of New, Changed, and Deleted: FSx para Lustre actualiza automáticamente el repositorio de datos de S3 cuando cualquiera de las acciones especificadas se produce en el sistema de archivos. Por ejemplo, puede especificar que el repositorio de S3 se actualice cuando se añada un archivo (New) o se elimine (Deleted) del sistema de archivos, pero no cuando se cambie un archivo.
-
No policy configured: FSx para Lustre no actualiza automáticamente el repositorio de datos de S3 cuando se añaden, modifican o eliminan archivos del sistema de archivos. Si no configura una política de exportación, la exportación automática está deshabilitada. Aún puede exportar los cambios manualmente mediante una tarea de exportación de repositorio de datos, tal y como se describe en Uso de las tareas del repositorio de datos para exportar los cambios.
Para la mayoría de los casos de uso, se recomienda configurar una política de exportación de New, Changed y Deleted. Esta política garantiza que todas las actualizaciones realizadas en el sistema de archivos se exporten automáticamente al repositorio de datos de S3 vinculado.
Le recomendamos que active el registro en CloudWatch Logs para registrar la información sobre cualquier archivo o directorio que no se pueda exportar automáticamente. Las advertencias y los errores del registro contienen información sobre el motivo del error. Para obtener más información, consulte Registros de eventos del repositorio de datos.
nota
Si bien la hora de acceso (atime) y la hora de modificación (mtime) se sincronizan con S3 durante las operaciones de exportación, los cambios en estas marcas de tiempo por sí solos no activan la exportación automática. Solo los cambios en el contenido del archivo u otros metadatos (como la propiedad o los permisos) activarán una exportación automática a S3.
Actualización de la configuración de exportación
Puede establecer la configuración de exportación de un sistema de archivos a un bucket de S3 vinculado al crear la asociación de repositorios de datos. Para obtener más información, consulte Crear un enlace a un bucket de S3.
También puede actualizar la configuración de exportación en cualquier momento, incluida la política de exportación. Para obtener más información, consulte Actualización de la configuración de asociación de repositorios de datos.
Monitorización de la exportación automática
Puede monitorear las asociaciones de repositorios de datos habilitadas para la exportación automática mediante un conjunto de métricas publicadas en Amazon CloudWatch. La métrica AgeOfOldestQueuedMessage representa la antigüedad de la actualización más antigua realizada en el sistema de archivos y que aún no se ha exportado a S3. Si AgeOfOldestQueuedMessage es mayor que cero durante un período prolongado, se recomienda reducir temporalmente el número de cambios (en particular, los cambios de nombre de los directorios) que se están realizando activamente en el sistema de archivos hasta que se reduzca la cola de mensajes. Para obtener más información, consulte Métricas del repositorio de S3 de FSx para Lustre.
importante
Al eliminar una asociación de repositorios de datos o un sistema de archivos con la exportación automática habilitada, primero debe asegurarse de que AgeOfOldestQueuedMessage es cero, lo que significa que no hay cambios que aún no se hayan exportado. Si AgeOfOldestQueuedMessage es mayor que cero al eliminar la asociación de repositorios de datos o el sistema de archivos, los cambios que aún no se hayan exportado no llegarán al bucket de S3 vinculado. Para evitarlo, espere a que AgeOfOldestQueuedMessage llegue a cero antes de eliminar la asociación de repositorios de datos o el sistema de archivos.
