Introducción a Amazon FSx para Lustre - FSx para Lustre
Requisitos previosPaso 1: crear un sistema de archivos FSx para LustreInstalar el cliente LustrePaso 3: montar el sistema de archivosPaso 4: ejecutar el flujo de trabajoPaso 5: Limpieza de recurso

Introducción a Amazon FSx para Lustre

A continuación, puede aprender cómo empezar a utilizar Amazon FSx para Lustre. Estos pasos le explicarán cómo crear un sistema de archivos Amazon FSx para Lustre y cómo acceder a él desde sus instancias informáticas. Opcionalmente, también muestran cómo usar el sistema de archivos de Amazon FSx para Lustre para procesar los datos del bucket de Amazon S3 con las aplicaciones basadas en archivos.

Este ejercicio introductorio incluye los siguientes pasos.

Requisitos previos

Para realizar este ejercicio introductorio, necesitará lo siguiente:

  • Una cuenta AWS con los permisos necesarios para crear un sistema de archivos de Amazon FSx para Lustre y una instancia de Amazon EC2. Para obtener más información, consulte Cómo configurar Amazon FSx for Lustre.

  • Cree un grupo de seguridad de Amazon VPC para asociarlo al sistema de archivos de FSx para Lustre y no lo cambie después de crear el sistema de archivos. Para obtener más información, consulte Para crear un grupo de seguridad para el sistema de archivos de Amazon FSx.

  • Una instancia de Amazon EC2 que ejecuta una versión de Linux compatible en su nube privada virtual (VPC) basada en el servicio Amazon VPC. Para este ejercicio de introducción, recomendamos que use Amazon Linux 2023. Instalará el cliente Lustre en esta instancia de EC2 y, luego, montará el sistema de archivos de FSx para Lustre en la instancia de EC2. Para obtener más información sobre cómo crear una instancia de EC2, consulte Introducción: inicializar una instancia o Inicializar la instancia en la Guía del usuario de Amazon EC2.

    Además de Amazon Linux 2023, el cliente de Lustre es compatible con los sistemas operativos Amazon Linux 2, Red Hat Enterprise Linux (RHEL), CentOS, Rocky Linux, SUSE Linux Enterprise Server y Ubuntu. Para obtener más información, consulte Compatibilidad con sistemas de archivos de Lustre y kernel de clientes.

  • Al crear la instancia de Amazon EC2 para este ejercicio introductorio, tenga en cuenta lo siguiente:

    • Le recomendamos que cree la instancia en la VPC predeterminada.

    • Se recomienda que utilice el grupo de seguridad predeterminado al crear la instancia EC2.

  • Determine qué tipo de sistema de archivos Amazon FSx para Lustre desea crear, scratch o persistent. Para obtener más información, consulte Opciones de implementación y clase de almacenamiento para sistemas de archivos de FSx para Lustre.

  • Cada sistema de archivos de FSx para Lustre requiere una dirección IP para cada servidor de metadatos (MDS) y una dirección IP para cada servidor de almacenamiento (OSS). Para obtener más información, consulte Direcciones IP para sistemas de archivos.

  • Un bucket de Amazon S3 que almacena los datos para que los procese su carga de trabajo. El bucket S3 será el repositorio de datos duradero vinculado a su sistema de archivos de FSx para Lustre.

Paso 1: crear un sistema de archivos FSx para Lustre

Crea el sistema de archivos en la consola de Amazon FSx. Tenga en cuenta que todos los sistemas de archivos de FSx para Lustre se basan en la versión 2.15 de Lustre cuando se crean mediante la consola de Amazon FSx.

Cómo crear su sistema de archivos

  1. Abra la consola de Amazon FSx en https://console.aws.amazon.com/fsx/.

  2. En el panel, elija Create file system (Crear sistema de archivos) para iniciar el asistente de creación de sistemas de archivos.

  3. Elija FSx for Lustre y, luego, Siguiente para abrir la página Crear sistema de archivos.

    Comience la configuración con la sección de File system details.

  4. En File system name-optional (Nombre del sistema de archivos (opcional), introduzca un nombre para su sistema de archivos. Puede utilizar hasta 256 letras Unicode, espacios en blanco y números, además de los caracteres especiales + - = . _ : /.

  5. Para Clase de implementación y almacenamiento, elija una de las siguientes opciones:

    • Elija SSD persistente para un almacenamiento a largo plazo y para cargas de trabajo sensibles a la latencia. Con el almacenamiento SSD, se le facturará por la cantidad de almacenamiento que aprovisione.

      Si lo desea, elija compatible con Elastic Fabric Adapter (EFA) para habilitar la compatibilidad con el EFA para el sistema de archivos. Para obtener más información sobre EFA, consulte Cómo trabajar con sistemas de archivos compatibles con EFA.

    • Elija Intelligent-Tiering persistente para un almacenamiento a largo plazo. La clase de almacenamiento Intelligent-Tiering proporciona un almacenamiento totalmente elástico y rentable que es adecuado para la mayoría de las cargas de trabajo, así como una caché de lectura SSD opcional que proporciona latencias de SSD para leer datos a los que se accede con frecuencia. Con Intelligent-Tiering, se le facturarán los datos que almacene, en característica del tamaño del conjunto de datos, y no necesitará especificar el tamaño del sistema de archivos.

      Si lo desea, elija compatible con Elastic Fabric Adapter (EFA) para habilitar la compatibilidad con el EFA para el sistema de archivos.

    • Elija la implementación SSD scratch para el almacenamiento temporal y el tratamiento de datos a corto plazo. Con el almacenamiento SSD, se le facturará por la cantidad de almacenamiento que aprovisione.

  6. Elija la cantidad de rendimiento para el sistema de archivos. Usted paga la cantidad de rendimiento aprovisionada.

    • Para el almacenamiento SSD persistente, elija un Rendimiento por unidad de valor de almacenamiento. El rendimiento por unidad de almacenamiento es la cantidad de rendimiento de lectura y escritura por cada 1 tebibyte (TiB) de almacenamiento aprovisionado.

    • Para el almacenamiento SSD Scratch, elija un Rendimiento por unidad de valor de almacenamiento.

    • Para el almacenamiento Intelligent-Tiering, elija un valor de capacidad de rendimiento.

  7. Para la capacidad de almacenamiento (solo clase de almacenamiento SSD), defina la cantidad de capacidad de almacenamiento del sistema de archivos en TB:

    • Para un tipo de implementación SSD persistente, configúrelo en un valor de 1,2 TiB, 2,4 TiB o incrementos de 2,4 TiB.

    • Para un tipo de implementación SSD persistente y compatibles con EFA, establezca este valor en incrementos de 4,8 TiB, 9,6 TiB, 19,2 TiB y 38,4 TiB para los niveles de rendimiento de 1000, 500, 250 y 125 Mbps/TiB, respectivamente.

    Puede aumentar la capacidad de almacenamiento según sea necesario en cualquier momento después de crear el sistema de archivos. Para obtener más información, consulte Administración de la capacidad de almacenamiento.

  8. Para la Configuración de metadatos, elija una de las siguientes opciones para aprovisionar la cantidad de IOPS de metadatos para el sistema de archivos:

    • Elija Automático (solo clase de almacenamiento SSD) si desea que Amazon FSx para Lustre aprovisione y escale automáticamente las IOPS de metadatos en el sistema de archivos en característica de la capacidad de almacenamiento del sistema de archivos.

    • Elija Aprovisionado por el usuario si desea especificar la cantidad de IOPS de metadatos por aprovisionar al sistema de archivos con la clase de almacenamiento SSD o Intelligent-Tiering. Los valores válidos son los siguientes:

      • Para los sistemas de archivos SSD, los valores válidos son 1500, 3000, 6000, 12000 y múltiplos de 12000, hasta un máximo de 192000.

      • Para los sistemas de archivos Intelligent-Tiering, los valores válidos son 6000 y 12000.

    Para obtener más información sobre las IOPS de metadatos, consulte Configuración del rendimiento de los metadatos de Lustre.

  9. Para la caché de lectura SSD (solo Intelligent-Tiering), seleccione Automática (proporcional a la capacidad de rendimiento) o Personalizada (proporcionada por el usuario). Con la opción automática, Amazon FSx para Lustre elige automáticamente un tamaño de caché de lectura en característica del rendimiento aprovisionado. Si conoce el tamaño aproximado de su conjunto de datos de trabajo activo, puede seleccionar Personalizado para personalizar el tamaño de la caché de lectura de la SSD. Para obtener más información, consulte Administración de la caché de lectura SSD aprovisionada.

  10. En el tipo de compresión de datos, seleccione NINGUNO para desactivar la compresión de datos o elija LZ4 para activar la compresión de datos con el algoritmo LZ4. Para obtener más información, consulte compresión de datos de Lustre.

  11. En la sección Network & security, proporcione la siguiente información de red y grupo de seguridad:

    • Para la nube privada virtual (VPC), elija la VPC que desea asociar con su sistema de archivos. Para este ejercicio introductorio, elija la misma VPC que eligió para la instancia de Amazon EC2.

    • Para los grupos de seguridad VPC, el ID para el grupo de seguridad por defecto para su VPC debe estar ya añadido.

      Si no está utilizando el grupo de seguridad predeterminado, asegúrese de que la siguiente regla de entrada se agregue al grupo de seguridad que está utilizando para este ejercicio introductorio.

      Tipo Protocolo Intervalo de puertos Origen Descripción
      Todos los TCP TCP 0-65535 Personalizado the_ID_of_this_security_group Regla de tráfico entrante de Lustre
      importante

      • Corrobore que el grupo de seguridad que use siga las instrucciones de configuración que se incluyen en Control de acceso al sistema de archivos con Amazon VPC. Debe configurar el grupo de seguridad para permitir el tráfico entrante en los puertos 988 y 1018-1023 desde el propio grupo de seguridad o la subred CIDR completa, que es necesaria para permitir que los hosts del sistema de archivos se comuniquen entre sí.

      • Si va a crear un sistema de archivos compatible con EFA, asegúrese de especificar un Grupo de seguridad con EFA.

    • En Subred, elija cualquier valor de la lista de subredes disponibles.

  12. Para la sección de Cifrado, las opciones disponibles varían según el tipo de sistema de archivos que vaya a crear:

    • En el caso de un sistema de archivos persistente, puedes elegir una clave de cifrado AWS Key Management Service (AWS KMS) para cifrar los datos del sistema de archivos en reposo.

    • En el caso de un sistema de archivos Scratch, los datos en reposo se cifran mediante claves gestionadas por AWS.

    • Para los sistemas de archivos scratch 2 y persistentes, los datos en tránsito se cifran automáticamente cuando se obtiene acceso al sistema de archivos desde un tipo de instancia de Amazon EC2 compatible. Para obtener más información, consulte Cifrado de datos en tránsito.

  13. En la sección Importar/Exportar repositorios de datos opcional , la vinculación del sistema de archivos a los repositorios de datos de Amazon S3 está deshabilitada de forma predeterminada. Para obtener información sobre cómo activar esta opción y crear una asociación de repositorio de datos a un bucket de S3 existente, consulte Para vincular un bucket de S3 al crear un sistema de archivos (consola).

    importante

    • Al seleccionar esta opción también se deshabilitan las copias de seguridad y no podrá habilitarlas mientras crea el sistema de archivos.

    • Si vincula uno o varios sistemas de archivos de Amazon FSx para Lustre a un bucket de Amazon S3, no elimine el bucket de Amazon S3 hasta que se hayan eliminado todos los sistemas de archivos vinculados.

    • Los sistemas de archivos Intelligent-Tiering no admiten la vinculación a los repositorios de datos de Amazon S3.

  14. Para el Registro opcional, el registro está activado de forma predeterminada. Cuando está habilitado, los fallos y advertencias de la actividad del repositorio de datos en su sistema de archivos se registran en los Registros de Amazon CloudWatch. Para obtener información sobre la configuración de los registros, consulte Administración de registros.

  15. En Copia de seguridad y mantenimiento opcional, puede hacer lo siguiente.

    • Desactive la Copia de seguridad automática diaria. Esta opción está habilitada de forma predeterminada, a menos que haya activado Importar/Exportar repositorios de datos.

    • Establezca la hora de inicio de la ventana de copia de seguridad automática diaria.

    • Establezca el Período de retención de la copia de seguridad automática, de 1 a 35 días.

    • Defina la hora de inicio de la Ventana de mantenimiento semanal o manténgala en el valor predeterminado Sin preferencia.

    Para obtener más información, consulte Protección de los datos con copias de seguridad y Períodos de mantenimiento de Amazon FSx para Lustre.

  16. En el caso de Root Squash opcional, la característica root squash está deshabilitada de forma predeterminada. Para obtener más información sobre cómo habilitar y configurar root squash, consulte Para habilitar la característica root squash al crear un sistema de archivos (consola).

  17. Cree las etiquetas que desee aplicar a su sistema de archivos.

  18. Seleccione Siguiente para mostrar la página de Resumen de creación del sistema de archivos.

  19. Revise la configuración de su sistema de archivos Amazon FSx para Lustre y seleccione Crear sistema de archivos.

Ahora que creó su sistema de archivos, anote el nombre de dominio completo y su nombre de montaje para un paso posterior. Puede encontrar el nombre de dominio completo y el nombre de montaje de un sistema de archivos seleccionando el nombre del sistema de archivos en el panel Sistemas de archivos y luego seleccionando Adjuntar.

Paso 2: instalar y configurar el cliente Lustre

Antes de poder acceder al sistema de archivos de Amazon FSx para Lustre desde la instancia de Amazon EC2, debe hacer lo siguiente:

  • Compruebe que la instancia de EC2 cumpla con los requisitos mínimos del kernel.

  • Actualice el kernel si es necesario.

  • Descargue e instale el cliente Lustre.

Para comprobar la versión del kernel y descargar el cliente Lustre

  1. Abra una ventana de la terminal en la instancia de EC2.

  2. Determine qué kernel se está ejecutando actualmente en su instancia de procesamiento mediante la ejecución del siguiente comando.

    uname -r

  3. Realice una de las siguientes acciones:

    • Si el comando devuelve 6.1.79-99.167.amzn2023.x86_64 para instancias de EC2 basadas en x86, o 6.1.79-99.167.amzn2023.aarch64 o superior para instancias de EC2 basadas en Graviton2, descargue e instale el cliente Lustre con el siguiente comando.

      sudo dnf install -y lustre-client

    • Si el comando devuelve un resultado inferior 6.1.79-99.167.amzn2023.x86_64 para instancias EC2 basadas en x86, o inferior que 6.1.79-99.167.amzn2023.aarch64 para instancias EC2 basadas en Graviton2, actualice el kernel y reinicie su instancia de Amazon EC2 ejecutando el siguiente comando. 

      sudo dnf -y update kernel && sudo reboot

      Compruebe que el kernel se haya actualizado usando el comando uname -r. A continuación, descargue e instale el cliente Lustre como se describió anteriormente.

    Para obtener información sobre cómo instalar el cliente Lustre en otras distribuciones de Linux, consulte Instalación del cliente de Lustre.

Paso 3: montar el sistema de archivos

Para montar el sistema de archivos, debe crear un directorio de montaje o punto de montaje y, a continuación, montar el sistema de archivos en el cliente y comprobar que este puede acceder al sistema de archivos.

Para montar el sistema de archivos

  1. Haga un directorio para el punto de montaje con el siguiente comando.

    sudo mkdir -p /mnt/fsx

  2. Monte el sistema de archivos de Amazon FSx para Lustre en el directorio que ha creado. Utilice el siguiente comando y sustituya los siguientes elementos:

    • Sustituya file_system_dns_name por el nombre del sistema de nombres de dominio (DNS) del sistema de archivos real.

    • Sustituya mountname por el nombre de montaje del sistema de archivos, que puede obtener ejecutando el comando describe-file-systems command AWS CLI o la operación de la API DescribeFileSystems.

    sudo mount -t lustre -o relatime,flock file_system_dns_name@tcp:/mountname /mnt/fsx

    Este comando monta el sistema de archivos con dos opciones: -o relatime y flock:

    • relatime – Si bien la opción atime mantiene los datos atime (tiempos de acceso al inodo) cada vez que se accede a un archivo, la opción relatime también mantiene los datos atime, pero no para cada vez que se accede a un archivo. Con la opción relatime habilitada, los datos atime se escriben en el disco solo si el archivo se ha modificado desde que los datos atime se actualizaron por última vez (mtime), o si se accedió al archivo por última vez hace más de un cierto tiempo (6 horas por defecto). El uso de la opción relatime o atime optimizará los procesos de liberación de archivos.

      nota

      Si su carga de trabajo requiere una precisión exacta del tiempo de acceso, puede montar con la opción de montaje atime. Sin embargo, hacerlo puede afectar al rendimiento de la carga de trabajo al aumentar el tráfico de red necesario para mantener valores de tiempo de acceso precisos.

      Si su carga de trabajo no requiere tiempo de acceso a metadatos, el uso de la opción de montaje noatime para desactivar las actualizaciones del tiempo de acceso puede proporcionar una ganancia de rendimiento. Tenga en cuenta que los procesos centrados atime como la liberación de archivos o la liberación de la validez de los datos serán imprecisos en su liberación.

    • flock – Permite el bloqueo de archivos para su sistema de archivos. Si no quiere activar el bloqueo de archivos, utilice el comando mount sin flock.

  3. Compruebe que el comando de montaje se haya realizado correctamente listando el contenido del directorio en el que ha montado el sistema de archivos /mnt/fsx, mediante el siguiente comando.

    ls /mnt/fsx
import-path  lustre
$

    También puede utilizar el comando df, a continuación.

    df
Filesystem                      1K-blocks    Used  Available Use% Mounted on
devtmpf                          1001808       0    1001808   0% /dev
tmpfs                            1019760       0    1019760   0% /dev/shm
tmpfs                            1019760     392    1019368   1% /run
tmpfs                            1019760       0    1019760   0% /sys/fs/cgroup
/dev/xvda1                       8376300 1263180    7113120  16% /
123.456.789.0@tcp:/mountname  3547698816   13824 3547678848   1% /mnt/fsx
tmpfs                             203956       0     203956   0% /run/user/1000

    Los resultados muestran el sistema de archivos Amazon FSx montado en /mnt/fsx.

Paso 4: ejecutar el flujo de trabajo

Ahora que se creó y montó su sistema de archivos en una instancia informática, puede utilizarlo para ejecutar su carga de trabajo informática de alto rendimiento.

Puede crear una asociación de repositorio de datos para vincular su sistema de archivos a un repositorio de datos de Amazon S3, Para obtener más información, consulte Vincular el sistema de archivos a un bucket de Amazon S3.

Una vez que haya vinculado su sistema de archivos a un repositorio de datos de Amazon S3, podrá exportar los datos que haya escrito en su sistema de archivos de vuelta a su bucket de Amazon S3 en cualquier momento. Desde un terminal en una de sus instancias informáticas, ejecute el siguiente comando para exportar un archivo a su bucket de Amazon S3.

sudo lfs hsm_archive file_name

Para obtener más información sobre cómo ejecutar este comando en una carpeta o una gran colección de archivos rápidamente, consulte Exportación de archivos mediante comandos de HSM.

Paso 5: Limpieza de recurso

Cuando haya terminado este ejercicio, debe seguir estos pasos para limpiar sus recursos y proteger su cuenta de AWS.

Cómo limpiar los recursos

  1. Si desea realizar una exportación final, ejecute el siguiente comando.

    nohup find /mnt/fsx -type f -print0 | xargs -0 -n 1 sudo lfs hsm_archive &

  2. En la consola de Amazon EC2, termine la instancia. Para obtener más información, consulte Finalizar una instancia en la Guía del usuario de Amazon EC2.

  3. En la consola de Amazon FSx para Lustre, elimine su sistema de archivos con el siguiente procedimiento:

    1. En el panel de navegación, elija File systems (Sistema de archivos).

    2. Elija el sistema de archivos que desea eliminar de la lista de sistemas de archivos del panel.

    3. En Acciones, seleccione Eliminar sistema de archivos.

    4. En el cuadro de diálogo que aparece, elija si desea realizar una copia de seguridad final del sistema de archivos. A continuación, indique el ID del sistema de archivos para confirmar la eliminación. Seleccione Delete file system (Eliminar sistema de archivos).

  4. Si ha creado un bucket de Amazon S3 para este ejercicio y no desea conservar los datos exportados, puede eliminarlo. Para obtener más información, consulte Eliminación de un bucket en la Guía del usuario de Amazon Simple Storage Service.