Commencer à utiliser Amazon FSx pour Lustre - FSx pour Lustre

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Commencer à utiliser Amazon FSx pour Lustre

Vous découvrirez ci-dessous comment commencer à utiliser Amazon FSx pour Lustre. Ces étapes vous guident dans la création d'un système de fichiers Amazon FSx for Lustre et l'accès à celui-ci depuis vos instances de calcul. Ils montrent éventuellement comment utiliser votre système de fichiers Amazon FSx for Lustre pour traiter les données de votre compartiment Amazon S3 avec vos applications basées sur des fichiers.

Cet exercice de mise en route comprend les étapes suivantes.

Prérequis

Pour effectuer cet exercice de mise en route, vous avez besoin des éléments suivants :

  • Un AWS compte disposant des autorisations nécessaires pour créer un système de fichiers Amazon FSx for Lustre et une EC2 instance Amazon. Pour de plus amples informations, veuillez consulter Configuration Amazon FSx for Lustre.

  • Créez un groupe de sécurité Amazon VPC à associer à votre système de fichiers FSx for Lustre, et ne le modifiez pas après la création du système de fichiers. Pour plus d'informations, consultez Pour créer un groupe de sécurité pour votre système de FSx fichiers Amazon.

  • Une EC2 instance Amazon exécutant une version Linux prise en charge dans votre cloud privé virtuel (VPC) sur la base du service Amazon VPC. Pour cet exercice de mise en route, nous vous recommandons d'utiliser Amazon Linux 2023. Vous allez installer le Lustre client sur cette EC2 instance, puis monter votre système de fichiers FSx for Lustre sur l' EC2 instance. Pour plus d'informations sur la création d'une EC2 instance, consultez Getting started : Launch an instance ou Launch your instance dans le guide de EC2 l'utilisateur Amazon.

    Outre Amazon Linux 2023, le Lustre client prend en charge les systèmes d'exploitation Amazon Linux 2, Red Hat Enterprise Linux (RHEL), CentOS, Rocky Linux, SUSE Linux Enterprise Server et Ubuntu. Pour de plus amples informations, veuillez consulter Lustrecompatibilité entre le système de fichiers et le noyau client.

  • Lorsque vous créez votre EC2 instance Amazon pour cet exercice de mise en route, gardez à l'esprit les points suivants :

    • Nous vous recommandons de créer votre instance dans votre VPC par défaut.

    • Nous vous recommandons d'utiliser le groupe de sécurité par défaut lors de la création de votre EC2 instance.

  • Déterminez le type de système de fichiers Amazon FSx for Lustre que vous souhaitez créer, à gratter ou à conserver. Pour de plus amples informations, veuillez consulter Options de classe de déploiement et de stockage FSx pour les systèmes de fichiers Lustre.

  • Chaque système de fichiers FSx pour Lustre nécessite une adresse IP pour chaque serveur de métadonnées (MDS) et une adresse IP pour chaque serveur de stockage (OSS). Pour de plus amples informations, veuillez consulter Adresses IP pour les systèmes de fichiers.

  • Un compartiment Amazon S3 stockant les données à traiter par votre charge de travail. Le compartiment S3 sera le référentiel de données durable lié à votre système de fichiers FSx for Lustre.

Étape 1 : Créez votre système de fichiers FSx for Lustre

Vous créez votre système de fichiers dans la FSx console Amazon. Notez que tous les systèmes de fichiers FSx pour Lustre sont basés sur la Lustre version 2.15 lorsqu'ils sont créés à l'aide de la FSx console Amazon.

Pour créer votre système de fichiers .
  1. Ouvrez la FSx console Amazon à l'adresse https://console.aws.amazon.com/fsx/.

  2. Dans le tableau de bord, choisissez Créer un système de fichiers pour démarrer l'assistant de création de système de fichiers.

  3. Choisissez FSx for Lustrepuis cliquez sur Suivant pour afficher la page Créer un système de fichiers.

    Commencez votre configuration par la section Détails du système de fichiers.

  4. Pour Nom du système de fichiers facultatif, indiquez le nom de votre système de fichiers. Vous pouvez utiliser jusqu'à 256 lettres Unicode, espaces blancs et chiffres, ainsi que les caractères spéciaux + - =. _ :/.

  5. Pour Déploiement et classe de stockage, choisissez l'une des options suivantes :

    • Choisissez un SSD persistant pour le stockage à long terme et pour les charges de travail sensibles à la latence. Avec le stockage SSD, la quantité de stockage que vous fournissez vous est facturée.

      Vous pouvez également choisir d'activer EFA pour activer la prise en charge d'Elastic Fabric Adapter (EFA) pour le système de fichiers. Pour plus d'informations sur l'EFA, consultezUtilisation de systèmes de fichiers compatibles avec EFA.

    • Optez pour une hiérarchisation persistante et intelligente pour un stockage à long terme. La classe de stockage Intelligent-Tiering fournit un stockage entièrement élastique et économique adapté à la plupart des charges de travail, ainsi qu'un cache de lecture SSD en option qui fournit des latences SSD pour la lecture des données fréquemment consultées. Avec Intelligent-Tiering, vous êtes facturé pour les données que vous stockez, en fonction de la taille de votre ensemble de données, et il n'est pas nécessaire de spécifier la taille du système de fichiers.

      Vous pouvez également choisir d'activer EFA pour activer la prise en charge d'Elastic Fabric Adapter (EFA) pour le système de fichiers.

    • Choisissez Scratch, le déploiement de SSD pour le stockage temporaire et le traitement des données à court terme. Avec le stockage SSD, la quantité de stockage que vous fournissez vous est facturée.

  6. Choisissez le débit de votre système de fichiers. Vous payez le débit que vous allouez.

    • Pour le stockage SSD persistant, choisissez une valeur de débit par unité de stockage. Le débit par unité de stockage est le débit de lecture et d'écriture pour chaque tebioctet (TiB) de stockage provisionné.

    • Pour le stockage SSD Scratch, choisissez une valeur de débit par unité de stockage.

    • Pour le stockage à hiérarchisation intelligente, choisissez une valeur de capacité de débit.

  7. Pour Capacité de stockage (classe de stockage SSD uniquement), définissez la capacité de stockage de votre système de fichiers, en To :

    • Pour un type de déploiement SSD persistant, définissez-le sur une valeur de 1,2 TiB, 2,4 TiB ou par incréments de 2,4 TiB.

    • Pour un type de déploiement SSD persistant compatible EFA, définissez cette valeur par incréments de 4,8 TiB, 9,6 TiB, 19,2 TiB et 38,4 TiB pour les niveaux de débit de 1 000, 500, 250 et 125 /TiB, respectivement. MBps

    Vous pouvez augmenter la capacité de stockage selon vos besoins après avoir créé le système de fichiers. Pour de plus amples informations, veuillez consulter Gestion de la capacité de stockage.

  8. Pour la configuration des métadonnées, choisissez l'une des options suivantes pour définir le nombre d'IOPS de métadonnées pour votre système de fichiers :

    • Choisissez Automatique (classe de stockage SSD uniquement) si vous souhaitez qu'Amazon FSx for Lustre provisionne et adapte automatiquement les IOPS de métadonnées sur votre système de fichiers en fonction de la capacité de stockage de ce dernier.

    • Choisissez Provisioned par l'utilisateur si vous souhaitez spécifier le nombre d'IOPS de métadonnées à provisionner pour votre système de fichiers avec une classe de stockage SSD ou Intelligent-Tiering. Les valeurs valides sont les suivantes :

      • Pour les systèmes de fichiers SSD, les valeurs valides sont 15003000,6000,12000, et des multiples 12000 allant jusqu'à un maximum de192000.

      • Pour les systèmes de fichiers à hiérarchisation intelligente, les valeurs valides sont et. 6000 12000

    Pour plus d'informations sur les IOPS des métadonnées, consultezLustreconfiguration des performances des métadonnées.

  9. Pour le cache de lecture SSD (hiérarchisation intelligente uniquement), sélectionnez Automatique (proportionnel à la capacité de débit) ou Personnalisé (provisionné par l'utilisateur). Avec l'option Automatique, Amazon FSx for Lustre choisit automatiquement une taille de cache de lecture en fonction du débit que vous avez configuré. Si vous connaissez la taille approximative de votre ensemble de données de travail actif, vous pouvez sélectionner Personnalisé pour personnaliser la taille du cache de lecture SSD. Pour de plus amples informations, veuillez consulter Gestion du cache de lecture SSD provisionné.

  10. Pour le type de compression des données, choisissez AUCUN pour désactiver la compression des données ou choisissez LZ4d'activer la compression des données avec l' LZ4 algorithme. Pour de plus amples informations, veuillez consulter Lustrecompression de données.

  11. Dans la section Réseau et sécurité, fournissez les informations suivantes sur le réseau et le groupe de sécurité :

    • Pour Virtual Private Cloud (VPC), choisissez le VPC que vous souhaitez associer à votre système de fichiers. Pour cet exercice de mise en route, choisissez le même VPC que celui que vous avez choisi pour votre instance Amazon EC2 .

    • Pour les groupes de sécurité VPC, l'ID du groupe de sécurité par défaut de votre VPC doit déjà être ajouté.

      Si vous n'utilisez pas le groupe de sécurité par défaut, assurez-vous que la règle entrante suivante est ajoutée au groupe de sécurité que vous utilisez pour cet exercice de démarrage.

      Type Protocole Plage de ports Source Description
      Tous les TCP TCP 0-65535 Personnalisé the_ID_of_this_security_group Règle relative au Lustre trafic entrant
      Important
      • Assurez-vous que le groupe de sécurité que vous utilisez suit les instructions de configuration fournies dansContrôle d'accès au système de fichiers avec Amazon VPC. Vous devez configurer le groupe de sécurité pour autoriser le trafic entrant sur les ports 988 et 1018-1023 à partir du groupe de sécurité lui-même ou du CIDR du sous-réseau complet, qui est nécessaire pour permettre aux hôtes du système de fichiers de communiquer entre eux.

      • Si vous créez un système de fichiers compatible EFA, assurez-vous de spécifier un groupe de sécurité compatible EFA.

    • Pour Sous-réseau, choisissez une valeur dans la liste des sous-réseaux disponibles.

  12. Pour la section Chiffrement, les options disponibles varient en fonction du type de système de fichiers que vous créez :

    • Dans le cas d'un système de fichiers persistant, vous pouvez choisir une clé de chiffrement AWS Key Management Service (AWS KMS) pour chiffrer les données de votre système de fichiers au repos.

    • Dans le cas d'un système de fichiers scratch, les données au repos sont chiffrées à l'aide de clés gérées par AWS.

    • Pour les systèmes de fichiers Scratch 2 et persistants, les données en transit sont chiffrées automatiquement lorsque le système de fichiers est accessible à partir d'un type d' EC2 instance Amazon compatible. Pour de plus amples informations, veuillez consulter chiffrement des données en transit.

  13. Pour la section facultative Import/Export de référentiels de données, la liaison de votre système de fichiers aux référentiels de données Amazon S3 est désactivée par défaut. Pour plus d'informations sur l'activation de cette option et la création d'une association de référentiel de données à un compartiment S3 existant, consultezPour lier un compartiment S3 lors de la création d'un système de fichiers (console).

    Important
    • La sélection de cette option désactive également les sauvegardes et vous ne pourrez pas les activer lors de la création du système de fichiers.

    • Si vous liez un ou plusieurs systèmes de fichiers Amazon FSx for Lustre à un compartiment Amazon S3, ne supprimez pas le compartiment Amazon S3 tant que tous les systèmes de fichiers liés n'ont pas été supprimés.

    • Les systèmes de fichiers à hiérarchisation intelligente ne prennent pas en charge les liens vers les référentiels de données Amazon S3.

  14. Pour la journalisation facultative, la journalisation est activée par défaut. Lorsque cette option est activée, les défaillances et les avertissements relatifs à l'activité du référentiel de données sur votre système de fichiers sont enregistrés dans Amazon CloudWatch Logs. Pour plus d'informations sur la configuration de la journalisation, consultezGestion de la journalisation.

  15. Dans Backup and maintenance optional, vous pouvez effectuer les opérations suivantes.

    • Désactivez la sauvegarde automatique quotidienne. Cette option est activée par défaut, sauf si vous avez activé Import/Export du référentiel de données.

    • Définissez l'heure de début de la fenêtre de sauvegarde automatique quotidienne.

    • Définissez la période de conservation automatique des sauvegardes, comprise entre 1 et 35 jours.

    • Définissez l'heure de début de la fenêtre de maintenance hebdomadaire ou conservez-la sur la valeur par défaut Aucune préférence.

    Pour plus d’informations, consultez Protection de vos données grâce à des sauvegardes et Fenêtres FSx de maintenance Amazon pour Lustre.

  16. Pour Root Squash (facultatif), le root squash est désactivé par défaut. Pour plus d'informations sur l'activation et la configuration de Root Squash, consultezPour activer Root Squash lors de la création d'un système de fichiers (console).

  17. Créez les balises que vous souhaitez appliquer à votre système de fichiers.

  18. Choisissez Suivant pour afficher la page récapitulative de la création d'un système de fichiers.

  19. Vérifiez les paramètres de votre système de fichiers Amazon FSx for Lustre, puis choisissez Create file system.

Maintenant que vous avez créé votre système de fichiers, notez son nom de domaine complet et son nom de montage pour une étape ultérieure. Vous pouvez trouver le nom de domaine complet et le nom de montage d'un système de fichiers en choisissant le nom du système de fichiers dans le tableau de bord des systèmes de fichiers, puis en choisissant Attacher.

Étape 2 : Installation et configuration du Lustre client

Avant de pouvoir accéder à votre système de fichiers Amazon FSx for Lustre depuis votre EC2 instance Amazon, vous devez effectuer les opérations suivantes :

  • Vérifiez que votre EC2 instance répond aux exigences minimales du noyau.

  • Mettez à jour le noyau si nécessaire.

  • Téléchargez et installez le Lustre client.

Pour vérifier la version du noyau et télécharger le Lustre client
  1. Ouvrez une fenêtre de terminal sur votre EC2 instance.

  2. Déterminez quel noyau est actuellement en cours d'exécution sur votre instance de calcul en exécutant la commande suivante.

    uname -r
  3. Effectuez l’une des actions suivantes :

    • Si la commande est renvoyée 6.1.79-99.167.amzn2023.x86_64 pour les EC2 instances basées sur x86, 6.1.79-99.167.amzn2023.aarch64 ou supérieures pour les instances basées sur Graviton2, téléchargez et installez le EC2 client à l'aide de la Lustre commande suivante.

      sudo dnf install -y lustre-client
    • Si la commande renvoie un résultat inférieur à celui 6.1.79-99.167.amzn2023.x86_64 des EC2 instances basées sur x86, ou inférieur 6.1.79-99.167.amzn2023.aarch64 à celui des instances basées sur Graviton2 EC2 , mettez à jour le noyau et redémarrez votre EC2 instance Amazon en exécutant la commande suivante.

      sudo dnf -y update kernel && sudo reboot

      Vérifiez que le noyau a été mis à jour à l'aide de la uname -r commande. Téléchargez et installez ensuite le Lustre client comme décrit ci-dessus.

    Pour plus d'informations sur l'installation du Lustre client sur d'autres distributions Linux, consultezInstallation du Lustre client.

Étape 3 : monter le système de fichiers

Pour monter votre système de fichiers, vous allez créer un répertoire de montage, ou point de montage, puis monter le système de fichiers sur votre client et vérifier que celui-ci peut accéder au système de fichiers.

Pour monter votre système de fichiers
  1. Créez un répertoire pour le montage point à l’aide de la commande suivante.

    sudo mkdir -p /mnt/fsx
  2. Montez le système de fichiers Amazon FSx for Lustre dans le répertoire que vous avez créé. Utilisez la commande suivante et remplacez les éléments suivants :

    • Remplacez file_system_dns_name par le nom du système de noms de domaine (DNS) actuel du système de fichiers.

    • mountnameRemplacez-le par le nom de montage du système de fichiers, que vous pouvez obtenir en exécutant la describe-file-systems AWS CLI commande ou en exécutant l'opération DescribeFileSystemsAPI.

    sudo mount -t lustre -o relatime,flock file_system_dns_name@tcp:/mountname /mnt/fsx

    Cette commande permet de monter votre système de fichiers avec deux options, -o relatime et flock :

    • relatime— Bien que l'atimeoption conserve atime (temps d'accès aux inodes) les données pour chaque accès à un fichier, elle conserve également les relatime atime données, mais pas pour chaque accès à un fichier. Lorsque l'relatimeoption est activée, les atime données sont écrites sur le disque uniquement si le fichier a été modifié depuis la dernière mise à jour des atime données (mtime), ou si le dernier accès au fichier remonte à un certain temps (6 heures par défaut). L'utilisation de l'atimeoption relatime ou optimisera les processus de publication des fichiers.

      Note

      Si votre charge de travail nécessite un temps d'accès précis, vous pouvez utiliser l'option de atime montage. Cela peut toutefois avoir un impact sur les performances de la charge de travail en augmentant le trafic réseau requis pour maintenir des valeurs de temps d'accès précises.

      Si votre charge de travail ne nécessite pas de temps d'accès aux métadonnées, l'utilisation de l'option de noatime montage pour désactiver les mises à jour du temps d'accès peut apporter un gain de performances. Sachez que les processus atime ciblés tels que la publication de fichiers ou la publication de la validité des données seront inexacts lors de leur publication.

    • flock— Active le verrouillage des fichiers pour votre système de fichiers. Si vous ne souhaitez pas activer le verrouillage des fichiers, utilisez la mount commande sansflock.

  3. Vérifiez que la commande mount a réussi en répertoriant le contenu du répertoire dans lequel vous avez monté le système de fichiers/mnt/fsx, à l'aide de la commande suivante.

    ls /mnt/fsx import-path lustre $

    Vous pouvez également utiliser la df commande suivante.

    df Filesystem 1K-blocks Used Available Use% Mounted on devtmpf 1001808 0 1001808 0% /dev tmpfs 1019760 0 1019760 0% /dev/shm tmpfs 1019760 392 1019368 1% /run tmpfs 1019760 0 1019760 0% /sys/fs/cgroup /dev/xvda1 8376300 1263180 7113120 16% / 123.456.789.0@tcp:/mountname 3547698816 13824 3547678848 1% /mnt/fsx tmpfs 203956 0 203956 0% /run/user/1000

    Les résultats indiquent que le système de FSx fichiers Amazon est montéon /mnt/fsx.

Étape 4 : Exécutez votre flux de travail

Maintenant que votre système de fichiers a été créé et monté sur une instance de calcul, vous pouvez l'utiliser pour exécuter votre charge de travail de calcul à hautes performances.

Vous pouvez créer une association de référentiel de données pour lier votre système de fichiers à un référentiel de données Amazon S3. Pour plus d'informations, consultezLier votre système de fichiers à un compartiment Amazon S3.

Après avoir lié votre système de fichiers à un référentiel de données Amazon S3, vous pouvez à tout moment exporter les données que vous avez écrites dans votre système de fichiers vers votre compartiment Amazon S3. Depuis un terminal sur l'une de vos instances de calcul, exécutez la commande suivante pour exporter un fichier vers votre compartiment Amazon S3.

sudo lfs hsm_archive file_name

Pour plus d'informations sur la façon d'exécuter rapidement cette commande sur un dossier ou une grande collection de fichiers, consultezExportation de fichiers à l'aide de commandes HSM.

Étape 5 : Nettoyer les ressources

Une fois cet exercice terminé, vous devez suivre ces étapes pour nettoyer vos ressources et protéger votre AWS compte.

Pour nettoyer des ressources
  1. Si vous souhaitez effectuer une exportation finale, exécutez la commande suivante.

    nohup find /mnt/fsx -type f -print0 | xargs -0 -n 1 sudo lfs hsm_archive &
  2. Sur la EC2 console Amazon, mettez fin à votre instance. Pour plus d'informations, consultez Résilier votre instance dans le guide de EC2 l'utilisateur Amazon.

  3. Sur la console Amazon FSx for Lustre, supprimez votre système de fichiers en suivant la procédure suivante :

    1. Dans le volet de navigation, sélectionnez Systèmes de fichiers.

    2. Choisissez le système de fichiers que vous souhaitez supprimer dans la liste des systèmes de fichiers du tableau de bord.

    3. Dans Actions, choisissez Supprimer le système de fichiers.

    4. Dans la boîte de dialogue qui apparaît, indiquez si vous souhaitez effectuer une sauvegarde finale du système de fichiers. Indiquez ensuite l'ID du système de fichiers pour confirmer la suppression. Choisissez Supprimer le système de fichiers.

  4. Si vous avez créé un compartiment Amazon S3 pour cet exercice, et si vous ne souhaitez pas conserver les données que vous avez exportées, vous pouvez désormais le supprimer. Pour plus d'informations, consultez Supprimer un compartiment dans le guide de l'utilisateur d'Amazon Simple Storage Service.