Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
# Amazon FSx pour les performances de Lustre
Ce chapitre fournit des informations sur FSx les performances d'Amazon for Lustre, notamment des conseils et des recommandations importants pour optimiser les performances de votre système de fichiers.
**Topics**
+ [Présentation de](#performance-overview)
+ [Comment fonctionnent FSx les systèmes de fichiers Lustre](#how-lustre-fs-work)
+ [Performances des métadonnées du système de fichiers](#dne-metadata-performance)
+ [Débit vers les instances clientes individuelles](#throughput-clients)
+ [Disposition du stockage du système de fichiers](#storage-layout)
+ [Regrouper les données dans votre système de fichiers](#striping-data)
+ [Surveillance des performances et de l'utilisation](#performance-monitoring)
+ [Caractéristiques de performance des classes de stockage SSD et HDD](ssd-storage.md)
+ [Caractéristiques de performance de la classe de stockage Intelligent-Tiering](intelligent-tiering-file-systems.md)
+ [Conseils sur les performances](performance-tips.md)
## Présentation de
Amazon FSx for Lustre, basé sur Lustre le célèbre système de fichiers hautes performances, fournit des performances d'évolutivité qui augmentent de façon linéaire en fonction de la taille du système de fichiers. Lustreles systèmes de fichiers évoluent horizontalement sur plusieurs serveurs de fichiers et disques. Cette mise à l'échelle donne à chaque client un accès direct aux données stockées sur chaque disque afin de supprimer de nombreux goulots d'étranglement présents dans les systèmes de fichiers traditionnels. Amazon FSx for Lustre s'appuie sur une architecture Lustre évolutive pour garantir des niveaux de performance élevés à un grand nombre de clients.
## Comment fonctionnent FSx les systèmes de fichiers Lustre
Chaque système de fichiers FSx pour Lustre comprend les serveurs de fichiers avec lesquels les clients communiquent et un ensemble de disques connectés à chaque serveur de fichiers qui stockent vos données. Chaque serveur de fichiers utilise un cache rapide en mémoire pour améliorer les performances des données les plus fréquemment consultées. En fonction de la classe de stockage, votre serveur de fichiers peut être doté d'un cache de lecture SSD en option. Lorsqu'un client accède à des données stockées dans le cache en mémoire ou dans le cache SSD, le serveur de fichiers n'a pas besoin de les lire sur le disque, ce qui réduit le temps de latence et augmente le débit total que vous pouvez atteindre. Le schéma suivant illustre les chemins d'une opération d'écriture, d'une opération de lecture effectuée à partir du disque et d'une opération de lecture effectuée à partir d'un cache en mémoire ou d'un cache SSD.
![\[FSx pour l'architecture de performance Lustre.\]](http://docs.aws.amazon.com/fr_fr/fsx/latest/LustreGuide/images/LustrePerfDiagram.png)
Lorsque vous lisez des données stockées dans le cache en mémoire ou SSD du serveur de fichiers, les performances du système de fichiers sont déterminées par le débit du réseau. Lorsque vous écrivez des données dans votre système de fichiers ou que vous lisez des données qui ne sont pas stockées dans le cache en mémoire, les performances du système de fichiers sont déterminées par la baisse du débit du réseau et du débit du disque.
Pour en savoir plus sur le débit réseau, le débit du disque et les caractéristiques d'IOPS des classes de stockage SSD et HDD, consultez et. [Caractéristiques de performance des classes de stockage SSD et HDD](ssd-storage.md) [Caractéristiques de performance de la classe de stockage Intelligent-Tiering](intelligent-tiering-file-systems.md)
## Performances des métadonnées du système de fichiers
Les opérations d'E/S par seconde (IOPS) des métadonnées du système de fichiers déterminent le nombre de fichiers et de répertoires que vous pouvez créer, répertorier, lire et supprimer par seconde.
Les deux systèmes de fichiers persistants vous permettent de fournir des IOPS de métadonnées indépendamment de la capacité de stockage et de fournir une visibilité accrue sur le nombre et le type de métadonnées que les instances clientes IOPS génèrent sur votre système de fichiers. Avec les systèmes de fichiers SSD, les IOPS de métadonnées sont automatiquement provisionnées en fonction de la capacité de stockage que vous fournissez. Le mode automatique n'est pas pris en charge sur les systèmes de fichiers Intelligent-Tiering.
Dans le FSx cas des systèmes de fichiers Lustre Persistent 2, le nombre d'IOPS de métadonnées que vous fournissez et le type d'opération de métadonnées déterminent le taux d'opérations de métadonnées que votre système de fichiers peut prendre en charge. Le niveau d'IOPS de métadonnées que vous fournissez détermine le nombre d'IOPS provisionnés pour les disques de métadonnées de votre système de fichiers.
| Type d'opération | Opérations que vous pouvez effectuer par seconde pour chaque IOPS de métadonnées provisionnée |
| --- | --- |
| Création, ouverture et fermeture de fichiers | 2 |
| Supprimer le fichier | 1 |
| Créer, renommer un répertoire | 0.1 |
| Supprimer le répertoire | 0.2 |
Pour les systèmes de fichiers SSD, vous pouvez choisir de fournir des IOPS de métadonnées en mode automatique. En mode automatique, Amazon provisionne FSx automatiquement les IOPS de métadonnées en fonction de la capacité de stockage de votre système de fichiers, conformément au tableau ci-dessous :
| Capacité de stockage du système de fichiers | IOPS de métadonnées incluses en mode automatique |
| --- | --- |
| 1200 GiB | 1 500 |
| 2400 GiB | 3000 |
| 4800—9600 GiB | 6 000 |
| 12 000 à 45 600 GiB | 12 000 |
| ≥ 48 000 GiB | 12 000 IOPS par 24 000 GiB |
En mode provisionné par l'utilisateur, vous pouvez éventuellement choisir de spécifier le nombre d'IOPS de métadonnées à fournir. Les valeurs valides sont les suivantes :
+ Pour les systèmes de fichiers SSD, les valeurs valides sont `1500``3000`,`6000`,`12000`, et des multiples `12000` allant jusqu'à un maximum de`192000`.
+ Pour les systèmes de fichiers à hiérarchisation intelligente, les valeurs valides sont et. `6000` `12000`
Pour plus d'informations sur la configuration des IOPS de métadonnées, consultez[Gestion des performances des métadonnées](managing-metadata-performance.md). Notez que vous payez pour les IOPS de métadonnées mises en service au-delà du nombre d'IOPS de métadonnées par défaut pour votre système de fichiers.
## Débit vers les instances clientes individuelles
Si vous créez un système de fichiers avec une capacité GBps de débit supérieure à 10 %, nous vous recommandons d'activer Elastic Fabric Adapter (EFA) afin d'optimiser le débit par instance client. Pour optimiser davantage le débit par instance client, les systèmes de fichiers compatibles EFA prennent également en charge le GPUDirect stockage pour les instances clientes basées sur le GPU NVIDIA compatibles EFA et ENA Express pour les instances clientes compatibles ENA Express.
Le débit que vous pouvez transmettre à une instance cliente unique dépend du type de système de fichiers que vous avez choisi et de l'interface réseau de votre instance cliente.
| Type de système de fichiers | Interface réseau de l'instance client | Débit maximal par client, Gbit/s |
| --- | --- | --- |
| Non compatible avec l'EFA | N’importe lequel | 100 Gbit/s \$1 |
| Compatible avec l'EFA | ENA | 100 Gbit/s \$1 |
| Compatible avec l'EFA | ENA Express | 100 Gbit/s |
| Compatible avec l'EFA | EFA | 700 Gbit/s |
| Compatible avec l'EFA | EFA avec GDS | 1 200 Gbit/s |
**Note**
\$1 Le trafic entre une instance client individuelle et un individu FSx pour le serveur de stockage d'objets Lustre est limité à 5 Gbit/s. Reportez-vous au [Adresses IP pour les systèmes de fichiers](using-fsx-lustre.md#ip-addesses-for-fs) pour connaître le nombre de serveurs de stockage d'objets qui sous-tendent votre système de fichiers FSx for Lustre.
## Disposition du stockage du système de fichiers
Toutes les données des fichiers sont Lustre stockées sur des volumes de stockage appelés *cibles de stockage d'objets* (OSTs). Toutes les métadonnées des fichiers (y compris les noms de fichiers, les horodatages, les autorisations, etc.) sont stockées sur des volumes de stockage appelés *cibles de métadonnées* (MDTs). Les systèmes de fichiers Amazon FSx for Lustre sont composés d'un ou plusieurs systèmes MDTs de fichiers OSTs. Amazon FSx for Lustre répartit les données de vos fichiers sur les OSTs éléments qui constituent votre système de fichiers afin d'équilibrer la capacité de stockage avec le débit et la charge IOPS.
Pour afficher l'utilisation du stockage par le MDT et OSTs les éléments constitutifs de votre système de fichiers, exécutez la commande suivante depuis un client sur lequel le système de fichiers est monté.
```
lfs df -h mount/path
```
La sortie de cette commande ressemble à ce qui suit.
**Example**
```
UUID bytes Used Available Use% Mounted on
mountname-MDT0000_UUID 68.7G 5.4M 68.7G 0% /fsx[MDT:0]
mountname-OST0000_UUID 1.1T 4.5M 1.1T 0% /fsx[OST:0]
mountname-OST0001_UUID 1.1T 4.5M 1.1T 0% /fsx[OST:1]
filesystem_summary: 2.2T 9.0M 2.2T 0% /fsx
```
## Regrouper les données dans votre système de fichiers
Vous pouvez optimiser les performances de débit de votre système de fichiers grâce au découpage des fichiers. Amazon FSx for Lustre répartit automatiquement les fichiers OSTs afin de garantir que les données sont diffusées depuis tous les serveurs de stockage. Vous pouvez appliquer le même concept au niveau des fichiers en configurant la manière dont les fichiers sont répartis sur plusieurs OSTs.
Le striping signifie que les fichiers peuvent être divisés en plusieurs morceaux qui sont ensuite stockés sur différents. OSTs Lorsqu'un fichier est réparti entre plusieurs OSTs, les demandes de lecture ou d'écriture adressées au fichier sont réparties entre celles-ci OSTs, ce qui augmente le débit agrégé ou le nombre d'IOPS que vos applications peuvent traiter.
Voici les mises en page par défaut pour les systèmes de fichiers Amazon FSx for Lustre.
+ Pour les systèmes de fichiers créés avant le 18 décembre 2020, la mise en page par défaut indique un nombre de bandes de 1. Cela signifie qu'à moins qu'une disposition différente ne soit spécifiée, chaque fichier créé dans Amazon FSx for Lustre à l'aide d'outils Linux standard est stocké sur un seul disque.
+ Pour les systèmes de fichiers créés après le 18 décembre 2020, la mise en page par défaut est une mise en page progressive dans laquelle les fichiers de moins de 1 Go sont stockés sur une bande, tandis que les fichiers plus volumineux se voient attribuer un nombre de bandes de 5.
+ Pour les systèmes de fichiers créés après le 25 août 2023, la mise en page par défaut est une mise en page progressive à 4 composants, comme expliqué dans[Mises en page de fichiers progressives](#striping-pfl).
+ Pour tous les systèmes de fichiers, quelle que soit leur date de création, les fichiers importés depuis Amazon S3 n'utilisent pas la mise en page par défaut, mais celle des `ImportedFileChunkSize` paramètres du système de fichiers. Les fichiers importés au format S3 plus grands que le `ImportedFileChunkSize` seront stockés sur plusieurs OSTs avec un nombre de bandes de. `(FileSize / ImportedFileChunksize) + 1` La valeur par défaut de `ImportedFileChunkSize` est 1 GiB.
Vous pouvez afficher la configuration de mise en page d'un fichier ou d'un répertoire à l'aide de la `lfs getstripe` commande.
```
lfs getstripe path/to/filename
```
Cette commande indique le nombre de bandes, la taille des bandes et le décalage des bandes d'un fichier. Le *nombre de bandes* correspond OSTs au nombre de bandes réparties sur le fichier. La *taille de bande* correspond à la quantité de données continues stockées sur un OST. Le *décalage de bande* est l'indice du premier OST sur lequel le fichier est réparti par bandes.
### Modification de votre configuration de striping
Les paramètres de mise en page d'un fichier sont définis lors de sa création initiale. Utilisez la `lfs setstripe` commande pour créer un nouveau fichier vide avec une mise en page spécifiée.
```
lfs setstripe filename --stripe-count number_of_OSTs
```
La `lfs setstripe` commande affecte uniquement la mise en page d'un nouveau fichier. Utilisez-le pour définir la mise en page d'un fichier avant de le créer. Vous pouvez également définir la mise en page d'un répertoire. Une fois définie dans un répertoire, cette mise en page est appliquée à chaque nouveau fichier ajouté à ce répertoire, mais pas aux fichiers existants. Tout nouveau sous-répertoire que vous créez hérite également de la nouvelle mise en page, qui est ensuite appliquée à tout nouveau fichier ou répertoire que vous créez dans ce sous-répertoire.
Pour modifier la mise en page d'un fichier existant, utilisez la `lfs migrate` commande. Cette commande copie le fichier selon les besoins pour distribuer son contenu conformément à la mise en page que vous spécifiez dans la commande. Par exemple, les fichiers ajoutés ou dont la taille est augmentée ne modifient pas le nombre de bandes. Vous devez donc les migrer pour modifier la mise en page du fichier. Vous pouvez également créer un nouveau fichier à l'aide de la `lfs setstripe` commande pour définir sa mise en page, copier le contenu d'origine dans le nouveau fichier, puis renommer le nouveau fichier pour remplacer le fichier d'origine.
Dans certains cas, la configuration de mise en page par défaut n'est pas optimale pour votre charge de travail. Par exemple, un système de fichiers contenant des dizaines OSTs et un grand nombre de fichiers de plusieurs gigaoctets peut améliorer ses performances en répartissant les fichiers sur un nombre de bandes supérieur à la valeur de cinq par défaut. OSTs La création de fichiers volumineux avec un faible nombre de bandes peut entraîner des problèmes de I/O performances et peut également entraîner un OSTs surpeuplement. Dans ce cas, vous pouvez créer un répertoire avec un plus grand nombre de bandes pour ces fichiers.
La configuration d'une mise en page par bandes pour les fichiers volumineux (en particulier les fichiers dont la taille est supérieure à un gigaoctet) est importante pour les raisons suivantes :
+ Améliore le débit en permettant à plusieurs serveurs OSTs et à leurs serveurs associés de contribuer aux IOPS, à la bande passante réseau et aux ressources du processeur lors de la lecture et de l'écriture de fichiers volumineux.
+ Réduit le risque qu'un petit sous-ensemble d'entre eux se OSTs transforme en points chauds limitant les performances globales de la charge de travail.
+ Empêche un seul fichier volumineux de remplir un fichier OST, ce qui peut provoquer des erreurs de saturation du disque.
Il n'existe pas de configuration de mise en page optimale unique pour tous les cas d'utilisation. Pour obtenir des conseils détaillés sur la mise en page des fichiers, consultez [la section Gestion de la mise en page des fichiers (striping) et de l'espace libre](https://doc.lustre.org/lustre_manual.xhtml#managingstripingfreespace) dans la documentation de Lustre.org. Les directives générales suivantes sont les suivantes :
+ La mise en page par bandes est particulièrement importante pour les fichiers volumineux, en particulier pour les cas d'utilisation où les fichiers ont généralement une taille de plusieurs centaines de mégaoctets ou plus. Pour cette raison, la mise en page par défaut d'un nouveau système de fichiers assigne un nombre de bandes de cinq pour les fichiers de plus de 1 Go.
+ Le nombre de bandes est le paramètre de mise en page que vous devez ajuster pour les systèmes prenant en charge des fichiers volumineux. Le nombre de bandes indique le nombre de volumes OST qui contiendront des fragments d'un fichier par bandes. Par exemple, avec un nombre de bandes de 2 et une taille de bande de 1 Mo, Lustre écrit des segments alternatifs de 1 Mo d'un fichier dans chacun des deux. OSTs
+ Le nombre de bandes effectif est le moins élevé entre le nombre réel de volumes OST et la valeur du nombre de bandes que vous spécifiez. Vous pouvez utiliser la valeur spéciale du nombre de bandes `-1` pour indiquer que les bandes doivent être placées sur tous les volumes OST.
+ La définition d'un grand nombre de bandes pour les petits fichiers n'est pas optimale, car certaines opérations Lustre nécessitent un aller-retour réseau pour accéder à chaque OST de la mise en page, même si le fichier est trop petit pour consommer de l'espace sur tous les volumes OST.
+ Vous pouvez configurer une mise en page progressive (PFL) qui permet à la mise en page d'un fichier de changer en fonction de sa taille. Une configuration PFL peut simplifier la gestion d'un système de fichiers comportant une combinaison de gros et de petits fichiers sans que vous ayez à définir explicitement une configuration pour chaque fichier. Pour de plus amples informations, veuillez consulter [Mises en page de fichiers progressives](#striping-pfl).
+ La taille de bande par défaut est de 1 Mo. La définition d'un décalage de bande peut être utile dans des circonstances particulières, mais en général, il est préférable de ne pas le spécifier et d'utiliser la valeur par défaut.
### Mises en page de fichiers progressives
Vous pouvez définir une configuration PFL (Progressive File Layout) pour un répertoire afin de définir différentes configurations de bandes pour les petits et les grands fichiers avant de le remplir. Par exemple, vous pouvez définir un PFL dans le répertoire de premier niveau avant que les données ne soient écrites dans un nouveau système de fichiers.
Pour spécifier une configuration PFL, utilisez la `lfs setstripe` commande avec des `-E` options pour spécifier les composants de mise en page pour des fichiers de tailles différentes, comme la commande suivante :
```
lfs setstripe -E 100M -c 1 -E 10G -c 8 -E 100G -c 16 -E -1 -c 32 /mountname/directory
```
Cette commande définit quatre composants de mise en page :
+ Le premier composant (`-E 100M -c 1`) indique une valeur de nombre de bandes de 1 pour les fichiers d'une taille maximale de 100 Mo.
+ Le deuxième composant (`-E 10G -c 8`) indique un nombre de bandes de 8 pour les fichiers d'une taille maximale de 10 Go.
+ Le troisième composant (`-E 100G -c 16`) indique un nombre de bandes de 16 pour les fichiers d'une taille maximale de 100 Go.
+ Le quatrième composant (`-E -1 -c 32`) indique un nombre de bandes de 32 pour les fichiers de plus de 100 Go.
**Important**
L'ajout de données à un fichier créé avec une mise en page PFL remplira tous ses composants de mise en page. Par exemple, avec la commande à 4 composants illustrée ci-dessus, si vous créez un fichier de 1 Mo puis que vous ajoutez des données à la fin de celui-ci, la mise en page du fichier s'étendra pour atteindre un nombre de bandes de -1, ce qui signifie que tout le système se trouve OSTs dans le système. Cela ne signifie pas que les données seront écrites sur chaque OST, mais une opération telle que la lecture de la longueur du fichier enverra une demande en parallèle à chaque OST, alourdissant ainsi considérablement la charge réseau du système de fichiers.
Veillez donc à limiter le nombre de bandes pour tout fichier de petite ou moyenne longueur auquel des données peuvent être ajoutées ultérieurement. Étant donné que les fichiers journaux augmentent généralement lorsque de nouveaux enregistrements sont ajoutés, Amazon FSx for Lustre attribue un nombre de bandes par défaut de 1 à tout fichier créé en mode ajout, quelle que soit la configuration de bande par défaut spécifiée par son répertoire parent.
La configuration PFL par défaut sur Amazon FSx pour les systèmes de fichiers Lustre créés après le 25 août 2023 est définie à l'aide de cette commande :
```
lfs setstripe -E 100M -c 1 -E 10G -c 8 -E 100G -c 16 -E -1 -c 32 /mountname
```
Les clients dont les charges de travail nécessitent un accès simultané élevé à des fichiers de taille moyenne et importante bénéficieront probablement d'une mise en page comportant plus de bandes pour les fichiers de plus petite taille et des bandes sur l'ensemble OSTs pour les fichiers les plus volumineux, comme le montre l'exemple de mise en page à quatre composants.
## Surveillance des performances et de l'utilisation
Chaque minute, Amazon FSx for Lustre envoie des statistiques d'utilisation pour chaque disque (MDT et OST) à Amazon. CloudWatch
Pour consulter les détails de l'utilisation globale du système de fichiers, vous pouvez consulter la statistique Sum de chaque métrique. Par exemple, la somme des `DataReadBytes` statistiques indique le débit de lecture total observé par tous les utilisateurs d'un système OSTs de fichiers. De même, la somme des `FreeDataStorageCapacity` statistiques indique la capacité de stockage totale disponible pour les données de fichiers dans le système de fichiers.
Pour plus d'informations sur la surveillance des performances de votre système de fichiers, consultez[Surveillance des systèmes de fichiers Amazon FSx pour Lustre](monitoring_overview.md).
# Caractéristiques de performance des classes de stockage SSD et HDD
Le débit pris en charge par un système de fichiers FSx pour Lustre doté d'une classe de stockage SSD ou HDD est proportionnel à sa capacité de stockage. Les systèmes de fichiers Amazon FSx for Lustre s'adaptent à un débit multiple TBps et à des millions d'IOPS. Amazon FSx for Lustre prend également en charge l'accès simultané au même fichier ou répertoire à partir de milliers d'instances de calcul. Cet accès permet de vérifier rapidement les données de la mémoire de l'application au stockage, une technique courante dans le calcul haute performance (HPC). Vous pouvez augmenter la quantité de stockage et la capacité de débit selon vos besoins à tout moment après avoir créé le système de fichiers. Pour de plus amples informations, veuillez consulter [Gestion de la capacité de stockage](managing-storage-capacity.md).
FSx pour les systèmes de fichiers Lustre, fournissent un débit de lecture en rafale en utilisant un mécanisme I/O de crédit réseau pour allouer la bande passante réseau en fonction de l'utilisation moyenne de la bande passante. Les systèmes de fichiers accumulent des crédits lorsque leur utilisation de la bande passante réseau est inférieure à leurs limites de base, et peuvent utiliser ces crédits lorsqu'ils effectuent des transferts de données réseau.
Les tableaux suivants présentent les performances FSx pour lesquelles les options de déploiement de Lustre utilisant les classes de stockage SSD et HDD sont conçues.
**Performances du système de fichiers pour les options de stockage SSD**
| Type de déploiement | **Débit réseau (MBps/TiB de stockage provisionné)** | **IOPS réseau (IOPS/TiB de stockage provisionné)** | **Stockage en cache (GiB RAM/TiB de stockage provisionné)** | **Latences du disque par opération de fichier (millisecondes, P50)** | **Débit du disque (MBps/TiB de stockage ou cache SSD provisionné)** |
| --- |--- |--- |--- |--- |--- |
| **** | **Base de référence** | **Éclater** | **** | **** | **** | **Base de référence** | **Éclater** |
| --- |--- |--- |--- |--- |--- |--- |--- |
| SCRATCH\$12 | 200 | 1300 | Base de référence de dizaines de milliersDes centaines de milliers de personnes éclatent | 6.7 | Métadonnées : sub-ms Données : sub-ms | 200 (lire) 100 (écrire) | ‐ |
| --- |--- |--- |--- |--- |--- |--- |--- |
| PERSISTENT-125 | 320 | 1300 | 3.4 | 125 | 500 |
| --- |--- |--- |--- |--- |--- |
| PERSISTENT-250 | 640 | 1300 | 6.8 | 250 | 500 |
| --- |--- |--- |--- |--- |--- |
| PERSISTENT-500 | 1300 | ‐ | 13,7 | 500 | ‐ |
| --- |--- |--- |--- |--- |--- |
| PERSISTENT-1000 | 2600 | ‐ | 27,3 | 1 000 | ‐ |
| --- |--- |--- |--- |--- |--- |
**Performances du système de fichiers pour les options de stockage sur disque dur**
| Type de déploiement | **Débit réseau (MBps/TiB de stockage ou cache SSD provisionné)** | **IOPS réseau (IOPS/TiB de stockage provisionné)** | **Stockage en cache (GiB RAM/TiB de stockage provisionné)** | **Latences du disque par opération de fichier (millisecondes, P50)** | **Débit du disque (MBps/TiB de stockage ou cache SSD provisionné)** |
| --- |--- |--- |--- |--- |--- |
| **** | **Base de référence** | **Éclater** | | **Base de référence** | **Éclater** |
| --- |--- |--- |--- |--- |--- |
| PERSISTENT-12 |
| --- |
| Stockage sur disque dur | 40 | 375\$1 | Base de référence de dizaines de milliers Des centaines de milliers de personnes éclatent | 0,4 mémoire | Métadonnées : sub-ms Données : ms à un chiffre | 12 | 80 (lire) 50 (écrire) |
| --- |--- |--- |--- |--- |--- |--- |--- |
| Cache de lecture SSD | 200 | 1 900 | 200 disques SSD en cache | Données : sub-ms | 200 | - |
| --- |--- |--- |--- |--- |--- |--- |
| PERSISTENT-40 |
| --- |
| Stockage sur disque dur | 150 | 1 300\$1 | Base de référence de dizaines de milliers Des centaines de milliers de personnes éclatent | 1.5 | Métadonnées : sub-ms Données : ms à un chiffre | 40 | 250 (lire) 150 (écrire) |
| --- |--- |--- |--- |--- |--- |--- |--- |
| Cache de lecture SSD | 750 | 6500 | 200 disques SSD en cache | Données : sub-ms | 200 | - |
| --- |--- |--- |--- |--- |--- |--- |
**Performances du système de fichiers pour les options de stockage SSD de génération précédente**
| Type de déploiement | **Débit réseau (MBps par TiB de stockage provisionné)** | **IOPS réseau (IOPS par TiB de stockage provisionné)** | **Stockage en cache (GiB par TiB de stockage provisionné)** | **Latences du disque par opération de fichier (millisecondes, P50)** | **Débit du disque (MBps par TiB de stockage ou de cache SSD provisionné)** |
| --- |--- |--- |--- |--- |--- |
| **** | **Base de référence** | **Éclater** | **** | **** | **** | **Base de référence** | **Éclater** |
| --- |--- |--- |--- |--- |--- |--- |--- |
| PERSISTENT-50 | 250 | 1 300\$1 | Base de référence de dizaines de milliersDes centaines de milliers de personnes éclatent | 2,2 RAM | Métadonnées : sub-ms Données : sub-ms | 50 | 240 |
| --- |--- |--- |--- |--- |--- |--- |--- |
| PERSISTENT-100 | 500 | 1 300\$1 | 4,4 RAM | 100 | 240 |
| --- |--- |--- |--- |--- |--- |
| PERSISTENT-200 | 750 | 1 300\$1 | 8,8 RAM | 200 | 240 |
| --- |--- |--- |--- |--- |--- |
**Note**
\$1 Les systèmes de fichiers persistants suivants Régions AWS fournissent des rafales de réseau allant jusqu'à 530 MBps par TiB de stockage : Afrique (Le Cap), Asie-Pacifique (Hong Kong), Asie-Pacifique (Osaka), Asie-Pacifique (Singapour), Canada (centre), Europe (Francfort), Europe (Londres), Europe (Milan), Europe (Stockholm), Moyen-Orient (Bahreïn), Amérique du Sud (São Paulo), Chine, et US West (Los Angeles).
## Exemple : base de référence agrégée et débit en rafale
L'exemple suivant illustre l'impact de la capacité de stockage et du débit du disque sur les performances du système de fichiers.
Un système de fichiers persistant doté d'une capacité de stockage de 4,8 TiB et d'un débit de 50 MBps TiB par unité de stockage fournit un débit de base agrégé de 240 MBps et un débit de disque en rafale de 1,152. GBps
Quelle que soit la taille du système de fichiers, Amazon FSx for Lustre fournit des latences constantes inférieures à la milliseconde pour les opérations sur les fichiers.
# Caractéristiques de performance de la classe de stockage Intelligent-Tiering
La classe de stockage FSx for Lustre Intelligent-Tiering offre un stockage élastique et optimisé en termes de coûts pour les charges de travail qui s'exécutent traditionnellement sur des systèmes de fichiers de stockage de fichiers hautes performances basés sur des disques durs ou mixtes HDD/SDD. Les systèmes de fichiers utilisant la classe de stockage Intelligent-Tiering utilisent un stockage régional entièrement élastique et intelligemment hiérarchisé, qui augmente et diminue automatiquement pour s'adapter à l'évolution de votre charge de travail. Pour plus d'informations sur la manière dont il hiérarchise les données, consultez[Comment la classe de stockage Intelligent-Tiering hiérarchise les données](using-fsx-lustre.md#how-INT-tiering-works).
Le débit pris en charge par un système de fichiers FSx pour Lustre doté d'une classe de stockage Intelligent-Tiering est indépendant de son stockage. Les systèmes de fichiers à hiérarchisation intelligente s'adaptent à un débit multiple et à TBps des millions d'IOPS. Les systèmes de fichiers utilisant la classe de stockage Intelligent-Tiering fournissent également un cache de lecture SSD provisionné en option pour un accès à faible latence aux données fréquemment consultées. Par défaut, Amazon FSx for Lustre fournit un cache de lecture SSD pour les métadonnées fréquemment consultées. Comme la plupart des charges de travail ont tendance à être gourmandes en lecture et à ne travailler activement qu'avec un petit sous-ensemble de l'ensemble de données à un moment donné, le modèle hybride du stockage à hiérarchisation intelligente et des caches de lecture SSD permet aux systèmes de fichiers utilisant la classe de stockage intelligente de fournir un stockage dont les performances sont comparables à celles des systèmes de fichiers SSD pour la plupart des charges de travail, tout en réduisant les coûts de stockage par rapport aux classes de stockage SSD et HDD.
Lors de la lecture et de l'écriture de données dans un système de fichiers à hiérarchisation intelligente, en particulier des données qui n'ont pas été consultées récemment ou assez fréquemment pour se trouver dans le cache en mémoire du serveur de fichiers, les performances dépendent de la taille du cache de lecture du SSD. L'accès aux données depuis le stockage à hiérarchisation intelligente comporte des time-to-first-byte latences d'environ plusieurs dizaines de millisecondes ainsi que des coûts par demande, tandis que les accès depuis le cache de lecture SSD génèrent un temps de latence inférieur à la milliseconde et aucun coût par demande.
Lorsque vous configurez la taille du cache de lecture SSD pour votre système de fichiers, vous devez tenir compte à la fois de la taille du jeu de données fréquemment consulté au sein de la charge de travail et de la sensibilité de la charge de travail à une latence plus élevée lors de la lecture de données moins fréquemment consultées. Vous pouvez passer d'un mode de dimensionnement du cache de lecture SSD à un autre une fois votre système de fichiers créé et augmenter ou diminuer le cache. Pour plus d'informations sur la modification du cache de lecture de votre SSD, consultez[Gestion du cache de lecture SSD provisionné](managing-ssd-read-cache.md).
Une demande d'écriture se produit lorsque FSx Lustre écrit un bloc de données dans un stockage à hiérarchisation intelligente. Lorsque vous écrivez des données dans le système de fichiers, les demandes d'écriture sont agrégées et écrites dans un stockage à hiérarchisation intelligente, ce qui augmente le débit et réduit les coûts des demandes. Les lectures peuvent être effectuées à partir du cache en mémoire du serveur de fichiers, du cache de lecture SSD ou directement à partir du stockage Intelligent-Tiering. Lorsqu'une lecture est effectuée à partir du stockage à hiérarchisation intelligente, une demande de lecture est envoyée pour chaque bloc de données récupérées. Lorsque vous lisez des données de manière séquentielle, FSx for Lustre les préextrait afin d'améliorer les performances.
*Les données du cache en mémoire des systèmes de fichiers utilisant la classe de stockage Intelligent-Tiering sont transmises directement au client demandeur sous forme d'E/S réseau.* Lorsqu'un client accède à des données qui ne se trouvent pas dans le cache en mémoire, elles sont lues à partir du cache de lecture SSD ou du stockage à hiérarchisation intelligente sous forme d'*E/S disque, puis transmises au client sous forme d'E/S* réseau.
## Performances du système de fichiers pour la hiérarchisation intelligente
Le tableau suivant montre les performances FSx pour lesquelles les systèmes de fichiers Lustre Intelligent-Tiering sont conçus.
| Capacité de débit allouée () MBps | **Débit réseau () MBps** | **IOPS du réseau** | **Stockage en mémoire cache (Go)** | **Débit maximal du disque cache SSD () MBps** | **Nombre maximal d'IOPS par seconde sur disque cache SSD** |
| --- |--- |--- |--- |--- |--- |
| **** | **Base de référence** | **Éclater** | **** | **** | **** | **Base de référence** | **Éclater** |
| --- |--- |--- |--- |--- |--- |--- |--- |
| Tous les 4 000 | 12500 | ‐ | Des centaines de milliers | 76,8 | 4000 | 160000 | ‐ |
| --- |--- |--- |--- |--- |--- |--- |--- |
# Conseils sur les performances
Lorsque vous utilisez Amazon FSx pour Lustre, tenez compte des conseils de performance suivants. Pour les limites de service, voir[Quotas de service pour Amazon FSx pour Lustre](limits.md).
+ ** I/O Taille moyenne** : Amazon FSx for Lustre étant un système de fichiers réseau, chaque opération sur les fichiers fait l'objet d'un aller-retour entre le client et Amazon FSx for Lustre, ce qui entraîne une faible latence. En raison de cette latence par opération, le débit global augmente généralement à mesure que la I/O taille moyenne augmente, car les frais généraux sont amortis sur une plus grande quantité de données.
+ **Modèle de demande** — En activant les écritures asynchrones sur votre système de fichiers, les opérations d'écriture en attente sont mises en mémoire tampon sur l'instance Amazon EC2 avant d'être écrites sur Amazon for Lustre de manière asynchrone. FSx Les écritures asynchrones ont généralement des latences Moindres. Lors de l’exécution d’écritures asynchrones, le noyau utilise de la mémoire supplémentaire pour la mise en cache. Un système de fichiers qui a activé les écritures synchrones envoie des demandes synchrones à Amazon FSx pour Lustre. Chaque opération fait l'objet d'un aller-retour entre le client et Amazon FSx for Lustre.
**Note**
Le Modèle de requête que vous avez choisi fera des compromis en termes de cohérence (si vous utilisez plusieurs instances Amazon EC2) et de vitesse.
+ **Limiter la taille des répertoires** : pour obtenir des performances de métadonnées optimales sur les systèmes de fichiers Persistent 2 FSx for Lustre, limitez chaque répertoire à moins de 100 000 fichiers. La limitation du nombre de fichiers dans un répertoire réduit le temps nécessaire au système de fichiers pour verrouiller le répertoire parent.
+ **Instances Amazon EC2 : les** applications qui effectuent un grand nombre d'opérations de lecture et d'écriture ont probablement besoin de plus de mémoire ou de capacité de calcul que les applications qui n'en exécutent pas. Lorsque vous lancez vos instances Amazon EC2 pour votre charge de travail gourmande en ressources informatiques, choisissez des types d'instances dotés de la quantité de ressources dont votre application a besoin. Les caractéristiques de performance des systèmes de fichiers Amazon FSx for Lustre ne dépendent pas de l'utilisation d'instances optimisées pour Amazon EBS.
+ **Réglage recommandé des instances clientes pour des performances optimales**
1. Pour les types d'instances clientes dont la mémoire est supérieure à 64 GiB, nous recommandons d'appliquer les réglages suivants :
```
sudo lctl set_param ldlm.namespaces.*.lru_max_age=600000
sudo lctl set_param ldlm.namespaces.*.lru_size=<100 * number_of_CPUs>
```
1. Pour les types d'instances clientes comportant plus de 64 cœurs de vCPU, nous recommandons d'appliquer les réglages suivants :
```
echo "options ptlrpc ptlrpcd_per_cpt_max=32" >> /etc/modprobe.d/modprobe.conf
echo "options ksocklnd credits=2560" >> /etc/modprobe.d/modprobe.conf
# reload all kernel modules to apply the above two settings
sudo reboot
```
Une fois le client monté, les réglages suivants doivent être appliqués :
```
sudo lctl set_param osc.*OST*.max_rpcs_in_flight=32
sudo lctl set_param mdc.*.max_rpcs_in_flight=64
sudo lctl set_param mdc.*.max_mod_rpcs_in_flight=50
```
1. Pour optimiser les performances de la liste des annuaires (ls), les réglages suivants doivent être appliqués :
```
sudo lctl set_param llite.*.statahead_max=512
sudo lctl set_param llite.*.statahead_agl=1
if sudo lctl get_param llite.*.statahead_xattr > /dev/null 2>&1; then
sudo lctl set_param llite.*.statahead_xattr=1
else
echo "Warning: Xattr statahead is not supported on this Lustre client. Please upgrade to the latest Lustre 2.15 client to apply this tuning"
fi
```
Notez qu'il `lctl set_param` est connu pour ne pas persister après le redémarrage. Comme ces paramètres ne peuvent pas être définis de façon permanente du côté client, il est recommandé d'implémenter une tâche cron de démarrage pour définir la configuration avec les réglages recommandés.
+ **Équilibre global de la charge** de travail OSTs : dans certains cas, votre charge de travail ne détermine pas le débit global que votre système de fichiers peut fournir (200 MBps par TiB de stockage). Si tel est le cas, vous pouvez utiliser CloudWatch des métriques pour déterminer si les performances sont affectées par un déséquilibre dans les I/O modèles de votre charge de travail. Pour déterminer si cela en est la cause, consultez la CloudWatch métrique maximale pour Amazon FSx for Lustre.
Dans certains cas, cette statistique indique une charge égale ou supérieure à 240 MBps de débit (la capacité de débit d'un seul disque Amazon for Lustre de 1,2 To). FSx Dans de tels cas, votre charge de travail n'est pas uniformément répartie sur vos disques. Dans ce cas, vous pouvez utiliser la `lfs setstripe` commande pour modifier le découpage des fichiers auxquels votre charge de travail accède le plus fréquemment. Pour des performances optimales, répartissez les fichiers OSTs présentant des exigences de débit élevées sur l'ensemble de votre système de fichiers.
Si vos fichiers sont importés depuis un référentiel de données, vous pouvez adopter une autre approche pour répartir vos fichiers haut débit de manière uniforme sur votre. OSTs Pour ce faire, vous pouvez modifier le `ImportedFileChunkSize` paramètre lors de la création de votre prochain système de fichiers Amazon FSx for Lustre.
Supposons, par exemple, que votre charge de travail utilise un système de fichiers de 7 To (composé de 6 fichiers de 1,17 To OSTs) et doive générer un débit élevé sur des fichiers de 2,4 Go. Dans ce cas, vous pouvez définir la `ImportedFileChunkSize` valeur de `(2.4 GiB / 6 OSTs) = 400 MiB` manière à ce que vos fichiers soient répartis uniformément sur le système de fichiers OSTs.
+ **Lustreclient pour les IOPS de métadonnées** — Si votre système de fichiers possède une configuration de métadonnées spécifiée, nous vous recommandons d'installer un client Lustre 2.15 ou Lustre 2.12 avec l'une des versions du système d'exploitation suivantes : Amazon Linux 2023 ; Amazon Linux 2 ; Red Hat/Rocky Linux 8.9, 8.10 ou 9.x ; CentOS 8.9 ou 8.10 ; Ubuntu 22\$1 avec noyau 6.2, 6.5 ou 6.8 ; ou Ubuntu 20.
## Considérations relatives aux performances liées à la hiérarchisation intelligente
Voici quelques considérations importantes relatives aux performances lorsque vous travaillez avec des systèmes de fichiers utilisant la classe de stockage Intelligent-Tiering :
+ Les charges de travail lisant des données de plus petite I/O taille nécessiteront une plus grande simultanéité et entraîneront des coûts de demande plus élevés pour atteindre le même débit que les charges de travail utilisant de grandes I/O tailles en raison de la latence plus élevée due aux niveaux de stockage à hiérarchisation intelligente. Nous vous recommandons de configurer le cache de lecture de votre SSD suffisamment grand pour prendre en charge une simultanéité et un débit plus élevés lorsque vous travaillez avec des tailles d'E/S plus petites.
+ Le nombre maximal d'IOPS sur disque que vos clients peuvent utiliser avec un système de fichiers à hiérarchisation intelligente dépend des modèles d'accès spécifiques à votre charge de travail et du fait que vous ayez ou non provisionné un cache de lecture SSD. Pour les charges de travail avec accès aléatoire, les clients peuvent généralement générer des IOPS beaucoup plus élevées si les données sont mises en cache dans le cache de lecture du SSD que si les données ne se trouvent pas dans le cache.
+ La classe de stockage Intelligent-Tiering prend en charge la lecture anticipée afin d'optimiser les performances des demandes de lecture séquentielles. Nous vous recommandons de configurer votre modèle d'accès aux données de manière séquentielle lorsque cela est possible afin de permettre la préextraction des données et d'améliorer les performances.