Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
# Importation de modifications depuis votre référentiel de données
Vous pouvez importer les modifications apportées aux données et aux métadonnées POSIX depuis un référentiel de données lié vers votre système de FSx fichiers Amazon. Les métadonnées POSIX associées incluent la propriété, les autorisations et les horodatages.
Pour importer les modifications apportées au système de fichiers, appliquez l'une des méthodes suivantes :
+ Configurez votre système de fichiers pour importer automatiquement les fichiers nouveaux, modifiés ou supprimés de votre référentiel de données lié. Pour de plus amples informations, veuillez consulter [Importez automatiquement des mises à jour depuis votre compartiment S3](autoimport-data-repo-dra.md).
+ Sélectionnez l'option permettant d'importer des métadonnées lorsque vous créez une association de référentiels de données. Cela lancera une tâche d'importation du référentiel de données immédiatement après la création de l'association du référentiel de données.
+ Utilisez une tâche de référentiel de données d'importation à la demande. Pour de plus amples informations, veuillez consulter [Utilisation des tâches du référentiel de données pour importer des modifications](import-data-repo-task-dra.md).
Les tâches d'importation automatique et d'importation du référentiel de données peuvent être exécutées simultanément.
Lorsque vous activez l'importation automatique pour une association de référentiels de données, votre système de fichiers met automatiquement à jour les métadonnées des fichiers au fur et à mesure que des objets sont créés, modifiés ou supprimés dans S3. Lorsque vous sélectionnez l'option permettant d'importer des métadonnées lors de la création d'une association de référentiel de données, votre système de fichiers importe les métadonnées de tous les objets du référentiel de données. Lorsque vous importez à l'aide d'une tâche de référentiel de données d'importation, votre système de fichiers importe uniquement les métadonnées des objets créés ou modifiés depuis la dernière importation.
FSx for Lustre copie automatiquement le contenu d'un fichier depuis votre référentiel de données et le charge dans le système de fichiers lorsque votre application accède pour la première fois au fichier dans le système de fichiers. Ce mouvement de données est géré par FSx for Lustre et est transparent pour vos applications. Les lectures suivantes de ces fichiers sont diffusées directement depuis le système de fichiers avec des latences inférieures à la milliseconde.
Vous pouvez également précharger l'ensemble de votre système de fichiers ou un répertoire de votre système de fichiers. Pour de plus amples informations, veuillez consulter [Préchargement de fichiers dans votre système de fichiers](preload-file-contents-hsm-dra.md). Si vous demandez le préchargement de plusieurs fichiers simultanément, FSx for Lustre charge les fichiers depuis votre référentiel de données Amazon S3 en parallèle.
FSx for Lustre importe uniquement des objets S3 dotés de clés d'objet conformes à POSIX. Les tâches d'importation et d'importation automatiques du référentiel de données importent des métadonnées POSIX. Pour de plus amples informations, veuillez consulter [Support des métadonnées POSIX pour les référentiels de données](posix-metadata-support.md).
**Note**
FSx for Lustre ne prend pas en charge l'importation de métadonnées pour les liens symboliques (liens symboliques) à partir des classes de stockage S3 Glacier Flexible Retrieval et S3 Glacier Deep Archive. Les métadonnées des objets S3 Glacier Flexible Retrieval ou S3 Glacier Deep Archive qui ne sont pas des liens symboliques peuvent être importées (c'est-à-dire qu'un inode est créé sur le système de fichiers FSx for Lustre avec les métadonnées correctes). Toutefois, pour lire ces données depuis le système de fichiers, vous devez d'abord restaurer l'objet S3 Glacier Flexible Retrieval ou S3 Glacier Deep Archive. L'importation de données de fichiers directement depuis des objets Amazon S3 de la classe de stockage S3 Glacier Flexible Retrieval ou S3 Glacier Deep Archive vers FSx for Lustre n'est pas prise en charge.
# Importez automatiquement des mises à jour depuis votre compartiment S3
Vous pouvez configurer Lustre FSx pour qu'il mette automatiquement à jour les métadonnées dans le système de fichiers lorsque des objets sont ajoutés, modifiés ou supprimés de votre compartiment S3. FSx for Lustre crée, met à jour ou supprime la liste des fichiers et des répertoires, correspondant à la modification apportée dans S3. Si l'objet modifié dans le compartiment S3 ne contient plus ses métadonnées, FSx for Lustre conserve les valeurs de métadonnées actuelles du fichier, y compris les autorisations actuelles.
**Note**
Le système de fichiers FSx for Lustre et le compartiment S3 lié doivent se trouver dans le même emplacement Région AWS pour importer automatiquement les mises à jour.
Vous pouvez configurer l'importation automatique lorsque vous créez l'association au référentiel de données, et vous pouvez mettre à jour les paramètres d'importation automatique à tout moment à l'aide de la console de FSx gestion, de l' AWS CLI API ou de l' AWS API.
**Note**
Vous pouvez configurer à la fois l'importation automatique et l'exportation automatique sur la même association de référentiels de données. Cette rubrique décrit uniquement la fonctionnalité d'importation automatique.
**Important**
Si un objet est modifié dans S3 alors que toutes les politiques d'importation automatique sont activées et que l'exportation automatique est désactivée, le contenu de cet objet est toujours importé dans un fichier correspondant du système de fichiers. Si un fichier existe déjà dans l'emplacement cible, il est remplacé.
Si un fichier est modifié à la fois dans le système de fichiers et dans S3, alors que toutes les politiques d'importation et d'exportation automatiques sont activées, le fichier du système de fichiers ou l'objet de S3 peuvent être remplacés par l'autre. Il n'est pas garanti qu'une modification ultérieure à un endroit remplacera une modification antérieure à un autre emplacement. Si vous modifiez le même fichier à la fois dans le système de fichiers et dans le compartiment S3, vous devez garantir la coordination au niveau de l'application afin d'éviter de tels conflits. FSx for Lustre n'empêche pas les écritures conflictuelles à plusieurs endroits.
La politique d'importation indique comment vous souhaitez que FSx Lustre mette à jour votre système de fichiers lorsque le contenu change dans le compartiment S3 lié. Une association de référentiels de données peut avoir l'une des politiques d'importation suivantes :
+ **Nouveau** : FSx pour Lustre met automatiquement à jour les métadonnées des fichiers et des répertoires uniquement lorsque de nouveaux objets sont ajoutés au référentiel de données S3 lié.
+ **Modifié** : FSx pour Lustre met automatiquement à jour les métadonnées des fichiers et des répertoires uniquement lorsqu'un objet existant dans le référentiel de données est modifié.
+ **Supprimé** : FSx pour Lustre met automatiquement à jour les métadonnées des fichiers et des répertoires uniquement lorsqu'un objet du référentiel de données est supprimé.
+ **Toute combinaison de Nouveau, Modifié et Supprimé** — FSx for Lustre met automatiquement à jour les métadonnées du fichier et du répertoire lorsque l'une des actions spécifiées se produit dans le référentiel de données S3. Par exemple, vous pouvez spécifier que le système de fichiers est mis à jour lorsqu'un objet est ajouté au référentiel S3 (**Nouveau**) ou supprimé (**supprimé**), mais qu'il n'est pas mis à jour lorsqu'un objet est modifié.
+ **Aucune politique configurée** : car FSx Lustre ne met pas à jour les métadonnées des fichiers et des répertoires sur le système de fichiers lorsque des objets sont ajoutés, modifiés ou supprimés du référentiel de données S3. Si vous ne configurez pas de politique d'importation, l'importation automatique est désactivée pour l'association du référentiel de données. Vous pouvez toujours importer manuellement les modifications des métadonnées à l'aide d'une tâche de référentiel de données d'importation, comme décrit dans[Utilisation des tâches du référentiel de données pour importer des modifications](import-data-repo-task-dra.md).
**Important**
L'importation automatique ne synchronisera pas les actions S3 suivantes avec votre système de fichiers Linked FSx for Lustre :
Supprimer un objet à l'aide des expirations du cycle de vie des objets S3
Suppression définitive de la version actuelle de l'objet dans un compartiment activé pour la gestion des versions
Annulation de la suppression d'un objet dans un compartiment activé pour la gestion des versions
Dans la plupart des cas d'utilisation, nous vous recommandons de configurer une politique d'importation comprenant les **valeurs Nouveau**, **Modifié** et **Supprimé**. Cette politique garantit que toutes les mises à jour effectuées dans votre référentiel de données S3 lié sont automatiquement importées dans votre système de fichiers.
Lorsque vous définissez une politique d'importation pour mettre à jour les métadonnées des fichiers et des répertoires de votre système de fichiers en fonction des modifications apportées au référentiel de données S3 lié, FSx for Lustre crée une configuration de notification d'événement sur le compartiment S3 lié. La configuration des notifications d'événements est nommée`FSx`. Ne modifiez ni ne supprimez la configuration des notifications d'`FSx`événements dans le compartiment S3. Cela empêchera l'importation automatique des métadonnées de fichiers et de répertoires mises à jour dans votre système de fichiers.
Lorsque FSx for Lustre met à jour une liste de fichiers qui a changé dans le référentiel de données S3 lié, il remplace le fichier local par la version mise à jour, même si le fichier est verrouillé en écriture.
FSx for Lustre fait de son mieux pour mettre à jour votre système de fichiers. FSx for Lustre ne peut pas mettre à jour le système de fichiers dans les situations suivantes :
+ If FSx for Lustre n'est pas autorisé à ouvrir l'objet S3 modifié ou nouveau. Dans ce cas, FSx for Lustre ignore l'objet et continue. L'état du cycle de vie du DRA n'est pas affecté.
+ If FSx for Lustre ne dispose pas d'autorisations au niveau du bucket, comme pour. `GetBucketAcl` Cela entraînera une **mauvaise configuration** de l'état du cycle de vie du référentiel de données. Pour de plus amples informations, veuillez consulter [État du cycle de vie des associations au référentiel de données](dra-lifecycles.md).
+ Si la configuration des notifications d'`FSx`événements sur le compartiment S3 lié est supprimée ou modifiée. Cela entraînera une **mauvaise configuration** de l'état du cycle de vie du référentiel de données. Pour de plus amples informations, veuillez consulter [État du cycle de vie des associations au référentiel de données](dra-lifecycles.md).
Nous vous recommandons d'[activer la journalisation](cw-event-logging.md#manage-logging) dans CloudWatch Logs pour consigner les informations relatives aux fichiers ou répertoires qui n'ont pas pu être importés automatiquement. Les avertissements et les erreurs figurant dans le journal contiennent des informations sur la raison de l'échec. Pour de plus amples informations, veuillez consulter [Journaux d'événements du référentiel de données](data-repo-event-logs.md).
## Conditions préalables
Les conditions suivantes sont requises FSx pour que Lustre puisse importer automatiquement des fichiers nouveaux, modifiés ou supprimés à partir du compartiment S3 lié :
+ Le système de fichiers et son compartiment S3 lié se trouvent dans le même emplacement Région AWS.
+ L'**état du cycle** de vie du compartiment S3 n'est pas mal configuré. Pour de plus amples informations, veuillez consulter [État du cycle de vie des associations au référentiel de données](dra-lifecycles.md).
+ Votre compte dispose des autorisations requises pour configurer et recevoir des notifications d'événements sur le compartiment S3 lié.
## Types de modifications de fichiers pris en charge
FSx for Lustre prend en charge l'importation des modifications suivantes apportées aux fichiers et aux répertoires qui se produisent dans le compartiment S3 lié :
+ Modifications apportées au contenu des fichiers.
+ Modifications apportées aux métadonnées des fichiers ou des répertoires.
+ Modifications apportées à la cible ou aux métadonnées du lien symbolique.
+ Suppressions de fichiers et de répertoires. Si vous supprimez un objet dans le compartiment S3 lié qui correspond à un répertoire du système de fichiers (c'est-à-dire un objet dont le nom clé se termine par une barre oblique), FSx for Lustre supprime le répertoire correspondant dans le système de fichiers uniquement s'il est vide.
## Mise à jour des paramètres d'importation
Vous pouvez définir les paramètres d'importation d'un système de fichiers pour un compartiment S3 lié lorsque vous créez l'association du référentiel de données. Pour de plus amples informations, veuillez consulter [Création d'un lien vers un compartiment S3](create-linked-dra.md).
Vous pouvez également mettre à jour les paramètres d'importation à tout moment, y compris la politique d'importation. Pour de plus amples informations, veuillez consulter [Mise à jour des paramètres d'association du référentiel de données](update-dra-settings.md).
## Surveillance de l'importation automatique
Si le taux de modification de votre compartiment S3 dépasse le taux auquel l'importation automatique peut traiter ces modifications, les modifications de métadonnées correspondantes importées dans votre système de fichiers FSx for Lustre sont retardées. Dans ce cas, vous pouvez utiliser la `AgeOfOldestQueuedMessage` métrique pour surveiller l'âge de la modification la plus ancienne en attente de traitement par importation automatique. Pour plus d'informations sur cette métrique, consultez[FSx pour les métriques du référentiel Lustre S3](fs-metrics.md#auto-import-export-metrics).
Si le délai d'importation des modifications des métadonnées dépasse 14 jours (tel que mesuré à l'aide de la `AgeOfOldestQueuedMessage` métrique), les modifications de votre compartiment S3 qui n'ont pas été traitées par importation automatique ne sont pas importées dans votre système de fichiers. En outre, le cycle de vie des associations de votre référentiel de données est marqué comme **MAL CONFIGURÉ** et l'importation automatique est arrêtée. Si l'exportation automatique est activée, l'exportation automatique continue de surveiller les modifications apportées FSx à votre système de fichiers pour Lustre. Cependant, les modifications supplémentaires ne sont pas synchronisées entre votre système de fichiers FSx for Lustre et S3.
Pour que votre association de référentiel de données passe de l'état de cycle de vie **MAL CONFIGURÉ** à l'état de cycle de vie **DISPONIBLE**, vous devez mettre à jour votre association de référentiel de données. Vous pouvez mettre à jour l'association de votre référentiel de données à l'aide de la commande [update-data-repository-association](https://docs.aws.amazon.com/cli/latest/reference/fsx/update-data-repository-association.html)CLI (ou de l'opération [UpdateDataRepositoryAssociation](https://docs.aws.amazon.com/fsx/latest/APIReference/API_UpdateDataRepositoryAssociation.html)API correspondante). Le seul paramètre de demande dont vous avez besoin est celui `AssociationID` de l'association du référentiel de données que vous souhaitez mettre à jour.
Une fois que l'état du cycle de vie de l'association du référentiel de données est passé à **DISPONIBLE**, l'importation automatique (et l'exportation automatique si activée) redémarre. Au redémarrage, l'exportation automatique reprend la synchronisation des modifications du système de fichiers avec S3. Pour synchroniser les métadonnées des objets nouveaux et modifiés dans S3 avec votre système de fichiers FSx for Lustre qui n'ont pas été importés ou qui proviennent d'une association de référentiel de données mal configurée, exécutez une [tâche d'importation de référentiel de données](import-data-repo-task-dra.md). Les tâches du référentiel de données d'importation ne synchronisent pas les suppressions de votre compartiment S3 avec votre système de fichiers FSx for Lustre. Si vous souhaitez synchroniser entièrement S3 avec votre système de fichiers (y compris les suppressions), vous devez recréer votre système de fichiers.
Pour garantir que les délais d'importation des modifications des métadonnées ne dépassent pas 14 jours, nous vous recommandons de définir une alarme sur la `AgeOfOldestQueuedMessage` métrique et de réduire l'activité dans votre compartiment S3 si la `AgeOfOldestQueuedMessage` métrique dépasse votre seuil d'alarme. Pour un système de fichiers FSx pour Lustre connecté à un compartiment S3 avec une seule partition envoyant en permanence le maximum de modifications possibles depuis S3, l'importation automatique étant uniquement exécutée sur le système de fichiers FSx pour Lustre, l'importation automatique peut traiter un arriéré de 7 heures de modifications S3 en 14 jours.
En outre, avec une seule action S3, vous pouvez générer plus de modifications que ce que l'importation automatique pourra traiter en 14 jours. Des exemples de ces types d'actions incluent, sans toutefois s'y limiter, les AWS Snowball téléchargements vers S3 et les suppressions à grande échelle. Si vous apportez une modification importante à votre compartiment S3 que vous souhaitez synchroniser avec votre système de fichiers FSx pour Lustre, afin d'éviter que les modifications d'importation automatiques ne dépassent 14 jours, vous devez supprimer votre système de fichiers et le recréer une fois la modification S3 terminée.
Si votre `AgeOfOldestQueuedMessage` métrique augmente, passez en revue votre compartiment S3`GetRequests`,`PutRequests`,`PostRequests`, et `DeleteRequests` les métriques pour détecter les changements d'activité susceptibles d'entraîner une augmentation du and/or nombre de modifications envoyées à l'importation automatique. Pour plus d'informations sur les métriques S3 disponibles, consultez la section [Surveillance d'Amazon S3](https://docs.aws.amazon.com/AmazonS3/latest/userguide/monitoring-overview.html) dans le *guide de l'utilisateur Amazon S3*.
Pour une liste de toutes les métriques disponibles FSx pour Lustre, voir[Surveillance avec Amazon CloudWatch](monitoring-cloudwatch.md).
# Utilisation des tâches du référentiel de données pour importer des modifications
La tâche d'importation du référentiel de données importe les métadonnées des objets nouveaux ou modifiés dans votre référentiel de données S3, créant ainsi une nouvelle liste de fichiers ou de répertoires pour tout nouvel objet dans le référentiel de données S3. Pour tout objet modifié dans le référentiel de données, la liste de fichiers ou de répertoires correspondante est mise à jour avec les nouvelles métadonnées. Aucune action n'est entreprise pour les objets qui ont été supprimés du référentiel de données.
Utilisez les procédures suivantes pour importer les modifications de métadonnées à l'aide de la FSx console Amazon et de la CLI. Notez que vous pouvez utiliser une tâche de référentiel de données pour plusieurs DRAs.
## Pour importer des modifications de métadonnées (console)
1. Ouvrez la FSx console Amazon à l'adresse [https://console.aws.amazon.com/fsx/](https://console.aws.amazon.com/fsx/).
1. Dans le volet de navigation, choisissez **Systèmes de fichiers**, puis choisissez votre système de Lustre fichiers.
1. Choisissez l'onglet **Référentiel de données**.
1. Dans le volet **Associations de référentiels** de données, choisissez les associations de référentiels de données pour lesquelles vous souhaitez créer la tâche d'importation.
1. Dans le menu **Actions**, choisissez **Importer une tâche**. Ce choix n'est pas disponible si le système de fichiers n'est pas lié à un référentiel de données. La page de **tâches Créer un référentiel de données d'importation** apparaît.
1. (Facultatif) Spécifiez jusqu'à 32 répertoires ou fichiers à importer à partir de vos compartiments S3 liés en fournissant les chemins d'accès à ces répertoires ou fichiers dans **Chemins du référentiel de données à importer**.
**Note**
Si le chemin que vous fournissez n'est pas valide, la tâche échoue.
1. (Facultatif) Choisissez **Activer** sous **Rapport d'achèvement** pour générer un rapport d'achèvement de la tâche une fois la tâche terminée. Un *rapport d'achèvement de tâche* fournit des détails sur les fichiers traités par la tâche qui répondent à l'étendue indiquée dans la section **Étendue du rapport**. Pour spécifier l'emplacement où Amazon doit FSx envoyer le rapport, entrez un chemin relatif dans un référentiel de données S3 lié pour le **chemin du rapport**.
1. Choisissez **Créer**.
Une notification en haut de la page **Systèmes de fichiers** indique que la tâche que vous venez de créer est en cours.
Pour afficher l'état et les détails des tâches, faites défiler l'écran vers le bas jusqu'au volet **Tâches du référentiel** de **données dans l'onglet Référentiel** de données du système de fichiers. L'ordre de tri par défaut indique la tâche la plus récente en haut de la liste.
Pour afficher un résumé des tâches à partir de cette page, choisissez l'**ID de tâche** pour la tâche que vous venez de créer. La page **Récapitulatif** de la tâche apparaît.
## Pour importer des modifications de métadonnées (CLI)
+ Utilisez la commande [https://docs.aws.amazon.com/cli/latest/reference/fsx/create-data-repository-task.html](https://docs.aws.amazon.com/cli/latest/reference/fsx/create-data-repository-task.html)CLI pour importer les modifications de métadonnées dans votre système de fichiers FSx for Lustre. L'opération d'API correspondante est [https://docs.aws.amazon.com/fsx/latest/APIReference/API_CreateDataRepositoryTask.html](https://docs.aws.amazon.com/fsx/latest/APIReference/API_CreateDataRepositoryTask.html).
```
$ aws fsx create-data-repository-task \
--file-system-id fs-0123456789abcdef0 \
--type IMPORT_METADATA_FROM_REPOSITORY \
--paths s3://bucketname1/dir1/path1 \
--report Enabled=true,Path=s3://bucketname1/dir1/path1,Format=REPORT_CSV_20191124,Scope=FAILED_FILES_ONLY
```
Après avoir créé avec succès la tâche du référentiel de données, Amazon FSx renvoie la description de la tâche au format JSON.
Après avoir créé la tâche d'importation de métadonnées depuis le référentiel de données lié, vous pouvez vérifier le statut de la tâche d'importation du référentiel de données. Pour plus d'informations sur l'affichage des tâches du référentiel de données, consultez[Accès aux tâches du référentiel de données](view-data-repo-tasks.md).
# Préchargement de fichiers dans votre système de fichiers
Vous pouvez éventuellement précharger le contenu de fichiers ou de répertoires individuels dans votre système de fichiers.
## Importation de fichiers à l'aide de commandes HSM
Amazon FSx copie les données de votre référentiel de données Amazon S3 lors du premier accès à un fichier. En raison de cette approche, la lecture ou l'écriture initiale d'un fichier entraîne une faible latence. Si votre application est sensible à cette latence et que vous savez à quels fichiers ou répertoires elle doit accéder, vous pouvez éventuellement précharger le contenu de fichiers ou de répertoires individuels. Pour ce faire, utilisez la `hsm_restore` commande suivante.
Vous pouvez utiliser la `hsm_action` commande (émise avec l'utilitaire `lfs` utilisateur) pour vérifier que le chargement du contenu du fichier dans le système de fichiers est terminé. Une valeur renvoyée de `NOOP` indique que le fichier a été chargé avec succès. Exécutez les commandes suivantes à partir d'une instance de calcul avec le système de fichiers monté. *path/to/file*Remplacez-le par le chemin du fichier que vous êtes en train de précharger dans votre système de fichiers.
```
sudo lfs hsm_restore path/to/file
sudo lfs hsm_action path/to/file
```
Vous pouvez précharger l'ensemble de votre système de fichiers ou un répertoire entier au sein de votre système de fichiers à l'aide des commandes suivantes. (L'esperluette de fin fait exécuter une commande en arrière-plan.) Si vous demandez le préchargement de plusieurs fichiers simultanément, Amazon FSx charge vos fichiers depuis votre référentiel de données Amazon S3 en parallèle. Si un fichier a déjà été chargé dans le système de fichiers, la `hsm_restore` commande ne le recharge pas.
```
nohup find local/directory -type f -print0 | xargs -0 -n 1 -P 8 sudo lfs hsm_restore &
```
**Note**
Si votre compartiment S3 lié est plus grand que votre système de fichiers, vous devriez être en mesure d'importer toutes les métadonnées du fichier dans votre système de fichiers. Cependant, vous ne pouvez charger que la quantité de données de fichier réelles correspondant à l'espace de stockage restant dans le système de fichiers. Vous recevrez un message d'erreur si vous tentez d'accéder aux données d'un fichier alors qu'il n'y a plus d'espace de stockage sur le système de fichiers. Dans ce cas, vous pouvez augmenter la capacité de stockage selon vos besoins. Pour de plus amples informations, veuillez consulter [Gestion de la capacité de stockage](managing-storage-capacity.md).
## Étape de validation
Vous pouvez exécuter le script bash répertorié ci-dessous pour découvrir le nombre de fichiers ou d'objets archivés (publiés).
Pour améliorer les performances du script, en particulier dans les systèmes de fichiers contenant un grand nombre de fichiers, les threads du processeur sont automatiquement déterminés en fonction du `/proc/cpuproc` fichier. En d'autres termes, vous bénéficierez de performances plus rapides avec une instance Amazon EC2 dotée d'un plus grand nombre de vCPU.
1. Configurez le script bash.
```
#!/bin/bash
# Check if a directory argument is provided
if [ $# -ne 1 ]; then
echo "Usage: $0 /path/to/lustre/mount"
exit 1
fi
# Set the root directory from the argument
ROOT_DIR="$1"
# Check if the provided directory exists
if [ ! -d "$ROOT_DIR" ]; then
echo "Error: Directory $ROOT_DIR does not exist."
exit 1
fi
# Automatically detect number of CPUs and set threads
if command -v nproc &> /dev/null; then
THREADS=$(nproc)
elif [ -f /proc/cpuinfo ]; then
THREADS=$(grep -c ^processor /proc/cpuinfo)
else
echo "Unable to determine number of CPUs. Defaulting to 1 thread."
THREADS=1
fi
# Output file
OUTPUT_FILE="released_objects_$(date +%Y%m%d_%H%M%S).txt"
echo "Searching in $ROOT_DIR for all released objects using $THREADS threads"
echo "This may take a while depending on the size of the filesystem..."
# Find all released files in the specified lustre directory using parallel
# If you get false positives for file names/paths that include the word 'released',
# you can grep 'released exists archived' instead of just 'released'
time sudo lfs find "$ROOT_DIR" -type f | \
parallel --will-cite -j "$THREADS" -n 1000 "sudo lfs hsm_state {} | grep released" > "$OUTPUT_FILE"
echo "Search complete. Released objects are listed in $OUTPUT_FILE"
echo "Total number of released objects: $(wc -l <"$OUTPUT_FILE")"
```
1. Rendez le script exécutable :
```
$ chmod +x find_lustre_released_files.sh
```
1. Exécutez le script, comme dans l'exemple suivant :
```
$ ./find_lustre_released_files.sh /fsxl/sample
Searching in /fsxl/sample for all released objects using 16 threads
This may take a while depending on the size of the filesystem...
real 0m9.906s
user 0m1.502s
sys 0m5.653s
Search complete. Released objects are listed in released_objects_20241121_184537.txt
Total number of released objects: 30000
```
Si des objets publiés sont présents, effectuez une restauration en bloc dans les répertoires souhaités afin de transférer les fichiers vers Lustre FSx depuis S3, comme dans l'exemple suivant :
```
$ DIR=/path/to/lustre/mount
$ nohup find $DIR -type f -print0 | xargs -0 -n 1 -P 8 sudo lfs hsm_restore &
```
Notez que cela `hsm_restore` prendra un certain temps lorsqu'il y a des millions de fichiers.