Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
# Configurer le canal de saisie des données pour utiliser Amazon FSx for Lustre
Découvrez comment utiliser Amazon FSx for Lustre comme source de données pour un débit plus élevé et une formation plus rapide en réduisant le temps de chargement des données.
**Note**
Lorsque vous utilisez des instances compatibles avec l'EFA, telles que P4d et P3dn, veillez à définir des règles d'entrée et de sortie appropriées dans le groupe de sécurité. En particulier, l'ouverture de ces ports est nécessaire pour que l' SageMaker IA puisse accéder au système de FSx fichiers Amazon pendant la formation. Pour plus d'informations, consultez [File System Access Control with Amazon VPC (Contrôle d'accès aux systèmes de fichiers avec Amazon VPC)](https://docs.aws.amazon.com/fsx/latest/LustreGuide/limit-access-security-groups.html).
## Synchroniser Amazon S3 et Amazon FSx for Lustre
Pour associer votre Amazon S3 à Amazon FSx for Lustre et télécharger vos ensembles de données de formation, procédez comme suit.
1. Préparez votre jeu de données et chargez-le sur un compartiment Amazon S3. Supposons, par exemple, que les chemins Amazon S3 d'un jeu de données d'entraînement et d'un jeu de données de test soient au format suivant.
```
s3://amzn-s3-demo-bucket/data/train
s3://amzn-s3-demo-bucket/data/test
```
1. Pour créer un système de fichiers FSx pour Lustre lié au compartiment Amazon S3 contenant les données de formation, suivez les étapes décrites dans la section [Liaison de votre système de fichiers à un compartiment Amazon S3](https://docs.aws.amazon.com/fsx/latest/LustreGuide/create-dra-linked-data-repo.html) dans le *guide de l'utilisateur d'Amazon FSx for Lustre*. Assurez-vous d'ajouter un point de terminaison à votre VPC permettant l'accès à Amazon S3. Pour de plus amples informations, veuillez consulter [Création d’un point de terminaison d’un VPC Amazon S3](train-vpc.md#train-vpc-s3). Lorsque vous spécifiez **Data repository path** (Chemin du référentiel de données), fournissez l'URI du compartiment Amazon S3 du dossier contenant vos jeux de données. Par exemple, sur la base des exemples de chemins S3 de l'étape 1, le chemin du référentiel de données doit être le suivant.
```
s3://amzn-s3-demo-bucket/data
```
1. Une fois le système de fichiers FSx for Lustre créé, vérifiez les informations de configuration en exécutant les commandes suivantes.
```
aws fsx describe-file-systems && \
aws fsx describe-data-repository-association
```
Ces commandes renvoient `FileSystemId`, `MountName`, `FileSystemPath` et `DataRepositoryPath`. Le résultat doit ressembler à l'exemple qui suit.
```
# Output of aws fsx describe-file-systems
"FileSystemId": "fs-0123456789abcdef0"
"MountName": "1234abcd"
# Output of aws fsx describe-data-repository-association
"FileSystemPath": "/ns1",
"DataRepositoryPath": "s3://amzn-s3-demo-bucket/data/"
```
Une fois la synchronisation entre Amazon S3 et Amazon FSx terminée, vos ensembles de données sont enregistrés dans Amazon FSx dans les répertoires suivants.
```
/ns1/train # synced with s3://amzn-s3-demo-bucket/data/train
/ns1/test # synced with s3://amzn-s3-demo-bucket/data/test
```
## Définissez le chemin du système de FSx fichiers Amazon comme canal d'entrée de données pour la SageMaker formation
Les procédures suivantes vous guident dans le processus de configuration du système de FSx fichiers Amazon comme source de données pour les tâches de SageMaker formation.
------
#### [ Using the SageMaker Python SDK ]
Pour définir correctement le système de FSx fichiers Amazon comme source de données, configurez les classes d'estimateur SageMaker AI `FileSystemInput` en suivant les instructions suivantes.
1. Configurez un objet FileSystemInput de classe.
```
from sagemaker.inputs import FileSystemInput
train_fs = FileSystemInput(
file_system_id="fs-0123456789abcdef0",
file_system_type="FSxLustre",
directory_path="/1234abcd/ns1/",
file_system_access_mode="ro",
)
```
**Astuce**
Lorsque vous spécifiez`directory_path`, assurez-vous de fournir le chemin du système de FSx fichiers Amazon en commençant par`MountName`.
1. Configurez un estimateur SageMaker AI avec la configuration VPC utilisée pour le système de fichiers Amazon. FSx
```
from sagemaker.estimator import Estimator
estimator = Estimator(
...
role="your-iam-role-with-access-to-your-fsx",
subnets=["subnet-id"], # Should be the same as the subnet used for Amazon FSx
security_group_ids="security-group-id"
)
```
Assurez-vous que le rôle IAM associé au poste de SageMaker formation dispose des autorisations nécessaires pour accéder à Amazon FSx et lire des informations sur celui-ci.
1. Lancez la tâche de formation en exécutant la méthode estimator.fit avec le système de fichiers Amazon. FSx
```
estimator.fit(train_fs)
```
Pour trouver d'autres exemples de code, consultez la section [Utiliser des systèmes de fichiers comme entrées d'apprentissage](https://sagemaker.readthedocs.io/en/stable/overview.html#use-file-systems-as-training-inputs) dans la *documentation du SDK SageMaker Python*.
------
#### [ Using the SageMaker AI CreateTrainingJob API ]
Dans le cadre de la [CreateTrainingJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTrainingJob.html)requête JSON, configurez `InputDataConfig` comme suit.
```
"InputDataConfig": [
{
"ChannelName": "string",
"DataSource": {
"FileSystemDataSource": {
"DirectoryPath": "/1234abcd/ns1/",
"FileSystemAccessMode": "ro",
"FileSystemId": "fs-0123456789abcdef0",
"FileSystemType": "FSxLustre"
}
}
}
],
```
**Astuce**
Lorsque vous spécifiez`DirectoryPath`, assurez-vous de fournir le chemin du système de FSx fichiers Amazon en commençant par`MountName`.
------