Configuration et utilisation de Mountpoint - Amazon Simple Storage Service
Utilisation de Mountpoint pour Amazon S3Configuration de la mise en cache dans Mountpoint

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Configuration et utilisation de Mountpoint

Pour utiliser Mountpoint pour Amazon S3, votre hôte a besoin AWS d'informations d'identification valides permettant d'accéder au ou aux compartiments Amazon S3 que vous souhaitez monter. Pour connaître les différentes méthodes d’authentification, consultez les informations d’identification AWS de Mountpoint sur GitHub.

Par exemple, vous pouvez créer un nouvel utilisateur AWS Identity and Access Management (IAM) et un nouveau rôle à cette fin. Assurez-vous que ce rôle a accès au ou aux compartiments que vous souhaitez monter. Vous pouvez transmettre le rôle IAM à votre EC2 instance Amazon à l'aide d'un profil d'instance.

Utilisation de Mountpoint pour Amazon S3

Utilisez Mountpoint pour Amazon S3 pour effectuer les opérations suivantes :

  1. Montez vos compartiments Amazon S3.

    1. Vous pouvez monter des buckets Amazon S3 manuellement à l'aide de la mount-s3 commande.

      Dans l’exemple suivant, remplacez amzn-s3-demo-bucket par le nom de votre compartiment S3 et remplacez ~/mnt par le répertoire situé sur votre hôte, où vous souhaitez que votre compartiment S3 soit monté.

      mkdir ~/mnt
mount-s3 amzn-s3-demo-bucket ~/mnt

      Comme le client Mountpoint s'exécute en arrière-plan par défaut, le ~/mnt répertoire vous donne désormais accès aux objets de votre compartiment Amazon S3.

    2. Vous pouvez également configurer le montage automatique des buckets Amazon S3 lorsqu'une instance démarre ou redémarre.

      Pour les EC2 instances Amazon existantes ou en cours d'exécution, recherchez le fstab fichier dans le /etc/fstab répertoire de votre système Linux. Ajoutez ensuite une ligne à votre fstab fichier. Par exemple, pour effectuer un montage amzn-s3-demo-bucket en utilisant le préfixe du chemin example-prefix/ de votre système/mnt/mountpoint, consultez ce qui suit. Pour utiliser l’exemple suivant, remplacez les user input placeholders par vos propres informations. 

      s3://amzn-s3-demo-bucket/example-prefix/ /mnt/mountpoint mount-s3 _netdev,nosuid,nodev,nofail,rw 0 0

      Consultez le tableau suivant pour une explication des options utilisées dans l'exemple.

      Option Description
      _netdev

      Spécifie que le système de fichiers a besoin d'un réseau pour être monté.
      nosuid

      Spécifie que le système de fichiers ne peut pas contenir de fichiers d'ID utilisateur définis.
      nodev

      Spécifie que le système de fichiers ne peut pas contenir de périphériques spéciaux.
      nofail

      Spécifie que l'échec du montage du système de fichiers doit toujours permettre au système de démarrer.
      rw

      Spécifie que le point de montage est créé avec des autorisations de lecture et d'écriture. Vous pouvez également utiliser ro pour la lecture seule.

      Pour les nouvelles EC2 instances Amazon, vous pouvez modifier les données utilisateur sur un EC2 modèle Amazon et configurer le fstab fichier comme suit. Pour utiliser l’exemple suivant, remplacez les user input placeholders par vos propres informations.

      #!/bin/bash -e
MP_RPM=$(mktemp --suffix=.rpm)
curl https://s3.amazonaws.com/mountpoint-s3-release/latest/x86_64/mount-s3.rpm > $MP_RPM
yum install -y $MP_RPM
rm $MP_RPM

MNT_PATH=/mnt/mountpoint
echo "s3://amzn-s3-demo-bucket/ ${MNT_PATH} mount-s3 _netdev,nosuid,nodev,rw,allow-other,nofail" >> /etc/fstab
mkdir $MNT_PATH

systemctl daemon-reload
mount -a

  2. Accédez aux objets de votre compartiment Amazon S3 via Mountpoint.

    Après avoir monté votre compartiment localement, vous pouvez utiliser les commandes Linux courantes, telles que cat et ls, pour manipuler vos objets S3. Mountpoint pour Amazon S3 interprète les clés de votre compartiment Amazon S3 comme des chemins de système de fichiers en les divisant par une barre oblique (). / Par exemple, si vous avez la clé d’objet Data/2023-01-01.csv dans votre compartiment, vous aurez un répertoire nommé Datadans votre système de fichiers Mountpoint, avec un fichier nommé 2023-01-01.csv à l’intérieur.

    Mountpoint pour Amazon S3, volontairement, n’implémente pas l’intégralité de la spécification standard POSIX pour les systèmes de fichiers. Mountpoint est optimisé pour les charges de travail qui nécessitent un accès haut débit en lecture et en écriture aux données stockées dans Amazon S3 via une interface de système de fichiers, mais qui ne dépendent pas des fonctionnalités du système de fichiers. Pour plus d’informations, consultez le comportement du système de fichiers de Mountpoint pour Amazon S3 sur GitHub. Les clients qui ont besoin d'une sémantique de système de fichiers plus riche devraient envisager d'autres services de AWS fichiers, tels qu'Amazon Elastic File System (Amazon EFS) ou Amazon. FSx

  3. Démontez votre compartiment Amazon S3 à l'aide de la umount commande. Cette commande démonte votre compartiment S3 et quitte Mountpoint.

    Pour utiliser l’exemple de commande suivant, remplacez ~/mnt par le répertoire situé sur votre hôte, où votre compartiment S3 est monté.

    umount ~/mnt
    Note

    Pour obtenir la liste des options pour cette commande, exécutez umount --help.

Pour plus de détails sur la configuration de Mountpoint, consultez les sections Configuration du compartiment Amazon S3 et configuration du système de fichiers sur. GitHub

Configuration de la mise en cache dans Mountpoint

Mountpoint pour Amazon S3 prend en charge différents types de mise en cache des données. Pour accélérer les demandes de lecture répétées, vous pouvez activer l’une des options suivantes :

  • Cache local : vous pouvez utiliser un cache local dans le stockage de votre EC2 instance Amazon ou dans un volume Amazon Elastic Block Store. Si vous lisez à plusieurs reprises les mêmes données à partir de la même instance de calcul et si vous disposez d’un espace inutilisé dans le stockage de votre instance locale pour le jeu de données lu à plusieurs reprises, vous devez activer un cache local.

  • Cache partagé : vous pouvez utiliser un cache partagé sur S3 Express One Zone. Si vous lisez de petits objets à plusieurs reprises à partir de plusieurs instances de calcul ou si vous ne connaissez pas la taille de votre jeu de données lu régulièrement et souhaitez bénéficier de l’élasticité de la taille du cache, vous devez activer le cache partagé. Une fois que vous avez activé cette option, Mountpoint conserve les objets d’une taille maximale d’un mégaoctet dans un compartiment de répertoire qui utilise S3 Express One Zone.

  • Cache local et cache partagé combinés : si vous avez de l’espace inutilisé dans votre cache local, mais que vous souhaitez également un cache partagé entre plusieurs instances, vous pouvez activer à la fois un cache local et un cache partagé.

La mise en cache dans Mountpoint est idéale pour les cas d’utilisation où vous lisez à plusieurs reprises les mêmes données qui ne changent pas au cours des multiples lectures. Par exemple, vous pouvez utiliser la mise en cache avec des tâches d’entraînement de machine learning qui nécessitent de lire plusieurs fois un jeu de données d’entraînement pour améliorer la précision du modèle.

Pour plus d’informations sur la configuration de la mise en cache dans Mountpoint, consultez les exemples suivants.

Cache local

Vous pouvez activer un cache local à l’aide de l’indicateur --cache CACHE_PATH. Dans l’exemple suivant, remplacez CACHE_PATH par le chemin d’accès au répertoire dans lequel vous souhaitez mettre en cache les données. Remplacez-le amzn-s3-demo-bucket par le nom de votre compartiment Amazon S3, puis ~/mnt par le répertoire sur votre hôte dans lequel vous souhaitez que votre compartiment S3 soit monté.

mkdir ~/mnt
mount-s3 --cache CACHE_PATH amzn-s3-demo-bucket ~/mnt

Lorsque vous optez pour la mise en cache locale lors du montage d'un compartiment Amazon S3, Mountpoint crée un sous-répertoire vide à l'emplacement de cache configuré, si ce sous-répertoire n'existe pas déjà. Lorsque vous montez un compartiment pour la première fois et que vous le démontez, Mountpoint supprime le contenu du cache local.

Important

Si vous activez la mise en cache locale, Mountpoint conservera le contenu de l'objet non chiffré de votre compartiment Amazon S3 monté à l'emplacement de cache local indiqué lors du montage. Afin de protéger vos données, vous devez restreindre l’accès à l’emplacement du cache de données en utilisant les mécanismes de contrôle d’accès du système de fichiers.

Cache partagé

Si vous lisez à plusieurs reprises de petits objets (jusqu’à 1 Mo) à partir de plusieurs instances de calcul ou si la taille du jeu de données que vous lisez à plusieurs reprises dépasse souvent la taille du cache local, vous devez utiliser un cache partagé dans S3 Express One Zone. Lorsque vous lisez les mêmes données à plusieurs reprises à partir de plusieurs instances, cela améliore la latence en évitant les demandes redondantes adressées à votre compartiment Amazon S3 monté.

Une fois que vous avez activé le cache partagé, vous payez les données mises en cache dans le compartiment de répertoire de S3 Express One Zone. Vous payez également les demandes effectuées sur vos données dans le compartiment de répertoire de S3 Express One Zone. Pour plus d’informations, consultez Tarification Amazon S3. Mountpoint ne supprime jamais les objets mis en cache à partir des compartiments de répertoire. Pour gérer les coûts de stockage, définissez une politique de cycle de vie pour votre compartiment de répertoire afin qu’Amazon S3 fasse expirer les données mises en cache dans S3 Express One Zone après une période que vous spécifiez. Pour plus d’informations, consultez Configuration de la mise en cache de Mountpoint pour Amazon S3 (langue française non garantie) sur GitHub.

Pour activer la mise en cache dans S3 Express One Zone lorsque vous montez un compartiment Amazon S3 sur votre instance de calcul, utilisez l'--cache-xzindicateur et spécifiez un compartiment de répertoire comme emplacement de cache. Dans l'exemple suivant, remplacez leuser input placeholders.

mount-s3 amzn-s3-demo-bucket ~/mnt --cache-xz amzn-s3-demo-bucket--usw2-az1--x-s3

Cache local et cache partagé combinés

Si vous avez de l’espace inutilisé dans votre cache local, mais que vous souhaitez également un cache partagé entre plusieurs instances, vous pouvez activer à la fois un cache local et un cache partagé. Avec cette configuration de mise en cache, vous pouvez éviter les demandes de lecture redondantes provenant de la même instance vers le cache partagé dans le compartiment de répertoire lorsque les données requises sont mises en cache dans le stockage local. Cela peut réduire les coûts des demandes et améliorer les performances.

Pour activer à la fois un cache local et un cache partagé lorsque vous montez un compartiment Amazon S3, vous devez spécifier les deux emplacements de cache à l'aide --cache-xz des indicateurs --cache et. Pour utiliser l'exemple suivant pour activer à la fois un cache local et un cache partagé, remplacez leuser input placeholders.

mount -s3 amzn-s3-demo-bucket ~/mnt --cache /path/to/mountpoint/cache --cache -xz amzn-s3-demo-bucket--usw2-az1--x-s3

Pour plus d’informations, consultez Configuration de la mise en cache de Mountpoint pour Amazon S3 (langue française non garantie) sur GitHub.

Important

Si vous activez la mise en cache partagée, Mountpoint copiera le contenu de l'objet depuis votre compartiment Amazon S3 monté vers le compartiment de répertoire S3 que vous fournissez comme emplacement de cache partagé, le rendant ainsi accessible à tout appelant ayant accès au compartiment d'annuaire S3. Pour protéger vos données mises en cache, conformez-vous aux Bonnes pratiques de sécurité pour Amazon S3 afin de vous assurer que vos compartiments utilisent les politiques appropriées et qu’ils ne sont pas accessibles publiquement. Utilisez un compartiment de répertoire dédié à la mise en cache partagée de Mountpoint et n’accordez l’accès qu’aux clients Mountpoint.