Bonnes pratiques pour File Gateway - AWS Storage Gateway

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Bonnes pratiques pour File Gateway

Cette section contient les rubriques suivantes, qui fournissent des informations sur les meilleures pratiques relatives à l'utilisation des passerelles, des partages de fichiers, des compartiments et des données. Nous vous recommandons de vous familiariser avec les informations décrites dans cette section et d'essayer de suivre ces directives afin d'éviter tout problème avec votre AWS Storage Gateway. Pour obtenir des conseils supplémentaires sur le diagnostic et la résolution des problèmes courants que vous pourriez rencontrer lors de votre déploiement, consultezRésolution des problèmes liés au déploiement de Storage Gateway.

Bonnes pratiques : récupération de vos données

Bien que cela soit rare, votre passerelle peut rencontrer une défaillance irrécupérable. Une panne peut se produire sur la machine virtuelle (VM), la passerelle elle-même, le stockage local ou ailleurs. En cas de défaillance, nous vous recommandons de suivre les instructions de la section appropriée pour récupérer vos données.

Important

Storage Gateway ne prend pas en charge la restauration d'une machine virtuelle de passerelle à partir d'un instantané créé par votre hyperviseur ou de votre Amazon EC2 Amazon Machine Image (AMI). Si la machine virtuelle de la passerelle fonctionne mal, activez une nouvelle passerelle et récupérez vos données pour cette passerelle à l’aide des instructions ci-après.

Récupération après l’arrêt inattendu d’une machine virtuelle

Si votre machine virtuelle s’arrête de façon inattendue, par exemple pendant une panne de courant, votre passerelle devient inaccessible. Lorsque la connectivité réseau et l’alimentation sont restaurés, votre passerelle devient accessible et commence à fonctionner normalement. Voici quelques actions que vous pouvez mettre en œuvre à ce moment-là pour faciliter la récupération de vos données :

Récupération des données d’un disque de cache défaillant

Si votre disque de cache rencontre une défaillance, nous vous recommandons de mettre en œuvre les actions suivantes pour récupérer vos données en fonction de votre situation :

  • Si la panne s’est produite car un disque de cache a été supprimé de votre hôte, fermez la passerelle, ajoutez à nouveau le disque, puis redémarrez la passerelle.

Récupération de vos données à partir d’un centre de données inaccessible

Si votre passerelle ou votre centre de données devient inaccessible pour une quelconque raison, vous pouvez récupérer vos données sur une autre passerelle dans un autre centre de données ou sur une passerelle hébergée sur une EC2 instance Amazon. Si vous n'avez pas accès à un autre centre de données, nous vous recommandons de créer la passerelle sur une EC2 instance Amazon. Les étapes à suivre dépendent du type de la passerelle à partir de laquelle vous récupérez les données.

Pour récupérer des données depuis une passerelle de fichiers dans un centre de données inaccessible

Pour File Gateway, vous mappez un nouveau de de fichiers au compartiment Amazon S3 FSx qui contient les données que vous souhaitez récupérer.

  1. Créez et activez une nouvelle passerelle de fichiers sur un EC2 hôte Amazon. Pour de plus amples informations, veuillez consulter Déployer un EC2 hôte Amazon par défaut pour S3 File Gateway.

  2. Créez un nouveau sur la EC2 passerelle que vous avez créée. Pour plus d'informations, voir Créer un partage de fichiers .

  3. Montez votre de partage de fichiers sur votre client et mappez-le au compartiment S3 FSx qui contient les données que vous souhaitez récupérer. Pour plus d'informations, voir Monter et utiliser votre partage de fichiers .

Bonnes pratiques : gestion des téléchargements partitionnés

Lors du transfert de fichiers volumineux, S3 File Gateway utilise la fonctionnalité de téléchargement partitionné d'Amazon S3 pour diviser les fichiers en parties plus petites et les transférer en parallèle pour une efficacité accrue. Pour plus d'informations sur le chargement partitionné, consultez la section Chargement et copie d'objets à l'aide du téléchargement partitionné dans le guide de l'utilisateur d'Amazon Simple Storage Service.

Si un chargement partitionné échoue pour une raison quelconque, la passerelle arrête généralement le transfert, supprime toutes les parties du fichier partiellement transférées d'Amazon S3 et tente à nouveau le transfert. Dans de rares cas, par exemple lorsqu'une défaillance matérielle ou réseau empêche le nettoyage de la passerelle après l'échec d'un téléchargement en plusieurs parties, des parties du fichier partiellement transféré peuvent rester sur Amazon S3, où des frais de stockage peuvent être facturés.

Afin de minimiser les coûts de stockage liés à des chargements partitionnés incomplets sur Amazon S3, nous vous recommandons de configurer une règle de cycle de vie des compartiments Amazon S3 qui utilise l'action de l'AbortIncompleteMultipartUploadAPI pour arrêter automatiquement les transferts infructueux et supprimer les parties de fichiers associées après un certain nombre de jours. Pour obtenir des instructions, consultez la section Configuration d'une configuration du cycle de vie d'un bucket pour supprimer les téléchargements partitionnés incomplets dans le guide de l'utilisateur d'Amazon Simple Storage Service.

Bonnes pratiques : décompressez les fichiers compressés localement avant de les copier vers une passerelle

Si vous essayez de décompresser une archive compressée contenant des milliers de fichiers alors qu'elle est stockée sur votre passerelle, vous risquez de rencontrer des retards importants liés aux performances. Le processus de décompression d'une archive contenant un grand nombre de fichiers sur n'importe quel type de partage de fichiers réseau implique par nature un volume élevé d' input/output opérations, la manipulation du cache de métadonnées, une surcharge réseau et une latence. En outre, Storage Gateway n'est pas en mesure de déterminer à quel moment la décompression de chaque fichier de l'archive est terminée et peut commencer à charger les fichiers avant la fin du processus, ce qui a un impact supplémentaire sur les performances. Ces problèmes sont aggravés lorsque les fichiers contenus dans l'archive sont nombreux, mais de petite taille.

Il est recommandé de transférer d'abord les archives compressées de votre passerelle vers votre machine locale, avant de les décompresser. Ensuite, si nécessaire, vous pouvez utiliser un outil tel que robocopy ou rsync pour transférer les fichiers décompressés vers la passerelle.

Conserver les attributs des fichiers lors de la copie de données depuis Windows Server

Il est possible de copier des fichiers vers votre passerelle de fichiers à l'aide de la copy commande de base sous Microsoft Windows, mais cette commande copie uniquement les données du fichier par défaut, en omettant certains attributs de fichier tels que les descripteurs de sécurité. Si les fichiers sont copiés sur la passerelle sans les restrictions de sécurité correspondantes ni les informations de la liste de contrôle d'accès discrétionnaire (DACL), il est possible que des utilisateurs non autorisés y accèdent.

Pour préserver tous les attributs des fichiers et les informations de sécurité lors de la copie de fichiers vers votre passerelle sur Microsoft Windows Server, nous vous recommandons d'utiliser les xcopy commandes robocopy or, avec les /o indicateurs /copy:DS or, respectivement. Pour plus d'informations, consultez robocopy et xcopy dans la documentation de référence des commandes Microsoft Windows Server.

Bonnes pratiques : dimensionnement correct des disques de cache

Pour des performances optimales, la taille totale du cache disque doit être suffisamment grande pour couvrir la taille de votre poste de travail actif. Pour les read/write charges de travail mixtes et gourmandes en lecture, cela garantit que vous pouvez atteindre un pourcentage élevé d'accès au cache lors des lectures, ce qui est souhaitable. Vous pouvez surveiller cela via la CacheHitPercent métrique de votre passerelle de fichiers S3.

Pour les charges de travail gourmandes en écriture (par exemple pour la sauvegarde et l'archivage), la passerelle de fichiers S3 met en mémoire tampon les écritures entrantes sur le cache disque avant de copier ces données de manière asynchrone sur Amazon S3. Assurez-vous de disposer d'une capacité de cache suffisante pour mettre en mémoire tampon les données écrites. La CachePercentDirty métrique fournit une indication du pourcentage du cache disque qui n'a pas encore été conservé. AWS

De faibles valeurs de CachePercentDirty sont souhaitables. Des valeurs constamment proches de 100 % indiquent que la passerelle de fichiers S3 n'est pas en mesure de suivre le rythme du trafic d'écriture entrant. Vous pouvez éviter cela en augmentant la capacité du cache disque provisionné ou en augmentant la bande passante réseau dédiée disponible entre la passerelle de fichiers S3 et Amazon S3, ou les deux.

Pour plus d'informations sur le dimensionnement du disque de cache, consultez les meilleures pratiques de dimensionnement du cache Amazon S3 File Gateway sur le canal officiel Amazon Web Services YouTube .

Utilisation de plusieurs partages de fichiers et de compartiments Amazon S3

Lorsque vous configurez un seul compartiment Amazon S3 pour autoriser plusieurs passerelles ou partages de fichiers à y écrire, les résultats peuvent être imprévisibles. Vous pouvez configurer vos buckets de deux manières différentes pour éviter des résultats imprévisibles. Choisissez la méthode de configuration la mieux adaptée à votre cas d'utilisation parmi les options suivantes :

  • Configurez vos compartiments S3 de manière à ce qu'un seul partage de fichiers puisse écrire dans chaque compartiment. Utilisez un partage de fichiers différent pour écrire dans chaque compartiment.

    Pour ce faire, créez une politique de compartiment S3 qui refuse tous les rôles, à l'exception du rôle utilisé pour un partage de fichiers spécifique afin de placer ou de supprimer des objets dans le compartiment. Attachez une politique similaire à chaque compartiment, en spécifiant un partage de fichiers différent à écrire dans chaque compartiment.

    L'exemple de politique suivant refuse les autorisations d'écriture du compartiment S3 à tous les rôles, à l'exception du rôle qui a créé le compartiment. Les actions s3:DeleteObject et s3:PutObject sont refusées pour tous les rôles à l'exception de "TestUser". La stratégie s'applique à tous les objets du compartiment "arn:aws:s3:::amzn-s3-demo-bucket/*".

    JSON
    { "Version":"2012-10-17", "Statement":[ { "Sid":"DenyMultiWrite", "Effect":"Deny", "Principal":"*", "Action":[ "s3:DeleteObject", "s3:PutObject" ], "Resource":"arn:aws:s3:::amzn-s3-demo-bucket/*", "Condition":{ "StringNotLike":{ "aws:userid":"TestUser:*" } } } ] }
  • Si vous souhaitez que plusieurs partages de fichiers écrivent dans le même compartiment Amazon S3, vous devez empêcher les partages de fichiers d'essayer d'écrire simultanément sur les mêmes objets.

    Pour ce faire, configurez un préfixe d'objet distinct et unique pour chaque partage de fichiers. Cela signifie que chaque partage de fichiers écrit uniquement dans les objets portant le préfixe correspondant et n'écrit pas dans les objets associés aux autres partages de fichiers de votre déploiement. Vous configurez le préfixe d'objet dans le champ Nom du préfixe S3 lorsque vous créez un nouveau partage de fichiers.

Nettoyez les ressources inutiles

Il est recommandé de nettoyer les ressources de Storage Gateway afin d'éviter des frais imprévus ou inutiles. Par exemple, si vous avez créé une passerelle à titre d'exercice de démonstration ou de test, envisagez de la supprimer ainsi que son dispositif virtuel de votre déploiement. Pour nettoyer les ressources, procédez comme suit.

Pour nettoyer les ressources dont vous n’avez pas besoin
  1. Si vous n'avez plus l'intention de continuer à utiliser une passerelle, supprimez-la. Pour de plus amples informations, veuillez consulter Suppression de votre passerelle et suppression des ressources associées.

  2. Supprimez la machine virtuelle Storage Gateway de votre hôte sur site. Si vous avez créé votre passerelle sur une EC2 instance Amazon, mettez fin à l'instance.