Planification des transferts vers ou depuis des systèmes de stockage cloud tiers - AWS DataSync

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Planification des transferts vers ou depuis des systèmes de stockage cloud tiers

Lorsque vous planifiez des transferts de données entre clouds, tenez compte des points suivants :

  • Utilisation d'un agent : un agent est uniquement requis pour accéder au stockage dans d'autres clouds lors de l'utilisation de tâches en mode de base. Les tâches en mode amélioré ne nécessitent pas d'agent. Si vous décidez d'utiliser un agent, vous pouvez le déployer en tant qu' EC2instance Amazon lors du transfert depuis le stockage d'objets compatible S3 d'un fournisseur de cloud, ou en tant que moteur de calcul Google ou machine virtuelle Azure pour les transferts depuis ces services de stockage spécifiques, respectivement. Lors du transfert depuis des systèmes de fichiers dans Google et Azure, nous recommandons de déployer l'agent en tant que machine virtuelle Google ou Azure afin qu'il soit le plus proche possible du système de fichiers. En outre, DataSync compresse les données de l'agent vers le serveur AWS, ce qui peut contribuer à réduire les coûts de sortie. DataSync fournit une liste d'emplacements cloud validés qui fournissent la compatibilité requise avec les API Amazon S3.

  • Point de terminaison de stockage d'objets de l'autre cloud : le point de terminaison de stockage d'un fournisseur de cloud tiers est généralement spécifique à une région ou à un compte. Le point de terminaison régional est utilisé comme serveur dans l'emplacement de stockage d' DataSync objets, avec un nom de compartiment spécifié.

  • Classes de stockage des objets sources : comme Amazon S3, certains fournisseurs de cloud proposent un niveau d'archivage qui nécessite une restauration avant de pouvoir accéder aux objets archivés. Par exemple, les objets du niveau d'archive Azure Blob doivent être récupérés pour un accès standard avant le transfert de données. Les objets du niveau d'archivage de Google Cloud Storage sont accessibles immédiatement et ne nécessitent pas de restauration, mais l'accès direct au niveau d'archivage entraîne des coûts de récupération. Consultez la documentation de votre classe de stockage cross-cloud pour déterminer les exigences d'accès et les frais de récupération avant de commencer votre transfert de données. Pour plus d'informations sur la restauration d'objets archivés dans Amazon S3, consultez la section Restauration d'un objet archivé dans le guide de l'utilisateur d'Amazon Simple Storage Service.

  • Accès au stockage d'objets : le transfert de données entre fournisseurs de cloud tiers nécessite l'accès au stockage d'objets de l'autre cloud sous forme de clés d'authentification. Par exemple, pour fournir un accès à Google Cloud Storage, vous configurez un emplacement de stockage d' DataSync objets qui se connecte à l'API XML de Google Cloud Storage et s'authentifie à l'aide d'une clé HMAC (Hash Based Message Authentication Code) pour votre compte de service. Pour le stockage Azure Blob, vous configurez un DataSync emplacement Azure Blob dédié qui s'authentifie à l'aide de jetons SAS. DataSync utilise AWS Secrets Manager pour stocker en toute sécurité vos informations d'identification de stockage d'objets. Pour plus d'informations, consultez la section Sécurisation des informations d'identification de l'emplacement de stockage.

  • Support des balises d'objet :

    • Contrairement à Amazon S3, tous les fournisseurs de cloud ne prennent pas en charge les balises d'objet. DataSync les tâches peuvent échouer lors de la tentative de lecture de balises depuis l'emplacement source si le fournisseur de cloud ne prend pas en charge les balises d'objet via l'API Amazon S3 ou si les informations d'identification que vous fournissez sont insuffisantes pour récupérer les balises. DataSyncfournit une option de tâche pour désactiver la lecture et la copie des balises d'objet lors d'un transfert si les balises d'objet ne sont pas prises en charge ou si vous ne souhaitez pas conserver les balises. Consultez la documentation de votre fournisseur de cloud pour déterminer si les balises d'objet sont prises en charge, et vérifiez les paramètres des balises d'objet de votre tâche de transfert avant de lancer le transfert.

    • Vous pouvez utiliser l'API Amazon S3 pour vérifier si un fournisseur de cloud renverra une get-object-tagging demande. Pour plus d’informations, consultez get-object-tagging dans la Référence des commandes de l’AWS CLI .

      Un fournisseur de cloud qui prend en charge les balises d'objet renverra une réponse similaire à l'exemple suivant :

      aws s3api get-object-tagging --bucket BUCKET_NAME --endpoint- url=https://BUCKET_ENDPOINT --key prefix/file1
                                    
{

    "TagSet": []

}

      Un fournisseur de cloud qui ne prend pas en charge get-object-tagging renverra le message suivant :

      aws s3api get-object-tagging --bucket BUCKET_NAME --endpoint- url=https://BUCKET_ENDPOINT --key prefix/file1

An error occurred (OperationNotSupported) when calling the GetObjectTagging operation: The operation is not supported for this resource

  • Coûts associés aux demandes et à la sortie de données : le transfert de données depuis le stockage d'objets dans le cloud entraîne des coûts de demande et de sortie associés à la lecture des données et au transfert de données sortantes. Les frais de demande varient selon les fournisseurs de cloud et entre les classes de stockage, le cas échéant. Consultez la documentation de votre fournisseur de cloud concernant les coûts spécifiques des demandes relatifs à la classe de stockage que vous prévoyez de lire. Pour un aperçu des frais de demande liés aux transferts DataSync de données, consultez la section Évaluation des coûts des demandes S3 lors de l'utilisation DataSync et de la AWS DataSync tarification. Le transfert de données depuis des fournisseurs de cloud spécifiques entraîne des frais de sortie. Les coûts de transfert de données varient selon les fournisseurs de cloud et dépendent également de la région dans laquelle les données sont stockées.

  • Taux de demandes de stockage d'objets : les fournisseurs de cloud présentent diverses caractéristiques de performance et de taux de demandes pour leurs plateformes de stockage d'objets. Passez en revue les taux de demandes de votre autre fournisseur de cloud et déterminez où les limites de demandes sont appliquées. Planifiez à l'avance les transferts hautement parallélisés composés de plusieurs agents, où un partitionnement spécifique ou une augmentation des performances peuvent être nécessaires.

    Amazon S3 dispose de taux de demandes documentés sur lesquels vous pouvez élaborer votre solution. Les taux de requêtes Amazon S3 sont calculés par préfixe partitionné et sont évolutifs sur plusieurs préfixes. Pour plus d'informations, consultez la section Modèles de conception des meilleures pratiques : optimisation des performances d'Amazon S3 dans le guide de l'utilisateur d'Amazon Simple Storage Service.