Planung von Übertragungen zu oder von Cloud-Speichersystemen von Drittanbietern - AWS DataSync

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Planung von Übertragungen zu oder von Cloud-Speichersystemen von Drittanbietern

Beachten Sie bei der Planung cloudübergreifender Datenübertragungen Folgendes:

  • Verwendung eines Agenten: Ein Agent muss nur dann auf Speicher in anderen Clouds zugreifen, wenn Aufgaben im Basismodus verwendet werden. Für Aufgaben im erweiterten Modus ist kein Agent erforderlich. Wenn Sie sich für die Verwendung eines Agenten entscheiden, können Sie ihn bei der Übertragung aus dem S3-kompatiblen Objektspeicher eines Cloud-Anbieters als EC2Amazon-Instance oder als Google Compute Engine bzw. Azure Virtual Machine für Übertragungen von diesen spezifischen Speicherdiensten bereitstellen. Bei der Übertragung von Dateisystemen in Google und Azure empfehlen wir, den Agenten als Google- oder Azure-VM bereitzustellen, sodass sich der Agent so nah wie möglich am Dateisystem befindet. Darüber hinaus werden die Daten vom Agenten auf DataSync komprimiert AWS, wodurch die Kosten für ausgehenden Datenverkehr gesenkt werden können. DataSync bietet eine Liste validierter Cloud-Standorte, die die erforderliche Amazon S3 S3-API-Kompatibilität bieten.

  • Der Objektspeicher-Endpunkt der anderen Cloud: Der Speicherendpunkt für einen Cloud-Drittanbieter ist in der Regel region- oder kontospezifisch. Der regionale Endpunkt wird zusammen mit einem angegebenen Bucket-Namen als Server am DataSync Objektspeicherort verwendet.

  • Speicherklassen der Quellobjekte: Wie Amazon S3 unterstützen einige Cloud-Anbieter eine Archivschicht, die eine Wiederherstellung erfordert, bevor auf die archivierten Objekte zugegriffen werden kann. Beispielsweise müssen Objekte in der Azure BLOB-Archivschicht vor einer Datenübertragung für den Standardzugriff abgerufen werden. Auf Objekte in der Google Cloud Storage-Archivschicht kann sofort zugegriffen werden und sie müssen nicht wiederhergestellt werden. Allerdings fallen im Zusammenhang mit dem direkten Zugriff auf die Archivebene Abrufkosten an. Bevor Sie mit der Datenübertragung beginnen, lesen Sie in der Dokumentation zu Ihrer Cloud-übergreifenden Speicherklasse die Zugriffsanforderungen und Abrufgebühren. Weitere Informationen zum Wiederherstellen archivierter Objekte in Amazon S3 finden Sie unter Wiederherstellen eines archivierten Objekts im Amazon Simple Storage Service-Benutzerhandbuch.

  • Zugriff auf Objektspeicher: Für die Übertragung von Daten zwischen Cloud-Drittanbietern ist der Zugriff auf den Objektspeicher der anderen Cloud in Form von Authentifizierungsschlüsseln erforderlich. Um beispielsweise Zugriff auf Google Cloud Storage zu gewähren, konfigurieren Sie einen DataSync Objektspeicherort, der eine Verbindung zur Google Cloud Storage-XML-API herstellt und sich mithilfe eines Hash-basierten HMAC-Schlüssels (Message Authentication Code) für Ihr Dienstkonto authentifiziert. Für Azure Blob Storage konfigurieren Sie einen dedizierten Azure DataSync Blob-Speicherort, der mithilfe von SAS-Token authentifiziert wird. DataSync verwendet AWS Secrets Manager , um Ihre Objektspeicher-Anmeldeinformationen sicher zu speichern. Weitere Informationen finden Sie unter Sichern der Anmeldeinformationen für den Speicherort.

  • Unterstützung für Objekt-Tags:

    • Im Gegensatz zu Amazon S3 unterstützen nicht alle Cloud-Anbieter Objekt-Tags. DataSync Aufgaben können beim Versuch, Tags vom Quellspeicherort zu lesen, fehlschlagen, wenn der Cloud-Anbieter keine Objekt-Tags über die Amazon S3 S3-API unterstützt oder wenn die von Ihnen angegebenen Anmeldeinformationen nicht ausreichen, um die Tags abzurufen. DataSyncbietet eine Aufgabenoption zum Deaktivieren des Lesens und Kopierens von Objekt-Tags während einer Übertragung, wenn Objekt-Tags nicht unterstützt werden oder Sie die Tags nicht behalten möchten. Lesen Sie in der Dokumentation Ihres Cloud-Anbieters nach, ob Objekt-Tags unterstützt werden, und überprüfen Sie die Objekt-Tag-Einstellungen Ihrer Übertragungsaufgabe, bevor Sie die Übertragung starten.

    • Sie können die Amazon S3 S3-API verwenden, um zu überprüfen, ob ein Cloud-Anbieter eine get-object-tagging Anfrage zurückgibt. Weitere Informationen finden Sie unter get-object-tagging in der Referenz zum AWS CLI -Befehl.

      Ein Cloud-Anbieter, der Objekt-Tags unterstützt, gibt eine Antwort zurück, die dem folgenden Beispiel ähnelt:

      aws s3api get-object-tagging --bucket BUCKET_NAME --endpoint- url=https://BUCKET_ENDPOINT --key prefix/file1
                                    
{

    "TagSet": []

}

      Ein Cloud-Anbieter, der dies nicht unterstütztget-object-tagging, gibt die folgende Meldung zurück:

      aws s3api get-object-tagging --bucket BUCKET_NAME --endpoint- url=https://BUCKET_ENDPOINT --key prefix/file1

An error occurred (OperationNotSupported) when calling the GetObjectTagging operation: The operation is not supported for this resource

  • Damit verbundene Kosten für Anfragen und ausgehende Daten: Beim Übertragen von Daten aus dem Cloud-Objektspeicher fallen Kosten für Anfragen und ausgehende Daten an. Die Gebühren für Anfragen variieren je nach Cloud-Anbieter und gegebenenfalls zwischen Speicherklassen. Informationen zu den spezifischen Kosten für Anfragen im Verhältnis zur Speicherklasse, aus der Sie lesen möchten, finden Sie in der Dokumentation Ihres Cloud-Anbieters. Eine Übersicht über die Gebühren, die DataSync für Datenübertragungen anfallen, finden Sie unter Bewertung der Kosten für S3-Anfragen bei der Nutzung DataSync und AWS DataSync Preisgestaltung. Bei der Übertragung von Daten von bestimmten Cloud-Anbietern fallen Gebühren für ausgehenden Datenverkehr an. Die Kosten für die Datenübertragung variieren zwischen den Cloud-Anbietern und hängen auch von der Region ab, in der die Daten gespeichert sind.

  • Anforderungsraten für Objektspeicher: Cloud-Anbieter weisen für ihre Objektspeicherplattformen unterschiedliche Leistungs- und Anforderungsratenmerkmale auf. Prüfen Sie die Anforderungsraten Ihres anderen Cloud-Anbieters und ermitteln Sie, wo die Anforderungslimits gelten. Planen Sie im Voraus für stark parallelisierte Übertragungen, die aus mehreren Agenten bestehen und bei denen möglicherweise spezifische Partitionierungen oder Leistungssteigerungen erforderlich sind.

    Amazon S3 verfügt über dokumentierte Anforderungsraten, auf die Sie Ihre Lösung aufbauen können. Die Amazon S3 S3-Anforderungsraten gelten pro partitioniertem Präfix und sind auf mehrere Präfixe skalierbar. Weitere Informationen finden Sie unter Bewährte Entwurfsmuster: Optimierung der Amazon S3 S3-Leistung im Amazon Simple Storage Service-Benutzerhandbuch.