Replizieren vorhandener Objekte mit der Batch-Replikation

Objekte, die vor dem Einrichten einer Replikationskonfiguration existierten

Objekte, die bereits repliziert wurden

Objekte, deren Replikation fehlgeschlagen ist

Eine Batch-Replikation für eine neue Replikationsregel oder ein neues Ziel initiieren – Sie können einen einmaligen Batch-Replikationsauftrag erstellen, wenn Sie die erste Regel in einer neuen Replikationskonfiguration erstellen oder wenn Sie über die Amazon-S3-Konsole einen neuen Ziel-Bucket zu einer vorhandenen Konfiguration hinzufügen.

Batch-Replikation für eine bestehende Replikationskonfiguration initiieren — Sie können einen neuen Batch-Replikationsauftrag erstellen, indem Sie S3 Batch Operations über die Amazon S3 S3-Konsole, die AWS Command Line Interface (AWS CLI) AWS SDKs, die oder die Amazon S3 S3-REST-API verwenden.

Ihr Quell-Bucket muss über eine vorhandene Replikationskonfiguration verfügen. Informationen zum Aktivieren der Replikation finden Sie unter Einrichten einer Live-Replikation – Überblick und Beispiele für die Konfiguration einer Live-Replikation.

Wenn Sie S3 Lifecycle für Ihren Bucket konfiguriert haben, empfehlen wir, Ihre Lebenszyklusregeln zu deaktivieren, während der Batch-Replikationsauftrag aktiv ist. Dadurch wird die Parität zwischen Quell- und Ziel-Bucket sichergestellt. Andernfalls könnten diese Buckets voneinander abweichen und der Ziel-Bucket wäre kein exaktes Replikat des Quell-Buckets. Betrachten wir folgendes Beispielszenario:

In diesem Szenario repliziert die Batch-Replikation möglicherweise die Löschmarkierung auf den Ziel-Bucket, bevor die Objektversionen repliziert werden. Dieses Verhalten kann dazu führen, dass Ihre Lebenszykluskonfiguration die Löschmarkierung als abgelaufen markiert und die Löschmarkierung aus dem Ziel-Bucket entfernt wird, bevor die Objektversionen repliziert werden.

Die AWS Identity and Access Management (IAM-) Rolle, die Sie für die Ausführung des Batch Operations-Jobs angeben, muss über die erforderlichen Berechtigungen verfügen, um den zugrunde liegenden Batch-Replikationsvorgang auszuführen. Weitere Informationen zum Erstellen einer IAM-Rolle finden Sie unter Konfigurieren einer IAM-Rolle für die S3-Batch-Replikation.

Die Batch-Replikation erfordert ein Manifest, das von Amazon S3 generiert werden kann. Das generierte Manifest muss im selben Ordner AWS-Region wie der Quell-Bucket gespeichert werden. Wenn Sie das Manifest nicht generieren möchten, können Sie einen Bericht von Amazon S3 Inventory oder eine CSV-Datei bereitstellen, die die Objekte enthält, die Sie replizieren möchten. Weitere Informationen finden Sie unter Angeben eines Manifests für einen Batch-Replikationsauftrag.

Die Batch-Replikation unterstützt nicht das erneute Replizieren von Objekten, die durch Festlegen der Versions-ID des Objekts aus dem Ziel-Bucket gelöscht wurden. Wenn Sie diese Objekte erneut replizieren möchten, können Sie die Quellobjekte mit einem Batch–Kopierauftrag kopieren. Beim Kopieren dieser Objekte werden neue Versionen der Objekte im Quell-Bucket erstellt und die Replikation zum Ziel-Bucket wird automatisch initiiert. Durch das Löschen und Neuerstellen des Ziel-Buckets wird keine Replikation initiiert.

Weitere Informationen zur Batch-Kopie finden Sie unter Beispiele, die Batch-Vorgänge zum Kopieren von Objekten verwenden.

Wenn Sie eine Replikationsregel für den Quell-Bucket verwenden, stellen Sie sicher, dass Sie Ihre Replikationskonfiguration aktualisieren, indem Sie der IAM-Rolle, die der Replikationsregel zugeordnet ist, die entsprechenden Berechtigungen zum Replizieren von Objekten erteilen. Diese IAM-Rolle muss über die notwendigen Berechtigungen zum Ausführen der Replikation sowohl für den Quell- als auch für den Ziel-Bucket verfügen.

Wenn Sie innerhalb eines kurzen Zeitraums mehrere Batch-Replikationsaufträge für denselben Bucket einreichen, führt Amazon S3 diese Aufträge gleichzeitig aus.

Wenn Sie mehrere Batch-Replikationsaufträge für zwei verschiedene Buckets einreichen, kann es sein, dass Amazon S3 nicht alle Aufträge gleichzeitig ausführt. Wenn Sie die Anzahl der Batch-Replikationsaufträge, die in Ihrem Konto gleichzeitig ausgeführt werden können, überschreiten, unterbricht Amazon S3 die Aufträge mit niedrigerer Priorität, um die Aufträge mit höherer Priorität zu bearbeiten. Nach Abschluss der Aufträge mit höherer Priorität werden alle angehaltenen Aufträge wieder aktiv.

Die Batch-Replikation wird nicht für Objekte unterstützt, die in den Speicherklassen S3 Glacier Flexible Retrieval und S3 Glacier Deep Archive gespeichert wurden.

Zur Massenreplizierung von S3 Intelligent-Tiering-Objekten, die in der Speicherebene „Archive Access“ oder „Deep Archive Access“ gespeichert sind, müssen Sie eine Anforderung zur Wiederherstellung initiieren und warten, bis die Objekte in die Ebene „Frequent Access“ verschoben wurden.

Ein einziger Batch-Replikationsauftrag kann ein Manifest mit bis zu 20 Milliarden Objekten unterstützen.

"NONE" – Zeigt an, dass Amazon S3 noch nie versucht hat, das Objekt zu replizieren.

"FAILED" – Zeigt an, dass Amazon S3 versucht hat, das Objekt zu replizieren, es jedoch zuvor nicht replizieren konnte.

"COMPLETED" – Zeigt an, dass Amazon S3 das Objekt zuvor erfolgreich repliziert hat.

"REPLICA" – Zeigt an, dass dieses Objekt ein Replikat ist, das Amazon S3 aus einem anderen Quell-Bucket repliziert hat.

Wenn Sie nur vorhandene Objekte replizieren möchten, die nie repliziert wurden, behalten Sie nur "NONE" bei.

Wenn Sie versuchen möchten, nur Objekte zu replizieren, die zuvor nicht repliziert werden konnten, behalten Sie nur "FAILED" bei.

Wenn Sie sowohl vorhandene Objekte replizieren als auch versuchen möchten, Objekte zu replizieren, die zuvor nicht repliziert werden konnten, behalten Sie "NONE" und "FAILED" bei.

Wenn Sie einen Ziel-Bucket mit Objekten füllen möchten, die an ein anderes Ziel repliziert wurden, behalten Sie "COMPLETED" bei.

Wenn Sie zuvor replizierte Objekte replizieren möchten, behalten Sie "REPLICA" bei.