Überlegungen zu Exporten von DB-Cluster-Snapshots

Sie können nicht mehrere Exportaufgaben für denselben DB-Cluster-Snapshot gleichzeitig ausführen. Dies gilt sowohl für vollständige als auch Teilexporte.

Sie können bis zu fünf gleichzeitige DB-Snapshot-Exportaufgaben pro AWS-Konto durchführen.

Sie können Snapshot-Daten nicht von Aurora Serverless v1-DB-Clustern nach S3 exportieren.

Exporte nach S3 unterstützen keine S3-Präfixe, die einen Doppelpunkt (:) enthalten.

Die folgenden Zeichen im S3-Dateipfad werden während des Exports in Unterstriche (_) konvertiert:

\ ` " (space)

Wenn eine Datenbank, ein Schema oder eine Tabelle andere Zeichen als den folgenden enthält, wird ein teilweiser Export nicht unterstützt. Sie können jedoch den gesamten DB-Snapshot exportieren.

Leerzeichen ( ) und bestimmte andere Zeichen werden in den Spaltennamen von Datenbanktabellen nicht unterstützt. Tabellen mit den folgenden Zeichen in Spaltennamen werden beim Export übersprungen:

, ; { } ( ) \n \t = (space)

Tabellen mit Schrägstrichen (/) im Namen werden beim Export übersprungen.

Temporäre und nicht protokollierte Tabellen von Aurora PostgreSQL werden beim Export übersprungen.

Wenn die Daten ein großes Objekt wie BLOB oder CLOB mit einer Größe von 500 MB oder mehr enthalten, schlägt der Export fehl.

Wenn eine Zeile in einer Tabelle ca. 2 GB groß oder noch größer ist, wird die Tabelle beim Export übersprungen.

Bei Teilexporten beträgt die maximale Größe der ExportOnly-Liste 200 KB.

Es wird dringend empfohlen, für jede Exportaufgabe einen eindeutigen Namen zu verwenden. Wenn Sie keinen eindeutigen Aufgabennamen verwenden, erhalten Sie möglicherweise die folgende Fehlermeldung:

ExportTaskAlreadyExistsFault: Beim Aufrufen des StartExportTask-Vorgangs ist ein Fehler aufgetreten (ExportTaskAlreadyExists): Die Exportaufgabe mit der ID xxxxx ist bereits vorhanden.

Sie können einen Snapshot löschen, während Sie seine Daten nach S3 exportieren, aber die Speicherkosten für diesen Snapshot werden Ihnen so lange in Rechnung gestellt, bis die Exportaufgabe abgeschlossen ist.

Sie können exportierte Snapshot-Daten aus S3 nicht in einem neuen DB-Cluster wiederherstellen.

Aktuelle Konvention:

batch_index/part-partition_index-random_uuid.format-based_extension

Der Batch-Index ist eine Sequenznummer, die einen aus der Tabelle gelesenen Datenstapel darstellt. Wenn wir Ihre Tabelle nicht in kleine Datenblöcke aufteilen können, die parallel exportiert werden können, gibt es mehrere Batch-Indizes. Das Gleiche passiert bei einer Partitionierung Ihrer Tabelle in mehrere Tabellen. Es wird mehrere Batch-Indizes geben, einen für jede Tabellenpartition Ihrer Haupttabelle.

Wenn wir Ihre Tabelle in kleine Datenblöcke aufteilen können, die parallel gelesen werden, gibt es nur den Batch-Index-Ordner 1.

Im Batch-Index-Ordner befinden sich eine oder mehrere Parquet-Dateien, die die Daten Ihrer Tabelle enthalten. Das Präfix des Parquet-Dateinamens ist part-partition_index. Wenn Ihre Tabelle partitioniert ist, gibt es mehrere Dateien, die mit dem Partitionsindex 00000 beginnen.

Es kann Lücken in der Reihenfolge des Partitionsindex geben. Dies liegt daran, dass jede Partition mit einer Bereichsabfrage aus Ihrer Tabelle abgerufen wird. Wenn sich im Bereich dieser Partition keine Daten befinden, wird diese Sequenznummer übersprungen.

Angenommen, die id-Spalte ist der Primärschlüssel der Tabelle und deren Minimal- und Maximalwerte sind 100 und 1000. Wenn wir versuchen, diese Tabelle mit 9 Partitionen zu exportieren, lesen wir sie mit parallelen Abfragen wie den folgenden:

SELECT * FROM table WHERE id <= 100 AND id < 200
	SELECT * FROM table WHERE id <= 200 AND id < 300

Dies sollte 9 Dateien von part-00000-random_uuid.gz.parquet bis part-00008-random_uuid.gz.parquet generieren. Wenn es jedoch keine Zeilen mit IDs zwischen 200 und 350 gibt, ist eine der abgeschlossenen Partitionen leer und es wird keine Datei für diese erstellt. Im vorherigen Beispiel wurde part-00001-random_uuid.gz.parquet nicht erstellt.

Ältere Konvention:

part-partition_index-random_uuid.format-based_extension

Diese entspricht der aktuellen Konvention, allerdings ohne das batch_index-Präfix, zum Beispiel:

part-00000-c5a881bb-58ff-4ee6-1111-b41ecff340a3-c000.gz.parquet
	part-00001-d7a881cc-88cc-5ab7-2222-c41ecab340a4-c000.gz.parquet
	part-00002-f5a991ab-59aa-7fa6-3333-d41eccd340a7-c000.gz.parquet
	

BOOLEAN

INT32

INT64

INT96

FLOAT

DOUBLE

BYTE_ARRAY – Ein Byte-Array mit variabler Länge, auch bekannt als Binary

FIXED_LEN_BYTE_ARRAY – Ein Byte-Array fester Länge, das verwendet wird, wenn die Werte eine konstante Größe haben