Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Datenkonvertierung beim Export in einen Amazon S3 S3-Bucket für Amazon RDS
Wenn Sie einen DB-Snapshot in einen Amazon S3-Bucket exportieren, konvertiert Amazon RDS Daten in das Parquet-Format, exportiert Daten darin und speichert Daten im Parquet-Format. Weitere Informationen über Parquet finden Sie auf der Website Apache Parquet
Parquet speichert alle Daten als einen der folgenden primitiven Typen:
-
BOOLEAN
-
INT32
-
INT64
-
INT96
-
FLOAT
-
DOUBLE
-
BYTE_ARRAY – Ein Byte-Array mit variabler Länge, auch bekannt als Binary
-
FIXED_LEN_BYTE_ARRAY – Ein Byte-Array fester Länge, das verwendet wird, wenn die Werte eine konstante Größe haben
Es gibt nur wenige Parquet-Datentypen, um die Komplexität beim Lesen und Schreiben des Formats zu reduzieren. Parquet bietet logische Typen zur Erweiterung primitiver Typen. Ein logischer Typ ist als Annotation, bei der Daten in einem LogicalType-Metadatenfeld implementiert sind. Die logische Typannotation beschreibt, wie der primitive Typ zu interpretieren ist.
Wenn der logische Typ STRING einen BYTE_ARRAY-Typ annotiert, gibt er an, dass das Byte-Array als UTF-8-kodierte Zeichenfolge interpretiert werden soll. Nach Abschluss einer Exportaufgabe informiert Sie Amazon RDS, wenn eine Zeichenfolgenkonvertierung stattgefunden hat. Die zugrunde liegenden exportierten Daten entsprechen immer den Daten aus der Quelle. Aufgrund des Kodierungsunterschieds in UTF-8 können jedoch einige Zeichen beim Einlesen von Tools wie Athena anders als in der Quelle erscheinen.
Weitere Informationen finden Sie unter Logische Typdefinitionen für Parquet
MySQL- und MariaDB-Datentyp-Mapping zu Parquet
Die folgende Tabelle zeigt das Mapping von MySQL- und MariaDB-Datentypen zu Parquet-Datentypen, wenn die Daten konvertiert und nach Amazon S3 exportiert werden.
| Quelldatentyp | Parquet-Primitiv-Typ | Logische Typannotation | Anmerkungen zur Konvertierung |
|---|---|---|---|
| Numerische Datentypen | |||
| BIGINT | INT64 | ||
| BIGINT UNSIGNED | FIXED_LEN_BYTE_ARRAY(9) | DECIMAL(20,0) | Parquet unterstützt nur signierte Typen, daher erfordert das Mapping ein zusätzliches Byte (8 plus 1), um den Typ BIGINT_UNSIGNED zu speichern. |
| BIT | BYTE_ARRAY | ||
| DECIMAL | INT32 | DECIMAL (p,s) | Wenn der Quellwert kleiner als 2 31 ist, wird er als gespeichert INT32. |
| INT64 | DECIMAL (p,s) | Wenn der Quellwert 2 31 oder größer, aber kleiner als 2 63 ist, wird er als gespeichertINT64. | |
| FIX_LEN_BYTE_ARRAY(N) | DECIMAL (p,s) | Wenn der Quellwert 263 oder größer ist, wird er als FIXED_LEN_BYTE_ARRAY(N) gespeichert. | |
| BYTE_ARRAY | STRING | Parquet unterstützt maximal 38 Dezimalstellen. Der Dezimalwert wird in eine Zeichenfolge vom Typ BYTE_ARRAY konvertiert und als codiert. UTF8 | |
| DOUBLE | DOUBLE | ||
| FLOAT | DOUBLE | ||
| INT | INT32 | ||
| INT UNSIGNED | INT64 | ||
| MEDIUMINT | INT32 | ||
| MEDIUMINT UNSIGNED | INT64 | ||
| NUMERIC | INT32 | DECIMAL (p,s) |
Wenn der Quellwert kleiner als 2 31 ist, wird er als gespeichert. INT32 |
| INT64 | DECIMAL (p,s) | Wenn der Quellwert 2 31 oder größer, aber kleiner als 2 63 ist, wird er als gespeichertINT64. | |
| FIXED_LEN_ARRAY(N) | DECIMAL (p,s) | Wenn der Quellwert 263 oder größer ist, wird er als FIXED_LEN_BYTE_ARRAY(N) gespeichert. | |
| BYTE_ARRAY | STRING | Parquet unterstützt keine numerische Genauigkeit größer als 38. Dieser numerische Wert wird in eine Zeichenfolge vom Typ BYTE_ARRAY konvertiert und als codiert. UTF8 | |
| SMALLINT | INT32 | ||
| SMALLINT UNSIGNED | INT32 | ||
| TINYINT | INT32 | ||
| TINYINT UNSIGNED | INT32 | INT (16, wahr) | |
| Zeichenfolgen-Datentypen | |||
| BINARY | BYTE_ARRAY | ||
| BLOB | BYTE_ARRAY | ||
| CHAR | BYTE_ARRAY | ||
| ENUM | BYTE_ARRAY | STRING | |
| LINESTRING | BYTE_ARRAY | ||
| LONGBLOB | BYTE_ARRAY | ||
| LONGTEXT | BYTE_ARRAY | STRING | |
| MEDIUMBLOB | BYTE_ARRAY | ||
| MEDIUMTEXT | BYTE_ARRAY | STRING | |
| MULTILINESTRING | BYTE_ARRAY | ||
| SET | BYTE_ARRAY | STRING | |
| TEXT | BYTE_ARRAY | STRING | |
| TINYBLOB | BYTE_ARRAY | ||
| TINYTEXT | BYTE_ARRAY | STRING | |
| VARBINARY | BYTE_ARRAY | ||
| VARCHAR | BYTE_ARRAY | STRING | |
| Datums- und Uhrzeit-Datentypen | |||
| DATUM | BYTE_ARRAY | STRING | Ein Datum wird in eine Zeichenfolge vom Typ BYTE_ARRAY konvertiert und als codiert. UTF8 |
| DATETIME | INT64 | TIMESTAMP_MICROS | |
| TIME | BYTE_ARRAY | STRING | Ein TIME-Typ wird in eine Zeichenfolge in einem BYTE_ARRAY konvertiert und als codiert. UTF8 |
| TIMESTAMP (ZEITSTEMPEL) | INT64 | TIMESTAMP_MICROS | |
| JAHR | INT32 | ||
| Geometrische Datentypen | |||
| GEOMETRY | BYTE_ARRAY | ||
| GEOMETRYCOLLECTION | BYTE_ARRAY | ||
| MULTIPOINT | BYTE_ARRAY | ||
| MULTIPOLYGON | BYTE_ARRAY | ||
| POINT | BYTE_ARRAY | ||
| POLYGON | BYTE_ARRAY | ||
| JSON-Datentyp | |||
| JSON | BYTE_ARRAY | STRING | |
PostgreSQL-Datentyp-Mapping zu Parquet
Die folgende Tabelle zeigt das Mapping von PostgreSQL-Datentypen zu Parquet-Datentypen, wenn Daten konvertiert und nach Amazon S3 exportiert werden.
| PostgreSQL-Datentyp | Parquet-Primitiv-Typ | Logische Typannotation | Anmerkungen zum Mapping |
|---|---|---|---|
| Numerische Datentypen | |||
| BIGINT | INT64 | ||
| BIGSERIAL | INT64 | ||
| DECIMAL | BYTE_ARRAY | STRING | Ein DECIMAL-Typ wird in eine Zeichenfolge in einem BYTE_ARRAY-Typ konvertiert und als codiert. UTF8 Diese Konvertierung soll Komplikationen aufgrund von Datengenauigkeit und Datenwerten, die keine Zahlen sind (NaN), vermeiden. |
| DOUBLE PRECISION | DOUBLE | ||
| INTEGER | INT32 | ||
| MONEY | BYTE_ARRAY | STRING | |
| REAL | FLOAT | ||
| SERIAL | INT32 | ||
| SMALLINT | INT32 | INT (16, wahr) | |
| SMALLSERIAL | INT32 | INT (16, wahr) | |
| Zeichenfolgen- und verwandte Datentypen | |||
| ARRAY | BYTE_ARRAY | STRING |
Ein Array wird in eine Zeichenfolge umgewandelt und als BINARY (UTF8) codiert. Diese Konvertierung dient dazu, Komplikationen aufgrund von Datengenauigkeit, Datenwerten, die keine Zahl sind (NaN), und Zeitdatenwerten zu vermeiden. |
| BIT | BYTE_ARRAY | STRING | |
| BIT VARYING | BYTE_ARRAY | STRING | |
| BYTEA | BINARY | ||
| CHAR | BYTE_ARRAY | STRING | |
| CHAR(N) | BYTE_ARRAY | STRING | |
| ENUM | BYTE_ARRAY | STRING | |
| NAME | BYTE_ARRAY | STRING | |
| TEXT | BYTE_ARRAY | STRING | |
| TEXT SEARCH | BYTE_ARRAY | STRING | |
| VARCHAR(N) | BYTE_ARRAY | STRING | |
| XML | BYTE_ARRAY | STRING | |
| Datums- und Uhrzeit-Datentypen | |||
| DATUM | BYTE_ARRAY | STRING | |
| INTERVAL | BYTE_ARRAY | STRING | |
| TIME | BYTE_ARRAY | STRING | |
| TIME WITH TIME ZONE | BYTE_ARRAY | STRING | |
| TIMESTAMP | BYTE_ARRAY | STRING | |
| TIMESTAMP WITH TIME ZONE | BYTE_ARRAY | STRING | |
| Geometrische Datentypen | |||
| BOX | BYTE_ARRAY | STRING | |
| CIRCLE | BYTE_ARRAY | STRING | |
| LINE | BYTE_ARRAY | STRING | |
| LINESEGMENT | BYTE_ARRAY | STRING | |
| PATH | BYTE_ARRAY | STRING | |
| POINT | BYTE_ARRAY | STRING | |
| POLYGON | BYTE_ARRAY | STRING | |
| JSON-Datentypen | |||
| JSON | BYTE_ARRAY | STRING | |
| JSONB | BYTE_ARRAY | STRING | |
| Weitere Datentypen | |||
| BOOLEAN | BOOLEAN | ||
| CIDR | BYTE_ARRAY | STRING | Network-Datentyp |
| COMPOSITE | BYTE_ARRAY | STRING | |
| DOMAIN | BYTE_ARRAY | STRING | |
| INET | BYTE_ARRAY | STRING | Network-Datentyp |
| MACADDR | BYTE_ARRAY | STRING | |
| OBJECT IDENTIFIER | – | ||
| PG_LSN | BYTE_ARRAY | STRING | |
| RANGE | BYTE_ARRAY | STRING | |
| UUID | BYTE_ARRAY | STRING | |
