Datenformatparameter

Datenformatparameter

FORMAT [AS]

(Optional) Identifiziert Datenformatschlüsselwörter. Die FORMAT-Argumente werden im Folgenden beschrieben.

CSV [ QUOTE [AS] 'quote_character' ]

Ermöglicht die Verwendung des CSV-Formats in den Eingabedaten. Um Trennzeichen, Zeichen für neue Zeilen und Zeilenumbrüche automatisch mit Escape-Zeichen zu markieren, schließen Sie das Feld in das durch den Parameter QUOTE angegebene Zeichen ein. Das Standardanführungszeichen ist das doppelte Anführungszeichen ("). Wird das Anführungszeichen innerhalb des Feldes verwendet, verwenden Sie ein weiteres Anführungszeichen als Escape-Zeichen. Wenn beispielsweise das Anführungszeichen ein doppeltes Anführungszeichen ist und die Zeichenfolge A "quoted" word eingefügt werden soll, sollte die Eingabedatei die Zeichenfolge "A ""quoted"" word" enthalten. Wenn der CSV-Parameter verwendet wird, ist das Standardtrennzeichen ein Komma (,). Sie können ein anderes Trennzeichen angeben, indem Sie den Parameter DELIMITER verwenden.

Wenn ein Feld in Anführungszeichen eingeschlossen wird, werden Leerzeichen zwischen Trennzeichen und Anführungszeichen ignoriert. Wenn das Trennzeichen ein Leerzeichen ist, beispielsweise ein Tabulatorzeichen, wird das Trennzeichen nicht als Leerzeichen behandelt.

Das CSV-Format kann nicht mit FIXEDWIDTH, REMOVEQUOTES oder ESCAPE verwendet werden.

QUOTE [AS] 'quote_character'

Optional. Gibt das Zeichen an, das als Anführungszeichen verwendet werden soll, wenn der CSV-Parameter verwendet wird. Der Standardwert ist das doppelte Anführungszeichen ("). Wenn Sie den Parameter QUOTE verwenden, um ein anderes Anführungszeichen als ein doppeltes Anführungszeichen zu definieren, müssen Sie doppelte Anführungszeichen innerhalb des Felds nicht mit Escape-Zeichen markieren. Der Parameter QUOTE kann nur mit dem Parameter CSV verwendet werden. Das Schlüsselwort AS ist optional.

DELIMITER [AS] ['delimiter_char']

Gibt Zeichen an, die verwendet werden, um Felder in der Eingabedatei zu trennen, beispielsweise das Pipe-Zeichen (|), das Komma (,), das Tabulatorzeichen (\t) oder mehrere Zeichen (z. B. |~|). Nicht druckbare Zeichen werden unterstützt. Zeichen können auch oktal als ihre UTF-8-Codeeinheiten dargestellt werden. Verwenden Sie für die oktale Darstellung das Format „\ddd“, wobei „d“ eine Oktalziffer ist (0–7). Das Standardtrennzeichen ist das Pipe-Zeichen (|), wenn nicht der Parameter CSV verwendet wird. In diesem Fall ist das Standardtrennzeichen das Komma (,). Das Schlüsselwort AS ist optional. DELIMITER kann nicht mit FIXEDWIDTH verwendet werden.

FIXEDWIDTH 'fixedwidth_spec'

Lädt die Daten aus einer Datei, in der jede Spalte eine feste Breite hat, statt durch ein Trennzeichen abgetrennt zu werden. fixedwidth_spec ist eine Zeichenfolge, die eine benutzerdefinierte Spaltenbezeichnung und eine benutzerdefinierte Spaltenbreite angibt. Die Spaltenbezeichnung kann eine Textzeichenfolge oder eine Ganzzahl sein, abhängig davon, wofür sich der Benutzer entscheidet. Spaltenbezeichnung und Spaltenname sind nicht aufeinander bezogen. Die Reihenfolge der Paare aus Bezeichnung/Breite muss exakt mit der Reihenfolge der Tabellenspalten übereinstimmen. FIXEDWIDTH kann nicht mit CSV oder DELIMITER verwendet werden. In Amazon Redshift wird die Länge der CHAR- und VARCHAR-Spalten in Bytes ausgedrückt. Achten Sie daher darauf, dass die von Ihnen angegebene Spaltenbreite beim Vorbereiten der Datei auf das Laden die binäre Länge von Multibyte-Zeichen berücksichtigt. Weitere Informationen finden Sie unter Zeichentypen.

Das Format für fixedwidth_spec wird im Folgenden gezeigt:

'colLabel1:colWidth1,colLabel:colWidth2, ...'

SHAPEFILE [ SIMPLIFY [AUTO] ['Toleranz'] ]

Ermöglicht die Verwendung des SHAPEFILE-Formats in den Eingabedaten. Standardmäßig ist die erste Spalte des Shapefile entweder eine GEOMETRY- oder IDENTITY-Spalte. Alle nachfolgenden Spalten folgen der im Shapefile angegebenen Reihenfolge.

SHAPEFILE kann nicht mit FIXEDWIDTH, REMOVEQUOTES oder ESCAPE verwendet werden.

Um GEOGRAPHY-Objekte mit COPY FROM SHAPEFILE zu verwenden, erfassen Sie zuerst in eine GEOMETRY-Spalte und wandeln dann die Objekte in GEOGRAPHY-Objekte um.

SIMPLIFY [Toleranz]

(Optional) Vereinfacht alle Geometrien während der Erfassung mithilfe des Ramer-Douglas-Peucker-Algorithmus und der angegebenen Toleranz.

SIMPLIFY AUTO [Toleranz]

(Optional) Vereinfacht nur Geometrien, die größer als die maximale Geometriegröße sind. Diese Vereinfachung verwendet den Ramer-Douglas-Peucker-Algorithmus und die automatisch berechnete Toleranz, wenn diese die angegebene Toleranz nicht überschreitet. Der Algorithmus berechnet die Größe zum Speichern von Objekten innerhalb der angegebenen Toleranz. Der Toleranz-Wert ist optional.

Beispiele zum Laden von Shapefiles finden Sie unter Laden eines Shapefile in Amazon Redshift.

AVRO [AS] 'avro_option'

Gibt an, dass die Quelldaten im Avro-Format vorliegen.

Das Avro-Format wird durch folgende Services und Protokolle für den COPY-Befehl unterstützt:

• Amazon S3

• Amazon EMR

• Remote-Hosts (SSH)

Avro wird für COPY aus DynamoDB nicht unterstützt.

Avro ist ein Protokoll für die Datenserialisierung. Eine Avro-Quelldatei enthält ein Schema, das die Struktur der Daten definiert. Der Avro-Schematyp muss sein record. COPY akzeptiert Avro-Dateien, die unter Verwendung des standardmäßigen nicht komprimierten Codec sowie der Komprimierungs-Codecs deflate und snappy erstellt wurden. Weitere Informationen zu Avro finden Sie unter Apache Avro.

Gültige Werte für avro_option sind folgende:

• 'auto'

• 'auto ignorecase'

• 's3://jsonpaths_file'

Der Standardwert ist 'auto'.

COPY weist die Datenelemente in den Avro-Quelldaten automatisch den Spalten in der Zieltabelle zu. Dies geschieht durch den Abgleich von Feldnamen im Avro-Schema mit den Spaltennamen in der Zieltabelle. Mit 'auto' wird beim Abgleich die Groß-/Kleinschreibung beachtet, mit 'auto ignorecase' nicht.

Spaltennamen in Amazon-Redshift-Tabellen verwenden stets Kleinbuchstaben. Daher müssen übereinstimmende Feldnamen ebenfalls Kleinbuchstaben verwenden, wenn Sie die Option 'auto' verwenden. Wenn die Feldnamen nicht alle Kleinbuchstaben sind, können Sie die Option 'auto ignorecase' verwenden. Mit dem Standardargument 'auto' erkennt COPY nur die erste Ebene von Feldern bzw. die äußeren Felder in der Struktur.

Um den Avro-Feldnamen explizit Spaltennamen zuzuordnen, können Sie verwenden JSONPaths-Datei.

Standardmäßig versucht COPY, alle Spalten in der Zieltabelle mit Avro-Feldnamen abzugleichen. Um einen Subsatz der Spalten zu laden, können Sie optional eine Spaltenliste angeben. Wenn eine Spalte in der Zieltabelle aus der Spaltenliste ausgelassen wird, lädt COPY den DEFAULT-Ausdruck der Zielspalte. Wenn die Zielspalte keinen Standardwert besitzt, versucht COPY, NULL zu laden. Wenn eine Spalte in der Spaltenliste enthalten ist und COPY in den Avro-Daten kein übereinstimmendes Feld findet, versucht COPY, NULL in die Spalte zu laden.

Wenn COPY versucht, einer Spalte NULL zuzuweisen, die als NOT NULL definiert ist, schlägt der COPY-Befehl fehl.

Avro-Schema

Eine Avro-Quelldatendatei enthält ein Schema, das die Struktur der Daten definiert. COPY liest das Schema, das Teil der Avro-Quelldatendatei ist, um Datenelemente zu Zieltabellenspalten zuzuweisen. Die folgende Abbildung zeigt ein Avro-Schema.

{
    "name": "person",
    "type": "record",
    "fields": [
        {"name": "id", "type": "int"},
        {"name": "guid", "type": "string"},
        {"name": "name", "type": "string"},
        {"name": "address", "type": "string"}]
}

Das Avro-Schema wird unter Verwendung des JSON-Formats definiert. Das JSON-Objekt auf der obersten Ebene enthält drei Name/Wert-Paare mit den Namen bzw. Schlüsseln "name", "type" und "fields".

Der "fields"-Schlüssel wird mit einem Array von Objekten verknüpft, die den Namen und Datentyp der einzelnen Felder in der Datenstruktur definieren. Standardmäßig gleicht COPY die Feldnamen mit Spaltennamen ab. Spaltennamen verwenden stets Kleinbuchstaben. Daher müssen übereinstimmende Feldnamen ebenfalls Kleinbuchstaben verwenden, außer Sie geben die Option ‘auto ignorecase’ an. Feldnamen, die mit keiner Spalte übereinstimmen, werden ignoriert. Die Reihenfolge spielt keine Rolle. Im vorherigen Beispiel führt COPY einen Abgleich mit den Spaltennamen id, guid, name und address aus.

Bei Verwendung des Standardarguments 'auto' gleicht COPY nur Objekte auf der ersten Ebene mit Spalten ab. Um einen Abgleich mit tieferen Ebenen im Schema auszuführen oder wenn Feldnamen und Spaltennamen nicht übereinstimmen, verwenden Sie eine JSONPaths-Datei, um das Mapping zu definieren. Weitere Informationen finden Sie unter JSONPaths-Datei.

Wenn es sich bei dem Wert, der mit einem Schlüssel verknüpft ist, um einen komplexen Avro-Datentyp wie Byte, Array, Datensatz, Zuweisung oder Link handelt, lädt COPY den Wert als Zeichenfolge. Hier ist die Zeichenfolge die JSON-Darstellung der Daten. COPY lädt Avro-Aufzählungsdatentypen als Zeichenfolgen, wobei der Inhalt der Name des Typs ist. Ein Beispiel finden Sie unter COPY von JSON-Format.

Die maximale Größe des Avro-Dateiheaders, der das Schema und die Dateimetadaten enthält, beträgt 1 MB.  

Die maximale Größe eines einzelnen Avro-Datenblocks beträgt 4 MB. Dies ist etwas anderes als die maximale Zeilengröße. Wenn die maximale Größe eines einzelnen Avro-Datenblocks überschritten wird, schlägt der COPY-Befehl fehl. Dies ist auch dann der Fall, wenn die entsprechende Zeilengröße unter der Grenze von 4 MB für Zeilengrößen liegt.

Bei der Berechnung der Zeilengröße zählt Amazon Redshift intern Pipe-Zeichen (|) zweimal. Wenn Ihre Eingabedaten eine sehr große Zahl von Pipe-Zeichen enthalten, ist es möglich, dass die Zeilengröße 4 MB überschreitet, auch wenn der Datenblock kleiner als 4 MB ist.

JSON [AS] 'json_option'

Die Quelldaten weisen das JSON-Format auf.

Das JSON-Format wird durch folgende Services und Protokolle für den COPY-Befehl unterstützt:

• Amazon S3

• COPY aus Amazon EMR

• COPY aus SSH

JSON wird für COPY aus DynamoDB nicht unterstützt.

Gültige Werte für json_option sind folgende:

• 'auto'

• 'auto ignorecase'

• 's3://jsonpaths_file'

• 'noshred'

Der Standardwert ist 'auto'. Amazon Redshift zerlegt die Attribute von JSON-Strukturen beim Laden eines JSON-Dokuments nicht in mehrere Spalten.

Standardmäßig versucht COPY, alle Spalten in der Zieltabelle mit JSON-Feldnamenschlüsseln abzugleichen. Um einen Subsatz der Spalten zu laden, können Sie optional eine Spaltenliste angeben. Wenn die JSON-Feldnamenschlüssel nicht nur Kleinbuchstaben verwenden, können Sie 'auto ignorecase' oder JSONPaths-Datei verwenden, um Spaltennamen explizit zu JSON-Feldnamenschlüsseln zuzuweisen.

Wenn eine Spalte in der Zieltabelle aus der Spaltenliste ausgelassen wird, lädt COPY den DEFAULT-Ausdruck der Zielspalte. Wenn die Zielspalte keinen Standardwert besitzt, versucht COPY, NULL zu laden. Wenn eine Spalte in der Spaltenliste enthalten ist und COPY in den JSON-Daten kein übereinstimmendes Feld findet, versucht COPY, NULL in die Spalte zu laden.

Wenn COPY versucht, einer Spalte NULL zuzuweisen, die als NOT NULL definiert ist, schlägt der COPY-Befehl fehl.

COPY weist die Datenelemente in den JSON-Quelldaten den Spalten in der Zieltabelle zu. Dies geschieht durch den Abgleich der Objektschlüssel oder -namen in den Name-Wert-Paaren der Quelle mit den Namen der Spalten in der Zieltabelle.

Im Folgenden finden Sie nähere Angaben zu den einzelnen json_option-Werten:

'auto'

Bei dieser Option wird zwischen Groß- und Kleinschreibung unterschieden. Spaltennamen in Amazon-Redshift-Tabellen verwenden stets Kleinbuchstaben. Daher müssen übereinstimmende JSON-Feldnamen ebenfalls Kleinbuchstaben verwenden, wenn Sie die Option 'auto' verwenden.

'auto ignorecase'

Bei dieser Option wird nicht zwischen Groß- und Kleinschreibung unterschieden. Spaltennamen in Amazon-Redshift-Tabellen verwenden stets Kleinbuchstaben. Wenn Sie die Option 'auto ignorecase' verwenden, können entsprechende JSON-Feldnamen Kleinbuchstaben, Großbuchstaben oder beides verwenden.

's3://jsonpaths_file'

Mit dieser Option verwendet COPY die benannte JSONPaths-Datei, um die Datenelemente in den JSON-Quelldaten den Spalten in der Zieltabelle zuzuweisen. Das s3://jsonpaths_file-Argument muss ein Amazon S3-Objektschlüssel sein, der explizit auf eine einzelne Datei verweist. Ein Beispiel ist 's3://amzn-s3-demo-bucket/jsonpaths.txt'. Das Argument darf kein Schlüsselpräfix sein. Weitere Informationen zur Verwendung einer JSONPaths-Datei finden Sie unter JSONPaths-Datei.

In einigen Fällen hat die von jsonpaths_file angegebene Datei dasselbe Präfix wie der von copy_from_s3_objectpath angegebene Pfad für die Datendateien. In diesem Fall liest COPY die JSONPaths-Datei als Datendatei und gibt Fehler zurück. Angenommen, Ihre Datendateien verwenden den Objektpfad s3://amzn-s3-demo-bucket/my_data.json und Ihre JSONPaths-Datei ist s3://amzn-s3-demo-bucket/my_data.jsonpaths. In diesem Fall versucht COPY, my_data.jsonpaths als Datendatei zu laden.

'noshred'

Mit dieser Option zerlegt Amazon Redshift die Attribute von JSON-Strukturen beim Laden eines JSON-Dokuments nicht in mehrere Spalten.

jsonpaths

Der Name des JSON-Objekts, das die AvroPath-Ausdrücke enthält.

[ … ]

Eckige Klammern schließen das JSON-Array ein, das die Pfadelemente enthält.

$

Das Dollarzeichen bezieht sich auf das Stammelement im Avro-Schema, das das "fields"-Array ist.

"$.id",

Das Ziel des AvroPath-Ausdrucks. In diesem Fall ist das Ziel das Element im "fields"-Array mit dem Namen "id". Die Ausdrücke werden durch Kommas getrennt.

"$.friends[0].id"

Eckige Klammern zeigen einen Array-Index an. JSONPath-Ausdrücke verwenden eine nullbasierte Indizierung. Daher referenziert dieser Ausdruck das erste Element im "friends"-Array mit dem Namen "id".

ORC

Lädt die Daten aus einer Datei im Optimized Row Columnar (ORC)-Format.

PARQUET

Lädt die Daten aus einer Datei im Parquet-Format.