Grundlegendes zur Exportzustellung

Die aus der Exportabfrage resultierenden Daten werden im folgenden S3-Dateipfad gespeichert:

s3://<bucket-name>/<prefix>/<export-name>/data/<partition>/

Die Partition entspricht der Tabelle, die abgefragt wird. Für CUR 2.0 entspricht die Partition dem „Abrechnungszeitraum“ eines bestimmten CUR 2.0-Exports.

prefix: Das S3-Dateipräfix, das Sie dem Export zuweisen.

export-name: Der Name, den Sie dem Export zuweisen.

partition: Die Partition beschreibt, wie eine einzelne Tabelle für die Auslieferung in separate Tabellen partitioniert wird. Für CUR 2.0 entspricht die Partition dem „Abrechnungszeitraum“ im Format. BILLING_PERIOD=YYYY-MM Die Partition für November 2023 lautet beispielsweise 2023-11.

Im Folgenden finden Sie ein Beispiel für einen S3-Dateipfad:

s3://my-data-export-s3-bucket/my-cur-files/business_group_a_cur/data/BILLING_PERIOD=2023-11

Die Manifest.json Metadatendatei für die Abfrage wird im folgenden S3-Dateipfad gespeichert:

s3://<bucket-name>/<prefix>/<export-name>/metadata/<partition>/<export-name>-Manifest.json

Die Manifest.json Datei wird jedes Mal aktualisiert, wenn der Export aktualisiert wird. Für jede neue Partition, die durch den Export erstellt wird, wird eine neue Manifest.json Datei erstellt. Für CUR 2.0 bedeutet dies, dass eine neue Manifest.json Datei generiert wird, wenn ein neuer Abrechnungszeitraum beginnt.

Manifestdateien enthalten die folgenden Informationen:

Die Manifest.json wird erst geliefert, wenn alle Exportdatendateien an S3 geliefert wurden.

Beim Erstellen neuer Exportdateien wird mehr S3-Speicherplatz beansprucht, da alle Exportaktualisierungen beibehalten werden. Das Überschreiben der vorherigen Exportdateien verbraucht weniger S3-Speicherplatz, da nur die neueste Version jeder Aktualisierung des Abrechnungszeitraums beibehalten wird.

Im Modus „Neu erstellen“ werden die Exportdateien an den folgenden S3-Pfad übermittelt:

s3://<bucket-name>/<prefix>/<export-name>/data/<partition>/<timestamp>-<execution-id>

Das timestamp ist das Datum und die Uhrzeit der Ausführung des Exports. Das execution-id ist die eindeutige ID, die der Ausführung zugewiesen wurde.

Bei „Neu erstellen“ werden bei jeder Exportausführung zwei Manifest.json Dateien geliefert. Eine wird im metadata/<partition>/<timestamp>-<execution-id> Verzeichnis gespeichert und die andere wird im metadata/<partition> Verzeichnis überschrieben. Das Manifest im metadata/<partition> Verzeichnis stellt immer die letzte Aktualisierung dar, und ihre Daten werden verwendet, um den Speicherort der zuletzt aktualisierten Exportdateien zu identifizieren.

Das Überschreiben gilt nur für Aktualisierungen derselben Partition (d. h. für den Abrechnungszeitraum). Sobald ein neuer Abrechnungszeitraum beginnt, erstellt der Export ein neues S3-Verzeichnis mit einem Namen, der auf der letzten Partition oder dem letzten Abrechnungszeitraum basiert, und beginnt, die neue Exportpartition dort bereitzustellen. Der Export der vorherigen Partition wird nicht überschrieben, es sei denn, die Daten für diese spezifische Partition werden aktualisiert.

Im Modus „Überschreiben“ werden die Exportdateien an den folgenden S3-Pfad übermittelt:

s3://<bucket-name>/<prefix>/<export-name>/data/<partition>/

Die Exportdateien in diesem Dateiverzeichnis werden bei jeder Lieferung derselben Partition (d. h. bei jedem Abrechnungszeitraum) überschrieben.

Exportdateien werden als mehrere „Chunks“ (separate Dateien gzip/csv oder Parquet-Dateien) geliefert, wenn der Export ausreichend groß ist. Wenn der Export im Laufe des Monats an Größe verliert (aufgrund einer geänderten Abfrage oder Korrektur von Daten), sind möglicherweise weniger Chunks erforderlich, um die Exportaktualisierung durchzuführen. In diesem Fall überschreibt Data Exports alle zusätzlichen Blöcke aus der letzten Aktualisierung mit leeren Daten.

Zum Überschreiben wird bei jeder Manifest.json Exportausführung eine Datei geliefert. Sie wird im metadata/<partition> Verzeichnis gespeichert und bei jeder Aktualisierung überschrieben.

Parquet:

s3://<bucket-name>/<prefix>/<export-name>/data/<partition>/<timestamp>-<execution-id>/<export-name>-<chunk-number>.snappy.parquet

gzip/csv:

s3://<bucket-name>/<prefix>/<export-name>/data/<partition>/<timestamp>-<execution-id>/<export-name>-<chunk-number>.csv.gz

Parquet:

s3://<bucket-name>/<prefix>/<export-name>/data/<partition>/<export-name>-<chunk-number>.snappy.parquet

gzip/csv:

s3://<bucket-name>/<prefix>/<export-name>/data/<partition>/<export-name>-<chunk-number>.csv.gz

Der Modus „Neu erstellen“ liefert Manifest.json an zwei Speicherorte.

Der erste Speicherort befindet sich in einem Ordner, der eine bestimmte Ausführung eines Exports darstellt (benannt nach timestamp undexecution-id). Dieses Manifest entspricht dieser spezifischen Ausführung. Der Dateipfad lautet wie folgt:

s3://<bucket-name>/<prefix>/<export-name>/metadata/<partition>/<timestamp>-<execution-id>

Der zweite Speicherort befindet sich in einem Partitionsordner, der alle Ausführungen enthält. Dieses Manifest ist dieselbe Datei wie bei der letzten Ausführung des Exports. Sie können dieses Manifest lesen, um die genauen Dateipfade aller zuletzt exportierten Dateien zu identifizieren. Der Dateipfad lautet wie folgt:

s3://<bucket-name>/<prefix>/<export-name>/metadata/<partition>/Manifest.json

Der Modus „Überschreiben“ liefert Manifest.json an einen Ort.

s3://<bucket-name>/<prefix>/<export-name>/metadata/<partition>

Das Manifest in diesem Verzeichnis wird bei jeder Aktualisierung einer bestimmten Partition (d. h. bei jedem Abrechnungszeitraum) überschrieben.