Importieren von Daten in SPICE - Amazon QuickSight

Importieren von Daten in SPICE

Wenn Sie Daten in einen Datensatz importieren, anstatt eine direkte SQL-Abfrage zu verwenden, werden sie aufgrund der Art und Weise, wie sie gespeichert sind, zu SPICE-Daten. SPICE (Super-fast, Parallel, In-memory Calculation Engine) ist die robuste Engine im Arbeitsspeicher, die Amazon QuickSight verwendet. Sie wurde für schnelle, komplexe Berechnungen und Bereitstellungen von Daten konzipiert. In der Enterprise-Edition werden in SPICE gespeicherte Daten im Ruhezustand verschlüsselt.

Wenn Sie einen Datensatz erstellen oder bearbeiten, wählen Sie entweder die Option SPICE oder eine Direktabfrage, es sei denn, der Datensatz enthält hochgeladene Dateien. Das Importieren (auch Ingesting (Erfassen/Aufnehmen) genannt) Ihrer Daten in SPICE kann Zeit und Geld sparen:

  • Ihre analytischen Abfragen werden schneller verarbeitet.

  • Sie müssen nicht warten, bis eine direkte Anfrage bearbeitet wird.

  • Die in SPICE gespeicherten Daten können mehrfach wiederverwendet werden, ohne dass zusätzliche Kosten anfallen. Wenn Sie eine Datenquelle verwenden, die pro Abfrage abgerechnet wird, wird Ihnen das Abfragen der Daten berechnet, wenn Sie den Datensatz zum ersten Mal erstellen und später, wenn Sie den Datensatz aktualisieren.

SPICE-Kapazität wird für jeden AWS-Region separat zugewiesen. Die Standard–SPICEKapazität wird automatisch Ihrer Startseite AWS-Region zugewiesen. Für jedes AWS-Konto wird die SPICE-Kapazität von allen Personen, die QuickSight in einem einzelnen AWS-Region verwenden, gemeinsam genutzt. Die anderen AWS-Regionen haben keine SPICE-Kapazität, es sei denn, Sie kaufen diese. QuickSight-Administratoren können sehen, wie viel SPICE-Kapazität Sie pro AWS-Region haben und wie viel davon derzeit genutzt wird. Ein QuickSight-Administrator kann bei Bedarf mehr SPICE-Kapazität erwerben oder ungenutzte SPICE-Kapazität freigeben. Weitere Informationen finden Sie unter Verwaltung der SPICE-Speicherkapazität.

Schätzung der Größe von SPICE-Datensätzen

Die Größe eines Datensatzes in SPICE im Verhältnis zur SPICE-Kapazität Ihres Kontos wird als logische Größe bezeichnet. Die logische Größe eines Datensatzes entspricht nicht der Größe der Quelldatei oder Tabelle des Datensatzes. Die Berechnung der logischen Größe von Datensätzen erfolgt nachdem alle Datentyptransformationen und berechneten Spalten während der Datenvorbereitung definiert werden. Diese Felder sind in SPICE so gestaltet, dass die Abfrageleistung verbessert wird. Alle Änderungen, die Sie in einer Analyse vornehmen, haben keine Auswirkung auf die logische Größe der Daten in SPICE. Nur Änderungen, die im Dataset gespeichert werden, gelten für die SPICE-Kapazität.

Die logische Größe eines SPICE-Datensatzes hängt von den Datentypen der Datensatzfelder und der Anzahl der Zeilen im Datensatz ab. Die drei SPICE-Datentypen sind Dezimalzahlen, Datumsangaben und Zeichenfolgen. Sie können den Datentyp eines Felds während der Datenvorbereitungsphase an Ihre Anforderungen an die Datenvisualisierung anpassen. Die Datei, die Sie importieren möchten, enthält z. B. alle Zeichenfolgen (Text). Damit diese in einer Analyse sinnvoll verwendet werden, können Sie die Daten vorbereiten, indem Sie die Datentypen in das richtige Format ändern. Felder mit Preisen können von Zeichenfolgen in Dezimalzahlen geändert werden und Felder mit Datumsangaben von Zeichenfolgen in Datumsangaben. Sie können auch berechnete Felder erstellen und Felder, die Sie nicht benötigen, aus der Quelltabelle ausschließen. Wenn Sie mit der Vorbereitung Ihres Datensatzes fertig sind und alle Transformationen abgeschlossen sind, können Sie die logische Größe des endgültigen Schemas abschätzen.

Anmerkung

Raumbezogene Datentypen verwenden Metadaten, um den physischen Datentyp zu interpretieren. Breiten- und Längengrade sind numerische Daten. Alle anderen raumbezogenen Kategorien sind Zeichenfolgen.

In der folgenden Formel werden Dezimalzahlen und Datumsangaben als 8 Byte pro Zelle mit 4 zusätzlichen Byte als Hilfsbyte berechnet. Zeichenfolgen werden auf der Grundlage der Länge des Textes in UTF-8-Kodierung zuzüglich 24 Byte für Hilfszeichen berechnet. Zeichenfolgendatentypen benötigen aufgrund der zusätzlichen Indizierung von SPICE mehr Speicherplatz, um eine hohe Abfrageleistung zu gewährleisten.

Logical dataset size in bytes = (Number of Numeric cells * (12 bytes per cell)) + (Number of Date cells * (12 bytes per cell)) + SUM ((24 bytes + UTF-8 encoded length) per Text cell)

Die obige Formel sollte nur verwendet werden, um die Größe eines einzelnen Datensatzes in SPICE zu schätzen. Die SPICE-Kapazitätsnutzung ist die Gesamtgröße aller Datensätze in einem Konto in einer bestimmten Region. Es empfiehlt sich nicht, diese Formel zur Schätzung der SPICE-Gesamtkapazität zu verwenden, die Ihr Konto verwendet.