将数据导入到 SPICE - Amazon QuickSight

将数据导入到 SPICE

当您将数据导入数据集而不是使用直接 SQL 查询时,数据会因为其存储方式而变成 SPICE 数据SPICE (Super-fast, Parallel, In-memory Calculation Engine) 是 Amazon QuickSight 使用的强大内存中引擎。该引擎设计为快速执行高级计算及快速提供数据。在企业版中,SPICE 中存储的数据采用静态加密。

创建或编辑数据集时,除非数据集包含已上传的文件,否则您可以选择使用 SPICE 或直接查询。将数据导入(也称为摄取)SPICE 可以节省时间和金钱:

  • 分析查询处理速度加快。

  • 无需等待直接查询处理完成。

  • 存储在 SPICE 中的数据可以多次重复使用,而不会产生额外成本。如果您使用的数据来源按查询收费,则在首次创建数据集时以及稍后刷新数据集时,您需要支付查询数据的费用。

SPICE 容量按 AWS 区域 单独分配。默认 SPICE 容量会自动分配给您的主 AWS 区域。对于每个 AWS 账户,SPICE 容量由单个 AWS 区域 中使用 QuickSight 的所有人员共享。其他 AWS 区域 没有 SPICE 容量,除非您选择购买一些容量。QuickSight 管理员可以查看每个 AWS 区域 中有多少 SPICE 容量以及当前正在使用多少容量。QuickSight 管理员可以根据需要购买更多 SPICE 容量或释放未使用的 SPICE 容量。有关更多信息,请参阅 管理 SPICE 内存容量

估计 SPICE 数据集的大小

SPICE 中的数据集相对于您账户的 SPICE 容量的大小称为逻辑大小。数据集的逻辑大小与数据集的源文件或表的大小不同。数据集的逻辑大小的计算发生在数据准备期间定义所有数据类型转换和计算列之后。这些字段在 SPICE 中以增强查询性能的方式实现。您在分析中所做的任何更改都不会影响 SPICE 中数据的逻辑大小。只有在数据集中保存的更改才能应用到 SPICE 容量。

SPICE 数据集的逻辑大小取决于数据集字段的数据类型和数据集中的行数。三种类型的 SPICE 数据是小数、日期和字符串。您可以在数据准备阶段转换字段的数据类型以满足您的数据可视化需求。例如,您要导入的文件可能包含所有字符串(文本)。但为了在分析中以有意义的方式使用这些数据,可以通过将数据类型更改为适当的形式来准备数据。包含价格的字段可以从字符串更改为小数,而包含日期的字段可以从字符串更改为日期。您还可以创建计算字段并从源表中排除不需要的字段。当您完成数据集的准备并且所有转换完成后,您可以估算最终模式的逻辑大小。

注意

地理空间数据类型使用元数据来解释物理数据类型。经度和纬度都是数字。所有其他地理空间类别都是字符串。

在下面的公式中,小数和日期按每个单元格 8 个字节计算,并附加 4 个辅助字节。字符串是根据 UTF-8 编码的文本长度加上辅助的 24 个字节来计算的。字符串数据类型需要更多空间,因为 SPICE 需要额外的索引才能提供高查询性能。

Logical dataset size in bytes = (Number of Numeric cells * (12 bytes per cell)) + (Number of Date cells * (12 bytes per cell)) + SUM ((24 bytes + UTF-8 encoded length) per Text cell)

上面的公式仅应用于估算 SPICE 中单个数据集的大小。SPICE 容量使用情量是特定区域中账户中所有数据集的总大小。不建议您使用此公式来估算您的账户正在使用的总 SPICE 容量。