将数据导入到 SPICE - Amazon Quick Suite

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

将数据导入到 SPICE

当您将数据导入数据集而不是使用直接 SQL 查询时,SPICE数据会因为其存储方式而变成数据SPICE (Super-fast, Parallel, In-memory Calculation Engine)是 Amazon Quick Sight 使用的强大内存引擎。该引擎设计为快速执行高级计算及快速提供数据。在企业版中,SPICE 中存储的数据采用静态加密。

创建或编辑数据集时,除非数据集包含已上传的文件,否则您可以选择使用 SPICE 或直接查询。将数据导入(也称为摄取)SPICE 可以节省时间和金钱:

  • 分析查询处理速度加快。

  • 无需等待直接查询处理完成。

  • 存储在 SPICE 中的数据可以多次重复使用,而不会产生额外成本。如果您使用的数据来源按查询收费,则在首次创建数据集时以及稍后刷新数据集时,您需要支付查询数据的费用。

SPICE分别为每个容量分配 AWS 区域。默认SPICE容量会自动分配给您的房屋 AWS 区域。对于每个 AWS 账户,SPICE容量由所有使用 Quick Sight 的用户在一个账户中共享 AWS 区域。除非你选择购买一些,否则另一个 AWS 区域 没有SPICE容量。Quick Sight 管理员可以查看每个SPICE容量中有多少 AWS 区域 以及其中有多少当前正在使用中。Quick Sight 管理员可以根据需要购买更多SPICE容量或释放未使用的SPICE容量。有关更多信息,请参阅 配置SPICE内存容量

估计 SPICE 数据集的大小

SPICE相对于您的 Quick Suite 账户SPICE容量而言,数据集的大小称为逻辑大小。数据集的逻辑大小与数据集的源文件或表的大小不同。数据集的逻辑大小的计算发生在数据准备期间定义所有数据类型转换和计算列之后。这些字段在 SPICE 中以增强查询性能的方式实现。您在分析中所做的任何更改都不会影响 SPICE 中数据的逻辑大小。只有在数据集中保存的更改才能应用到 SPICE 容量。

SPICE 数据集的逻辑大小取决于数据集字段的数据类型和数据集中的行数。三种类型的 SPICE 数据是小数、日期和字符串。您可以在数据准备阶段转换字段的数据类型以满足您的数据可视化需求。例如,您要导入的文件可能包含所有字符串(文本)。但为了在分析中以有意义的方式使用这些数据,可以通过将数据类型更改为适当的形式来准备数据。包含价格的字段可以从字符串更改为小数,而包含日期的字段可以从字符串更改为日期。您还可以创建计算字段并从源表中排除不需要的字段。当您完成数据集的准备并且所有转换完成后,您可以估算最终模式的逻辑大小。

注意

地理空间数据类型使用元数据来解释物理数据类型。经度和纬度都是数字。所有其他地理空间类别都是字符串。

在下面的公式中,小数和日期按每个单元格 8 个字节计算,并附加 4 个辅助字节。字符串是根据 UTF-8 编码的文本长度加上辅助的 24 个字节来计算的。字符串数据类型需要更多空间,因为 SPICE 需要额外的索引才能提供高查询性能。

Logical dataset size in bytes = (Number of Numeric cells * (12 bytes per cell)) + (Number of Date cells * (12 bytes per cell)) + SUM ((24 bytes + UTF-8 encoded length) per Text cell)

上面的公式仅应用于估算 SPICE 中单个数据集的大小。SPICE容量使用量是特定区域中一个账户中所有数据集的总大小。Quick Sight 不建议您使用此公式来估计 Quick Sight 账户使用的总SPICE容量。