要获得与亚马逊 Timestream 类似的功能 LiveAnalytics,可以考虑适用于 InfluxDB 的亚马逊 Timestream。适用于 InfluxDB 的 Amazon Timestream 提供简化的数据摄取和个位数毫秒级的查询响应时间,以实现实时分析。点击此处了解更多信息。
本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
使用自定义复合分区键进行适用于 LiveAnalytics 的 Timestream 架构验证
适用于 LiveAnalytics 的 Timestream 中的架构验证有助于确保摄取到数据库的数据符合指定架构,从而最大限度地减少摄取错误并提升数据质量。特别是,当采用客户定义的分区键以优化查询性能时,架构验证尤为有用。
使用客户定义的分区键进行适用于 LiveAnalytics 的 Timestream 架构验证是指什么?
适用于 LiveAnalytics 的 Timestream 架构验证是一项功能,可根据预定义的架构验证摄取到适用于 LiveAnalytics 的 Timestream 表中的数据。此架构定义数据模型,包括要插入记录的分区键、数据类型和约束条件。
使用客户定义的分区键时,架构验证就显得尤为重要。分区键允许您指定分区键,该分区键决定如何将数据存储在适用于 LiveAnalytics 的 Timestream 中。通过使用自定义分区键对照架构验证传入的数据,您可以强制执行数据一致性,及早发现错误,并提升存储在适用于 LiveAnalytics 的 Timestream 中数据的整体质量。
如何使用自定义复合分区键进行适用于 LiveAnalytics 的 Timestream 架构验证
要使用自定义复合分区键进行适用于 LiveAnalytics 的 Timestream 架构验证,请执行以下步骤:
思考查询模式将呈现何种形式:要正确选择和定义适用于 LiveAnalytics 的 Timestream 表的架构,应从查询要求触发。
指定自定义复合分区键:创建表时,指定自定义分区键。此键决定用于对表数据进行分区的属性。可选择维度键或度量键以进行分区。维度键根据维度名称对数据进行分区,而度量键根据度量名称对数据进行分区。
设置强制级别:为确保数据分区正确并获得相应优势,适用于 LiveAnalytics 的 Amazon Timestream 允许您为架构中的每个分区键设置强制级别。强制级别决定摄取记录时分区键维度是必填还是可选。您可以选择两种选项:REQUIRED,表示分区键必须存在于摄取的记录中;以及 OPTIONAL,表示分区键不必存在。建议使用客户定义的分区时使用 REQUIRED 强制级别,以确保对数据进行正确分区,并充分利用此功能的优势。此外,可在架构创建后随时更改强制级别配置,以适应数据摄取要求。
摄取数据:将数据摄取到适用于 LiveAnalytics 的 Timestream 表时,架构验证过程将使用自定义复合分区键,对照定义的架构检查记录。如果记录不符合架构规范,则适用于 LiveAnalytics 的 Timestream 将返回验证错误。
处理验证错误:如果出现验证错误,适用于 LiveAnalytics 的 Timestream 将返回 ValidationException 或 RejectedRecordsException,具体取决于错误类型。请确保在应用程序中处理这些异常,并采取适当措施,例如修复错误记录并重新尝试数据摄取。
更新强制级别:如有必要,可在创建表后使用 UpdateTable 操作更新分区键的强制级别。然而,需要注意的是,分区键配置的某些方面(例如名称和类型)在表创建后无法更改。如果将强制级别从 REQUIRED 更改为 OPTIONAL,则所有记录都将被接受,无论所选的客户定义分区键属性是否存在。相反,如果将强制级别从 OPTIONAL 更改为 REQUIRED,则对于不符合此条件的记录,可能会出现 4xx 写入错误。因此,在创建表时,必须根据数据的分区要求为使用案例选择适当的强制级别。
何时使用自定义复合分区键进行适用于 LiveAnalytics 的 Timestream 架构验证
在数据一致性、质量和优化分区至关重要的场景中,应使用自定义复合分区键进行适用于 LiveAnalytics 的 Timestream 架构验证。通过在数据摄取期间强制执行架构,可避免可能导致分析错误或丢失宝贵见解的错误与不一致性。
与批量加载作业的交互
在设置批量加载作业以使用客户定义的分区键将数据导入表时,以下几种情况可能会影响该过程:
-
如果强制级别设置为
OPTIONAL,则在创建流程期间,如果作业配置期间未映射分区键,控制台将显示警报。使用 API 或 CLI 时,不会出现此警报。 -
如果强制级别设置为
REQUIRED,除非将分区键映射到源数据列,否则将拒绝创建作业。 -
如果在创建作业后将强制级别更改为
REQUIRED,作业将继续执行,但任何未正确映射分区键的记录都将被拒绝并显示 4xx 错误。
与计划查询的交互
在设置计划查询作业以计算聚合、汇总和其他形式的预处理数据,并将其存储到具有客户定义分区键的表时,以下几种情况可能影响该过程:
-
如果强制级别设置为
OPTIONAL,则如果作业配置期间未映射分区键,控制台将显示警报。使用 API 或 CLI 时,不会出现此警报。 -
如果强制级别设置为
REQUIRED,除非将分区键映射到源数据列,否则将拒绝创建作业。 -
如果在作业创建后将强制级别更改为
REQUIRED,且计划查询结果不包含分区键维度,则该作业的所有后续迭代都将失败。