PERF04-BP04 根据访问模式选择数据存储
根据工作负载的访问模式来确定要使用的服务和技术。在性能和规模等非功能性要求外,访问模式还会很大程度影响数据库和存储解决方案的选择。第一个方面是对事务、ACID 合规性和一致性读取的需求。并非每个数据库都支持这些需求,大多数 NoSQL 数据库都提供最终一致性模型。第二个重要方面是写入和读取操作在时间和空间上的分布。全球分布式应用程序需要考虑流量模式、延迟和访问要求,以便确定最佳存储解决方案。第三个需要选择的关键方面是查询模式灵活性、随机访问模式和一次性查询。还必须考虑针对文本和自然语言处理、时间序列和图形的高度专业化查询功能。
期望结果: 根据已识别和记录的数据访问模式选择数据存储。这可包括最常见的读取、写入和删除查询,对临时计算和聚合的需求,数据的复杂性,数据的相互依赖关系以及所要求的一致性需求。
常见反模式:
-
您只能选择一个数据库供应商来简化运营管理。
-
您可以假设数据访问模式会随着时间的推移保持一致。
-
您在应用程序中实施复杂的事务、回滚和一致性逻辑。
-
数据库配置为支持可能出现的高流量突增,这导致数据库资源大部分时间保持空闲状态。
-
使用共享数据库进行事务处理和分析。
建立此最佳实践的好处: 基于访问模式选择和优化数据存储将有助于降低开发复杂性并优化性能。了解何时使用只读副本、全局表、数据分区和缓存将帮助您减少运维开销,并根据您的工作负载需求进行扩展。
未建立这种最佳实践的情况下暴露的风险等级: 中
实施指导
识别和评估数据访问模式,以选择正确的存储配置。每个数据库解决方案都有配置和优化存储解决方案的选项。使用收集的指标和日志,并尝试使用各种选项以找到最佳配置。使用下表查看每个数据库服务的存储选项。
AWS 服务 | Amazon RDS、Amazon Aurora | Amazon DynamoDB | Amazon DocumentDB | Amazon ElastiCache | Amazon Neptune | Amazon Timestream | Amazon Keyspaces | Amazon QLDB |
---|---|---|---|---|---|---|---|---|
扩展存储 | 当利用预调配 IOPS 存储类型时,用于自动扩展预调配存储 IOPS 的存储自动扩展选项,也可以独立于预调配的存储进行扩展 | 自动扩展。表的大小不受限制。 | 存储自动扩展选项可用于扩展预置存储 | 存储在内存中,绑定到实例类型或计数 | 存储自动扩展选项可用于自动扩展预置存储 | 配置内存层和磁介质层的保留期(以天为单位) | 自动扩展和缩减表存储 | 自动扩展。表的大小不受限制。 |
实施步骤:
-
确定并记录数据和流量的预期增长。
-
Amazon RDS 和 Aurora 支持存储自动扩展到规定的限制。除此之外,可以考虑将旧数据转移到 Amazon S3 进行归档,聚合历史数据进行分析,或通过分片进行横向扩展。
-
DynamoDB 和 Amazon S3 将自动扩展到接近无限的存储量。
-
在 EC2 上运行的 Amazon RDS 实例和数据库的大小可以手动调整,并且 EC2 实例可以在以后添加新的 EBS 卷以增加存储空间。
-
实例类型可以根据活动的变化而改变。例如,您可以在测试时从较小的实例开始,然后在服务开始接收生产流量时扩展实例。Aurora Serverless V2 缩放以响应负载的变化。
-
-
记录有关正常和峰值下的性能(每秒事务数 TPS 和每秒查询数 QPS)及一致性(ACID 和最终一致性)要求。
-
记录解决方案部署方面和数据库访问要求(全局、多可用区、读取复制、多个写入节点)
实施计划的工作量级别: 如果您未记录数据管理解决方案的日志或指标,那么您需要在识别和记录数据访问模式之前完成这项工作。一旦了解了数据访问模式,选择和配置数据存储的工作量就会比较 低 工作量。
资源
相关文档:
相关视频:
相关示例: