管理元数据性能 - FSx 为了光泽
Lustre 元数据性能配置提高元数据性能时的注意事项何时提高元数据性能

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

管理元数据性能

您可以使用亚马逊 FSx 控制台、Amazon FSx API 或 AWS Command Line Interface (AWS CLI) 更新您 FSx 的 for Lustre 文件系统的元数据配置，而不会对最终用户或应用程序造成任何干扰。更新过程会增加为文件系统预配置的元数据 IOPS 的数量。

注意

增强型元数据仅适用于 2.15 文件系统。只有在使用 Persitent 2 部署类型和指定的元数据配置创建的 Lustre 文件系统上 FSx ，您才能提高元数据性能。如果在创建文件系统时未指定元数据配置，则无法添加或更新 for Lustre 文件系统的元数据配置。 FSx 这也适用于从不支持增强元数据性能的 2.12 文件系统的备份中恢复的文件系统，或者从未指定元数据配置的 2.15 文件系统恢复的文件系统。

提高的文件系统元数据性能可在几分钟内使用。只要提高元数据性能的请求间隔至少 6 小时，您可以随时更新元数据性能。在扩展元数据性能时，文件系统可能会在几分钟内不可用。在文件系统不可用时客户端发出的文件操作将以透明方式重试，并最终在元数据性能扩展完成后成功。在您可以使用新的元数据性能提升后，就需要为其付费。

您可以使用 Amazon FSx 控制台、CLI 和 API 随时跟踪元数据性能提升的进度。有关更多信息，请参阅 监控元数据配置更新。

主题

Lustre 元数据性能配置

预配置元数据 IOPS 的数量决定了文件系统可以支持的最大元数据操作速率。

创建文件系统时，您可以选择元数据配置模式：

  • 对于 SSD 文件系统，如果您希望 Amazon FSx 根据文件系统的存储容量自动配置和扩展文件系统的元数据 IOPS，则可以选择自动模式。请注意，智能分层文件系统不支持自动模式。

  • 对于 SSD 文件系统，如果要指定要为文件系统预配置的元数据 IOPS 数量，则可以选择 “用户配置”。

  • 对于智能分层文件系统，必须选择用户配置模式。在用户配置模式下，您可以指定要为文件系统配置的元数据 IOPS 数量。

在 SSD 文件系统上，您可以随时从自动模式切换到用户配置模式。如果文件系统上预置的元数据 IOPS 数与“自动”模式下预置的默认元数据 IOPS 数一致，也可以从“用户预置”模式切换到“自动”模式。智能分层文件系统仅支持用户配置模式，因此您无法切换元数据配置模式。

有效的元数据 IOPS 值如下所示：

  • 对于 SSD 文件系统，有效的元数据 IOPS 值为 1500、3000、6000 和 12000 的倍数，最大值为 192000。

  • 对于智能分层文件系统，有效的元数据 IOPS 值为 6000 和 12000。

如果工作负载的元数据性能超出了在“自动”模式下预置的元数据 IOPS 数，则可以使用“用户预置”模式增加文件系统的元数据 IOPS 值。

您可以按以下方式，查看文件系统元数据服务器配置的当前值：

  • 使用控制台-在文件系统详细信息页面的摘要面板上，元数据 IOPS 字段显示已配置的元数据 IOPS 的当前值以及文件系统的当前元数据配置模式。

  • 使用 CLI 或 API-使用 describe-file-systemsCLI 命令或 DescribeFileSystemsAPI 操作，然后查找MetadataConfiguration属性。

提高元数据性能时的注意事项

提高元数据性能时需要考虑的几个重要事项如下：

  • 仅提高元数据性能 - 您只能增加文件系统的元数据 IOPS 数；不得减小元数据 IOPS 数。

  • 不支持在自动模式下指定元数据 IOPS - 您无法在处于“自动”模式的文件系统中指定元数据 IOPS 数。必须切换到“用户预置”模式，然后提出请求。有关更多信息，请参阅 更改元数据配置模式。

  • 扩展前写入的数据的元数据 IOPS — 当元数据 IOPS 扩展到 12000 以上时， FSx Lustre 会向您的文件系统添加新的元数据服务器。新的元数据会自动分发到所有服务器上，以提高性能。但是，在扩展之前创建的现有元数据和子目录仍保留在原始服务器上，元数据 IOPS 不会增加。

  • 两次提高的间隔时间 – 在上次增加请求后 6 小时之前，您无法进一步提高文件系统的元数据性能。

  • 同时提高元数据性能和 SSD 存储空间 - 您无法同时扩展元数据性能和文件系统存储容量。

何时提高元数据性能

当需要运行的工作负载要求比文件系统默认配置更高的元数据性能水平时，可增大元数据 IOPS 数。您可以使用图表 AWS Management Console 来监控您的元数据性能，该Metadata IOPS Utilization图表提供了您在文件系统上消耗的预配置元数据服务器性能的百分比。

您还可以使用更精细的 CloudWatch 指标来监控元数据性能。 CloudWatch 指标包括DiskReadOperations和DiskWriteOperations，它们提供需要磁盘 IO 的元数据服务器操作量，以及元数据操作的精细指标，包括文件和目录的创建、统计信息、读取和删除。有关更多信息，请参阅 FSx 获取 Lustre 元数据指标。