管理预置的 SSD 读取缓存 - FSx for Lustre

管理预置的 SSD 读取缓存

当使用 Intelligent-Tiering 存储类别创建文件系统时,您还可以选择预置基于 SSD 的读取缓存,该缓存可为读取频繁访问的数据提供 SSD 延迟,最高可达每 GiB 3 IOPS。

您可以使用以下大小调整模式选项之一,为经常访问的数据配置 SSD 读取缓存:

  • 自动(与吞吐能力成比例)。使用“自动”,适用于 Lustre 的 Amazon FSx 会根据预置的吞吐能力自动选择 SSD 数据读取缓存大小。

  • 自定义(用户预置)。使用“自定义”,您可以自定义 SSD 读取缓存的大小,并根据工作负载的需求随时向上或向下扩展。

  • 如果您不想在文件系统中使用 SSD 数据读取缓存,请选择无缓存

在自动(与吞吐能力成比例)模式中,Amazon FSx 根据文件系统的吞吐能力自动预置以下默认的读取缓存大小。

预置的吞吐能力(MBps) 自动(与吞吐能力成比例)模式下的 SSD 读取缓存(GiB) 支持的 SSD 读取缓存大小

最小值(GiB)

最大值(GiB)

每 4000 20000 32 131072

创建文件系统后,可随时修改读取缓存的大小模式和存储容量。

更新 SSD 读取缓存时的注意事项

修改 SSD 读取缓存时,需考虑以下一些重要的注意事项:

  • 每当修改 SSD 读取缓存时,其所有内容都将被删除。这意味着再次填充 SSD 读取缓存之前,您可能会发现性能水平下降。

  • 您可以增加或减少 SSD 读取缓存的容量大小。但是,您只能每六小时操作一次。在文件系统中添加或删除 SSD 读取缓存时无时间限制。

  • 每次修改 SSD 读取缓存时,都必须将其大小增加或减少至少 10%。

更新预置的 SSD 读取缓存

您可以使用 Amazon FSx 控制台、AWS CLI 或 Amazon FSx API 更新 SSD 数据读取缓存。

  1. 通过以下网址打开 Amazon FSx 控制台:https://console.aws.amazon.com/fsx/

  2. 在左侧导航窗格中选择文件系统。在文件系统列表中,选择要更新其 SSD 读取缓存的 FSx for Lustre 文件系统。

  3. SSD 在 摘要面板上,选择文件系统的 SSD 读取缓存值旁边的更新

    将出现更新 SSD 读取缓存对话框。

  4. 为数据读取缓存选择您想要的新大小调整模式,如下所示:

    • 选择自动(与吞吐能力成正比),根据吞吐能力自动调整数据读取缓存的大小。

    • 如果您知道数据集的大致大小,并想要自定义数据读取缓存,请选择自定义(用户预置)。如果选择“自定义”,还需以 GiB 为单位指定所需的读取缓存容量

    • 如果您不想在 Intelligent-Tiering 文件系统中使用 SSD 数据读取缓存,请选择无缓存

  5. 选择更新

要更新 Intelligent-Tiering 文件系统的 SSD 读取缓存,请使用 AWS CLI 命令 update-file-system 或等效的 UpdateFileSystem API 操作。设置以下参数:

  • --file-system-id 设置为要更新的文件系统的 ID。

  • 要修改 SSD 读取缓存,请使用 --lustre-configuration DataReadCacheConfiguration 属性。此属性有 SizeGiBSizingMode 两个参数:

    • SizeGiB:使用 USER_PROVISIONED 模式时,以 GiB 为单位设置 SSD 读取缓存的大小。

    • SizingMode:设置 SSD 读取缓存的大小调整模式。

      • 如果您不想在 Intelligent-Tiering 文件系统中使用 SSD 读取缓存,请将其设置为 NO_CACHE

      • 设置为 USER_PROVISIONED,以指定 SSD 读取缓存的确切大小。

      • 设置为 PROPORTIONAL_TO_THROUGHPUT_CAPACITY,以根据吞吐能力自动调整 SSD 数据读取缓存的大小。

以下示例将 SSD 读取缓存更新为 USER_PROVISIONED 模式,并将大小设置为 524288GiB。

aws fsx update-file-system \ --file-system-id fs-0123456789abcdef0 \ --lustre-configuration 'DataReadCacheConfiguration={SizeGiB=524288,SizingMode=USER_PROVISIONED}'

要监控更新进度,请使用 describe-file-systems AWS CLI 命令。在输出中查找 AdministrativeActions 部分。

有关更多信息,请参阅《Amazon FSx API 参考》中的 AdministrativeAction

监控 SSD 读取缓存更新

您可以使用 Amazon FSx 控制台、API 或 AWS CLI,以监控 SSD 读取缓存更新的进度。

在控制台中监控更新

可在文件系统详细信息页面的更新选项卡中监控文件系统更新。

有关 SSD 读取缓存更新,您可以查看以下信息:

更新类型

支持的类型包括 SSD 读取缓存大小调整模式SSD 读取缓存大小

目标值

文件系统 SSD 读取缓存大小调整模式或 SSD 读取缓存大小的更新值。

状态

当前更新状态。可能的值如下所示:

  • 待处理 – Amazon FSx 已收到更新请求,但尚未开始处理。

  • 正在进行中 – Amazon FSx 正在处理更新请求。

  • 已完成 – 更新成功完成。

  • 已失败 – 更新请求失败。选择问号(?)可查看关于请求失败原因的详细信息。

请求时间

Amazon FSx 收到更新操作请求的时间。

通过 AWS CLI 和 API 监控 SSD 读取缓存更新

您可以使用 describe-file-systems AWS CLI 命令和 DescribeFileSystems API 操作查看和监控文件系统 SSD 读取缓存更新请求。AdministrativeActions 数组列出每种管理操作类型的 10 个最近更新操作。更新文件系统的 SSD 读取缓存时,会生成 FILE_SYSTEM_UPDATE AdministrativeActions

以下示例显示了 CLI 命令 describe-file-systems 的响应摘录。文件系统有待处理的管理操作,将 SSD 读取缓存大小调整模式更改为 USER_PROVISIONED,将 SSD 读取缓存大小更改为 524288。

"AdministrativeActions": [ { "AdministrativeActionType": "FILE_SYSTEM_UPDATE", "RequestTime": 1586797629.095, "Status": "PENDING", "TargetFileSystemValues": { "LustreConfiguration": { "DataReadCacheConfiguration": { "SizingMode": "USER_PROVISIONED" "SizeGiB": 524288, } } } } ]

当新的 SSD 读取缓存配置可供文件系统使用时,FILE_SYSTEM_UPDATE 状态将更改为 COMPLETED。如果 SSD 读取缓存更新请求失败,FILE_SYSTEM_UPDATE 操作的状态将更改为 FAILED