Lustre 文件系统的 FSx 部署和存储类选项 - FSx 为了光泽

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Lustre 文件系统的 FSx 部署和存储类选项

Amazon FSx for Lustre 提供了两个文件系统部署选项:永久从头开始。它提供三种存储类别:SSD(固态驱动器 AWS Interconnect)和 HDD(硬盘驱动器)。

在创建新文件系统时,您可以使用、 AWS Command Line Interface (AWS CLI) 或 Amazon FSx for Lustre API 选择文件系统部署类型和存储类别。 AWS 管理控制台有关更多信息,请参阅 Amazon FSx API 参考CreateFileSystem中的步骤 1:创建 FSx for Lustre 文件系统和。

持久性文件系统

持久性文件系统专为长期存储和工作负载而设计,且文件服务器具有高可用性。对于基于 SSD 和 HDD 的文件系统,数据在文件系统所在的同一可用区内自动复制。对于 Intelligent-Tiering 文件系统,数据将跨多个可用区复制。附加到文件服务器的数据卷独立于所附加的文件服务器进行复制。

Amazon 会 FSx 持续监控永久文件系统的硬件故障,并在出现故障时自动更换基础设施组件。在持久性文件系统上,如果某个文件服务器变得不可用了,则系统会在故障发生后的几分钟内自动替换该服务器。在此期间,客户端对该服务器上的数据请求会以透明方式进行重试,并最终在更换文件服务器后成功。持久性文件系统上的数据会复制到磁盘,任何出现故障的磁盘会自动透明地进行替换。

对于长期存储以及侧重于吞吐量的工作负载,且这些工作负载将长时间运行或无限期运行,并可能对可用性中断很敏感,在这两种情况下,使用持久性文件系统。

当从支持传输中加密的 Amazon EC2 实例访问传输中的数据时,永久部署类型会自动对其进行加密。

Amazon f FSx or Lustre 支持两种持久部署类型:持续 1 和持续 2。

Persistent 2 部署类型

Persistent 2 是最新一代的持久性部署类型,最适合需要长期存储的使用案例以及需要最高 IOPS 和吞吐量的使用案例。Persistent 2 文件系统支持 SSD 和 Intelligent-Tiering 存储类别。

您可以使用亚马逊 FSx 控制台和亚马逊 FSx API 创建具有元数据配置并启用 EFA 的 Persit AWS Command Line Interface ent 2 文件系统。

Persistent 1 部署类型

Persistent 1 部署类型非常适合需要长期存储的使用案例。Persistent 1 部署类型支持 SSD(固态驱动器)和 HDD(硬盘驱动器)存储类别。

您只能使用 AWS CLI 和 Amazon FSx API 创建持久 1 部署类型。

临时文件系统

临时文件系统专为临时存储和短期数据处理而设计。如果文件服务器出现故障,则不会复制数据,也不会持久保留数据。Scratch 文件系统提供的高突发吞吐量是基准吞吐量( MBps 每 TiB 存储容量 200)的六倍。有关更多信息,请参阅 SSD 和 HDD 存储类别的性能特点

当需要对处理量繁重的短期工作负载使用成本优化的存储时,可以使用临时文件系统。

在临时文件系统上,如果文件服务器出现故障且未复制数据,则不会更换文件服务器。如果临时文件系统上的某个文件服务器或存储磁盘变得不可用,仍可以访问存储在其他服务器上的文件。如果客户端尝试访问不可用的服务器或磁盘上的数据,则客户端会立即遇到 I/O 错误。

下表示例说明了示例大小的临时文件系统在一天和一周内的预期可用性或持久性。由于更大的文件系统具有更多的文件服务器和更多的磁盘,因此发生故障的概率也会增加。

文件系统大小(TiB) 文件服务器数量 一天内的可用性/持久性 一周内的可用性/持久性

1.2

2

99.9%

99.4%

2.4

2

99.9%

99.4%

4.8

3

99.8%

99.2%

9.6

5

99.8%

98.6%

50.4

22

99.1%

93.9%

文件系统的 IP 地址

每个 FSx Lustre 文件系统要求每个元数据服务器 (MDS) 有一个 IP 地址,每个存储服务器 (OSS) 需要一个 IP 地址。

使用 SSD 或 HDD 存储类别的文件系统
文件系统类型 吞吐量, MBps/TiB 每个操作系统的存储
Persistent 2 EFA* 125 每个操作系统 38.4TiB
250 每个操作系统 19.2TiB
500 每个操作系统 9.6TiB
1000 每个操作系统 4.8TiB
Persistent 2 非 EFA* 125、250、500、1000 每个操作系统 2.4TiB
Persistent 1 SSD 50、100、200 每个操作系统 2.4TiB
Persistent HDD 12 每个操作系统 6TiB
40 每个操作系统 1.8TiB
从头开始 2 200 每个操作系统 2.4TiB
Scratch 1 200 每个操作系统 3.6TiB
使用 Intelligent-Tiering 存储类别的文件系统
文件系统类型 每个操作系统的吞吐量
Intelligent-Tiering*

MBps 每个 OSS 4000

注意

* Amazon FSx 在持续 2 固态硬盘和配置了元数据配置的智能分层文件系统上每 12,000 次元数据 IOPS 预置一个元数据服务器。

Amazon f FSx or Lustre Intelligent-Tiering 文件系统每个 OSS 最多支持 512 TiB 的存储空间。

FSx 适用于 Lustre 存储类别

Amazon FSx for Lustre 提供固态硬盘 (SSD) 和硬盘驱动器 (HDD) 存储类别,它们针对不同的数据处理要求进行了优化: AWS Interconnect

  • SSD 存储类别提供对完整数据集的低延迟(亚毫秒)访问权限。SSD 存储类别已进行预置,这意味着您可以指定文件系统大小,并根据预置的存储量支付存储费用。对于需要全闪存存储性能且对延迟敏感的工作负载,请使用 SSD 存储类别。

    与持续 1 文件系统相比,具有 SSD 存储的永久 2 文件系统支持更高的每单位存储吞吐量(即 MBps 每 TiB 250、500 或 1000)。对于具有 SSD 存储空间的 Persitent 1 文件系统,每单位存储的吞吐量为 MBps 每 TiB 50、100 或 200。对于具有 SSD 存储空间的 Scratch 文件系统,每单位存储的吞吐量为 MBps 每 TiB 200。

  • Intelligent-Tiering 存储类别提供完全弹性、智能分层的存储。弹性意味着您只需为存储的数据量付费,无需指定文件系统大小。智能分层意味着您存储近期未访问的数据时,费用会自动降低。此存储类别通过将冷数据分层至成本更低的存储层,自动优化成本。您可以配置可选的 SSD 读取缓存,以实现对频繁访问数据的低延迟(亚毫秒)访问。Intelligent-Tiering 存储类别助力大多数工作负载实现价格和性能的最佳平衡。对于缓存友好型且无需在全部数据上都达到全闪存存储性能的工作负载,可使用 Intelligent-Tiering 存储类别。智能分层文件系统支持以 4000 为增量的吞吐容量。 MBps

  • HDD 存储类别可用于需要所有数据保持稳定的个位数毫秒级延迟的工作负载。您可以预置可选的 SSD 读取缓存,其容量可设置为 HDD 存储容量的 20%,从而为频繁访问的数据提供低延迟访问。使用 HDD 存储,您可以指定文件系统大小,并根据预置的存储量付费。对于具有 HDD 存储空间的 Persitent 1 文件系统,每单位存储的吞吐量为 MBps 每 TiB 12 或 40。

有关这些存储类别的性能的更多信息,请参阅 SSD 和 HDD 存储类别的性能特点Intelligent-Tiering 存储类别的性能特征

Intelligent-Tiering 存储类别如何分层数据

Amazon FSx Intelligent-Tiering 存储类会自动将数据存储在三个访问层中。该存储类别旨在通过将数据自动移动到最具成本效益的访问层来优化存储成本,而不会对性能或运营开销产生影响。Intelligent-Tiering 存储类别会根据上次访问时间自动对数据进行分层,从而自动优化不常访问数据的成本:

  • 最近 30 天内访问过的数据存储在频繁访问层中。

  • 连续 30 天未访问的数据会自动移至不常访问层,其存储成本低于频繁访问层。

  • 连续 90 天未访问的数据会自动移至归档即时访问层,其存储成本低于不常访问层。

当您访问不常访问层或归档即时访问层中的数据时,数据将自动移回至频繁访问层。对非缓存数据的所有访问都具有相同的性能特征,与数据层无关,并且除了正常 read/write 运营成本外,不会产生额外的 IOPS、检索或过渡成本。

部署类型的可用性

Scratch 2、持续 1 和持续 2 部署类型有以下几种 AWS 区域:

AWS 区域 Persistent 2 Persistent 1 从头开始 2

美国东部(俄亥俄州)

美国东部(弗吉尼亚州北部)

美国东部(亚特兰大)本地区域

✓ *

美国东部(达拉斯)本地区域

✓ *

美国西部(北加利福尼亚)

美国西部(洛杉矶)本地区域

美国西部(俄勒冈州)

美国西部(凤凰城)本地区域

✓ *

非洲(开普敦)

亚太地区(香港)

亚太地区(海得拉巴)

亚太地区(雅加达)

亚太地区(马来西亚)

✓ *

亚太地区(墨尔本)

亚太地区(孟买)

亚太地区(大阪)

亚太地区(首尔)

亚太地区(新加坡)

亚太地区(悉尼)

亚太地区(台北)

✓ *

亚太地区(泰国)

✓ *

亚太地区(东京)

加拿大(中部)

加拿大西部(卡尔加里)

✓ *

欧洲地区(法兰克福)

欧洲地区(爱尔兰)

欧洲地区(伦敦)

欧洲地区(米兰)

欧洲地区(巴黎)

欧洲地区(西班牙)

欧洲地区(斯德哥尔摩)

欧洲(苏黎世)

以色列(特拉维夫)

✓ *

墨西哥(中部)

✓ *

中东(巴林)

中东(阿联酋)

南美洲(圣保罗)

AWS GovCloud (美国东部)

AWS GovCloud (美国西部)

注意

* 它们 AWS 区域 支持不带 EFA 的 SSD 存储等级的 Persistent-125 和永久性 250 文件系统。