开始使用 Amazon for Lu FSx stre - FSx 为了光泽

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

开始使用 Amazon for Lu FSx stre

接下来,你可以学习如何开始使用 Amazon FSx for Lustre。这些步骤将引导您创建一个 Amazon f FSx or Lustre 文件系统并从您的计算实例访问该文件系统。(可选)它们展示如何使用您的 Amazon FSx for Lustre 文件系统通过基于文件的应用程序处理 Amazon S3 存储桶中的数据。

此入门练习包括以下步骤。

先决条件

要进行此次入门练习,您需要:

  • 具有创建 A FSx mazon for Lustre 文件系统和亚马逊 EC2 实例所需权限的 AWS 账户。有关更多信息,请参阅 设置 Amazon FSx for Lustre

  • 创建要与您 FSx 的 for Lustre 文件系统关联的 Amazon VPC 安全组,并且在创建文件系统后不要对其进行更改。有关更多信息,请参阅为您的 Amazon FSx 文件系统创建安全组

  • 基于亚马逊 VPC 服务的虚拟私有云 (VPC) 中运行支持的 Linux 版本的亚马逊 EC2 实例。在此入门练习中,我们建议使用 Amazon Linux 2023。您将在此 EC2 实例上安装Lustre客户端,然后在该实例上安装您的 f FSx or Lustre 文件系统。 EC2 有关创建 EC2 实例的更多信息,请参阅 Amazon EC2 用户指南中的入门:启动实例或启动您的实例

    除了亚马逊 Linux 2023 之外,该Lustre客户端还支持亚马逊 Linux 2、红帽企业 Linux (RHEL)、CentOS、Rocky Linux、SUSE Linux 企业服务器和 Ubuntu 操作系统。有关更多信息,请参阅 Lustre 文件系统和客户端内核的兼容性

  • 在为本入门练习创建 Amazon EC2 实例时,请记住以下几点:

    • 我们建议您在默认 VPC 中创建实例。

    • 我们建议您在创建 EC2 实例时使用默认安全组。

  • 确定您要创建哪种类型的 Amazon FSx for Lustre 文件系统,即暂存文件系统还是永久文件系统。有关更多信息,请参阅 Lustre 文件系统的 FSx 部署和存储类选项

  • 每个 FSx Lustre 文件系统要求每个元数据服务器 (MDS) 有一个 IP 地址,每个存储服务器 (OSS) 需要一个 IP 地址。有关更多信息,请参阅 文件系统的 IP 地址

  • 一个 Amazon S3 桶,用于存储要处理的工作负载数据。S3 存储桶将是您 FSx 的 for Lustre 文件系统的链接持久数据存储库。

第 1 步:创建你的 f FSx or Lustre 文件系统

您可以在 Amazon FSx 控制台中创建您的文件系统。请注意,所有 FSx 适用于 Lustre 的文件系统均在使用 Ama FSx zon 控制台创建 2.15 Lustre 版本的基础上构建。

要创建文件系统,请执行以下操作:
  1. 打开亚马逊 FSx 控制台,网址为https://console.aws.amazon.com/fsx/

  2. 在控制面板上,选择创建文件系统以启动文件系统创建向导。

  3. 选择 FSx for Lustre,然后选择下一步以显示创建文件系统页面。

    文件系统详细信息部分开始配置。

  4. 文件系统名称 – 可选部分为您的文件系统提供一个名称。您最多可以使用 256 个 Unicode 字母、空格和数字以及特殊字符 + - = . _ : /

  5. 对于部署和存储类别,请选择以下选项之一:

    • 对于长期存储和延迟敏感型工作负载,请选择持久、SSD。使用 SSD 存储,您需要为预配置的存储量付费。

      (可选)选择启用 EFA 以启用文件系统的弹性结构适配器 (EFA) Fabric Adapter 支持。有关 EFA 的更多信息,请参阅使用支持 EFA 的文件系统

    • 选择持久、智能分层以实现长期存储。Intelligent-Tiering 存储类提供适用于大多数工作负载的完全弹性、经济实惠的存储,以及可选的 SSD 读取缓存,可为读取频繁访问的数据提供 SSD 延迟。借助 Intelligent-Tiering,您需要根据数据集的大小为您存储的数据付费,并且无需指定文件系统大小。

      (可选)选择启用 EFA 以启用文件系统的弹性结构适配器 (EFA) Fabric Adapter 支持。

    • 选择 S cratch、SSD 部署进行临时存储和短期数据处理。使用 SSD 存储,您需要为预配置的存储量付费。

  6. 选择文件系统的吞吐量。您需要为预置的吞吐量付费。

    • 对于永久 SSD 存储,请选择每单位存储吞吐量值。每单位存储的吞吐量是预配置的每 1 TB (TiB) 存储的读取和写入吞吐量。

    • 对于 Scratch SSD 存储,请选择每单位存储吞吐量值。

    • 对于智能分层存储,请选择吞吐量容量值。

  7. 对于存储容量(仅限 SSD 存储类别),请设置文件系统的存储容量,以 TB 为单位:

    • 对于持久性、SSD 部署类型,请将该值设置为 1.2TiB、2.4TiB 或 2.4TiB 的增量。

    • 对于支持 EFA 的永久固态硬盘部署类型,在 1000、500、250 和 125 /TiB 吞吐量层中分别以 4.8 TiB、9.6 TiB、19.2 TiB 和 38.4 TiB 的增量设置此值。 MBps

    创建文件系统后,您可以根据需要增加存储容量。有关更多信息,请参阅 管理存储容量

  8. 对于元数据配置,请选择以下选项之一,为您的文件系统预置元数据 IOPS 的数量:

    • 如果您希望 Amazon FSx for Lustre 根据文件系统的存储容量自动配置和扩展文件系统的元数据 IOPS,请选择 “动”(仅限 SSD 存储类别)。

    • 如果要指定要为具有 SSD 或智能分层存储类别的文件系统配置的元数据 IOPS 数量,请选择 “用户配置”。有效值如下所示:

      • 对于 SSD 文件系统,有效值为15003000600012000、和的12000倍数,最大值为。192000

      • 对于智能分层文件系统,有效值为和。6000 12000

    有关元数据 IOPS 的更多信息,请参阅 Lustre 元数据性能配置

  9. 对于 SSD 读取缓存(仅限智能分层),请选择自动(与吞吐容量成比例)或自定义(用户配置)。使用 “自动” 选项,Amazon FSx for Lustre 会根据您的预配置吞吐量自动选择读取缓存大小。如果您知道活动工作数据集的大致大小,则可以选择 “自定义” 来自定义 SSD 读取缓存的大小。有关更多信息,请参阅 管理预配置的 SSD 读取缓存

  10. 对于数据压缩类型,选择 “” 以关闭数据压缩,或者选择LZ4使用 LZ4 算法开启数据压缩。有关更多信息,请参阅 Lustre 数据压缩

  11. 网络与安全部分,提供以下网络和安全组信息:

    • 对于虚拟私有云(VPC),请选择要与文件系统关联的 VPC。在本入门练习中,请选择您为 Amazon EC2 实例选择的相同 VPC。

    • 对于 VPC 安全组,应该已经添加了您的 VPC 的默认安全组 ID。

      如果您未使用默认安全组,请确保将以下入站规则添加到您在此入门练习中使用的安全组中。

      类型 协议 端口范围 描述
      所有 TCP TCP 0-65535 自定义 the_ID_of_this_security_group 入站 Lustre 流量规则
      重要
      • 确保您使用的安全组遵循 使用 Amazon VPC 进行文件系统访问控制 中提供的配置说明。您必须将安全组设置为允许 988 端口和 1018-1023 端口来自安全组本身或完整子网 CIDR 的入站流量,这样文件系统主机之间才能相互通信。

      • 如果要创建启用 EFA 的文件系统,请务必指定启用 E FA 的安全组。

    • 对于子网,请从可用子网列表中选择任意值。

  12. 对于加密部分,可用选项因您要创建的文件系统类型而异:

    • 对于永久性文件系统,您可以选择 AWS Key Management Service (AWS KMS) 加密密钥来加密文件系统上的静态数据。

    • 对于临时文件系统,使用由管理的密钥对静态数据进行加密 AWS。

    • 对于 scratch 2 和永久文件系统,当从支持的 Amazon EC2 实例类型访问文件系统时,传输中的数据会自动加密。有关更多信息,请参阅 加密传输中数据

  13. 对于数据存储库 Import /Expor t 可选部分,默认情况下,将您的文件系统链接到 Amazon S3 数据存储库处于禁用状态。有关启用此选项以及创建与现有 S3 桶关联的数据存储库的信息,请参阅 在创建文件系统时链接 S3 桶(控制台)

    重要
    • 选择此选项还会禁用备份,因此您在创建文件系统时将无法启用备份。

    • 如果您将一个或多个 Amazon FSx for Lustre 文件系统关联到 Amazon S3 存储桶,则在删除所有链接的文件系统之前,请勿删除 Amazon S3 存储桶。

    • 智能分层文件系统不支持链接到 Amazon S3 数据存储库。

  14. 对于日志记录(可选),日志记录默认处于启用状态。启用后,文件系统上数据存储库活动的故障和警告将记录到 Amazon L CloudWatch ogs 中。有关配置日志记录的信息,请参阅 管理日志记录

  15. Backup 和维护可选中,您可以执行以下操作。

    • 禁用每日自动备份。除非您启用了数据存储库 Import/Ex port,否则此选项默认处于启用状态。

    • 设置每日自动备份时段的开始时间。

    • 自动备份保留期设置为 1-35 天。

    • 设置每周维护时段的开始时间,或者将其设置为默认的无首选项

    有关更多信息,请参阅使用备份保护您的数据。Amazon FSx for Lustre 维护窗口

  16. 对于 Root Squash 可选,根南瓜默认处于禁用状态。有关启用和配置适用于根挤压的信息,请参阅 创建文件系统时启用根挤压(控制台)

  17. 创建您希望应用于文件系统的所有标签。

  18. 选择下一步以显示创建文件系统摘要页面。

  19. 查看您的 Amazon f FSx or Lustre 文件系统的设置,然后选择创建文件系统

现在,您已经创建了文件系统,请记下其完全限定域名和挂载名称以供后续步骤使用。通过在 “文件系统” 控制面板中选择文件系统的名称,然后选择 “附加”,可以找到文件系统的完全限定域名和装载名称。

步骤 2:安装和配置 Lustre 客户端

在从您的亚马逊 EC2 实例访问您 FSx 的 Amazon for Lustre 文件系统之前,您必须执行以下操作:

  • 验证您的 EC2 实例是否满足最低内核要求。

  • 需要时请更新内核。

  • 下载并安装 Lustre 客户端。

检查内核版本并下载 Lustre 客户端
  1. 在您的 EC2 实例上打开终端窗口。

  2. 通过运行以下命令确定您的计算实例上当前运行的是哪个内核。

    uname -r
  3. 请执行以下操作之一:

    • 如果基于 x86 6.1.79-99.167.amzn2023.x86_64 的 EC2 实例返回该命令,6.1.79-99.167.amzn2023.aarch64或者对基于 Graviton2 的 EC2 实例返回更高的命令,请使用以下命令下载并安装客户端。Lustre

      sudo dnf install -y lustre-client
    • 如果该命令返回的结果小于基6.1.79-99.167.amzn2023.x86_64于 x86 的 EC2 实例,或者小于基于 Graviton2 6.1.79-99.167.amzn2023.aarch64 的 EC2 实例的结果,请运行以下命令更新内核并重启您的 Amazon EC2 实例。

      sudo dnf -y update kernel && sudo reboot

      使用 uname -r 命令确认是否已更新内核。然后按照上述步骤下载并安装 Lustre 客户端。

    有关在其他 Linux 发行版上安装 Lustre 客户端的信息,请参阅 安装 Lustre 客户端

步骤 3:挂载文件系统

要装载文件系统,您需要创建一个挂载目录或挂载点,然后将文件系统挂载到客户端上,并验证客户端是否可以访问该文件系统。

要挂载您的文件系统,请执行以下操作:
  1. 使用以下命令为挂载点创建目录。

    sudo mkdir -p /mnt/fsx
  2. 将 Amazon f FSx or Lustre 文件系统挂载到您创建的目录中。使用以下命令并替换以下项目:

    • file_system_dns_name 替换为实际文件系统的域名系统(DNS)名称。

    • mountname替换为文件系统的挂载名称,您可以通过运行describe-file-systems AWS CLI 命令或 DescribeFileSystemsAPI 操作来获取该名称。

    sudo mount -t lustre -o relatime,flock file_system_dns_name@tcp:/mountname /mnt/fsx

    此命令使用 -o relatimeflock 两个选项挂载您的文件系统:

    • relatime – 选项 atime 会维护每次访问文件时的 atime 数据(索引节点访问时间),而选项 relatime 虽然会维护 atime 数据,但不是每次访问文件时都维护。启用选项 relatime 后,只有当文件在上次 atime 数据更新之后被修改(mtime),或者距离上次访问文件已超过一定时间(默认为 6 小时)的情况下,atime 数据才会被写入磁盘。使用选项 relatimeatime 将优化文件发布过程。

      注意

      如果您的工作负载需要精确的访问时间准确度,则可以使用 atime 挂载选项进行挂载。但是,这样做可能会增加保持精确访问时间值所需的网络流量,进而影响工作负载性能。

      如果您的工作负载不需要元数据访问时间,则使用 noatime 挂载选项禁用访问时间更新可以提高性能。请注意,诸如文件发布或数据发布有效性等注重 atime 的过程在发布中可能不准确。

    • flock – 为您的文件系统启用文件锁定。如果您不想启用文件锁定,请使用不启用 flockmount 命令。

  3. 使用以下命令列出挂载文件系统 /mnt/fsx 的目录的内容,验证挂载命令是否成功。

    ls /mnt/fsx import-path lustre $

    您也可以使用以下 df 命令。

    df Filesystem 1K-blocks Used Available Use% Mounted on devtmpf 1001808 0 1001808 0% /dev tmpfs 1019760 0 1019760 0% /dev/shm tmpfs 1019760 392 1019368 1% /run tmpfs 1019760 0 1019760 0% /sys/fs/cgroup /dev/xvda1 8376300 1263180 7113120 16% / 123.456.789.0@tcp:/mountname 3547698816 13824 3547678848 1% /mnt/fsx tmpfs 203956 0 203956 0% /run/user/1000

    结果显示 Amazon FSx 文件系统已挂载on /mnt/fsx。

步骤 4:运行工作流程

现在,您的文件系统已创建并挂载到计算实例,您可以用它来运行高性能计算工作负载。

您可以创建数据存储库关联,将您的文件系统链接到 Amazon S3 数据存储库。更多信息请参阅 将文件系统链接到 Amazon S3 存储桶

将文件系统链接到 Amazon S3 数据存储库后,您可以随时将写入文件系统的数据导回您的 Amazon S3 桶。在其中一个计算实例的终端上,运行以下命令将文件导出到 Amazon S3 桶。

sudo lfs hsm_archive file_name

有关如何快速在文件夹或大批量文件上运行此命令的更多信息,请参阅 使用 HSM 命令导出文件

第 5 步:清除 资源

完成本练习后,您应按照以下步骤清理资源并保护您的 AWS 帐户。

清理资源
  1. 如果您想进行最终导出,请运行以下命令。

    nohup find /mnt/fsx -type f -print0 | xargs -0 -n 1 sudo lfs hsm_archive &
  2. 在 Amazon EC2 控制台上,终止您的实例。有关更多信息,请参阅 Amazon EC2 用户指南中的终止您的实例

  3. 在 Amazon f FSx or Lustre 控制台上,按照以下步骤删除您的文件系统:

    1. 在导航窗格中选择文件系统

    2. 选择要从控制面板的文件系统列表中删除的文件系统。

    3. 对于操作,选择删除文件系统

    4. 在随后显示的对话框中,选择是否要对文件系统进行最终备份。然后提供文件系统 ID 以确认删除。选择删除文件系统

  4. 如果您为此练习创建了 Amazon S3 桶,并且不想保留导出的数据,则现在可以将其删除。有关更多信息,请参阅《Amazon Simple Storage Service 用户指南》中的删除桶