View a markdown version of this page

将 PCS-ready DLAMI 与 AWS PCS - AWS 个

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

将 PCS-ready DLAMI 与 AWS PCS

AWS PCS-ready DLAMI Base GPU AMI (Ubuntu 24.04) 是一款 AWS-maintained 亚马逊机器映像,用于在 PC 上运行 AI/ML 和 HPC 工作负载。 AWS 它为生产就绪奠定了基础,因此您可以在几分钟内部署集群,而不必构建和验证自定义 AMI。

所含内容

PCS-ready DLAMI 建立在 D eep Learning Base GPU AMI (Ubuntu 24.04) 之上,并添加了以下 AWS PCS 组件:

  • PCS 代理 — AWS PCS 群集管理代理

  • 适用于 AWS PCS 的 Slurm — 预安装了多个支持的 Slurm 版本。在实例启动期间,会根据您的集群配置自动激活正确的版本。

  • EFS 实用程序 — 用于安装亚马逊 EFS 文件系统

源代码DLAMI提供操作系统(Ubuntu 24.04)、NVIDIA GPU驱动程序、CUDA工具包、EFA驱动程序、Lustre客户端和其他基础架构。有关这些组件的详细信息,请参阅深度学习 AMI 发行说明

PCS-ready DLAMI 可用于 x86_64 和 arm64 架构。

注意

PCS-ready DLAMI 不包括 AI/ML 框架(PyTorch、、JAX) TensorFlow、编译器或数学库等应用程序软件。您可以在共享文件系统上添加应用层,也可以在 PCS-ready DLAMI 之上构建自定义 AMI。

每个 AMI 的 “描述” 字段汇总了其内容,包括它所基于的源 DLAMI、PCS 代理版本、支持的 Slurm 版本和 EFS 实用程序版本。您可以在 Amazon EC2 控制台中查看此字段,也可以使用 describe-images API 查看此字段。以下是描述字段值的示例:

PCS-Ready DLAMI based on Deep Learning Base OSS Nvidia Driver GPU AMI (Ubuntu 24.04) 20260522. PCS Agent: 1.4.0-1. Slurm: 24.11.7-1, 25.05.7-1, 25.11.2-1. EFS Utils: 2.4.2

查找当前的 PCS-ready DLAMI

AWS 管理控制台
在控制台中查找 PCS-ready DLAMI
  1. 打开 AWS PCS 控制台并导航以创建或编辑计算节点组。

  2. 在 AMI 选择部分中,选择 PCS-ready AM I。

  3. 此时会出现一个下拉列表,显示按您选择的实例类型架构筛选的可用 PCS-ready DLAMI。

  4. 选择 AWS PCS-ready DLAMI 基础 AMI (Ubuntu 24.04)。下拉列表在下面显示 AMI ID 和完整的 AMI 名称以供参考。

AWS CLI

您可以使用亚马逊 EC2 系统管理器参数存储检索最新的 PCS-ready DLAMI AMI ID。替换region-code为你的 AWS 区域.

  • x86_64

    aws ssm get-parameter --region region-code \ --name /aws/service/pcs/ami/dlami-base-ubuntu2404/x86_64/latest/ami-id \ --query "Parameter.Value" --output text
  • arm64

    aws ssm get-parameter --region region-code \ --name /aws/service/pcs/ami/dlami-base-ubuntu2404/arm64/latest/ami-id \ --query "Parameter.Value" --output text

或者,你可以按名称模式搜索 PCS-ready DLAMI:

  • x86_64

    aws ec2 describe-images --region region-code --owners amazon \ --filters 'Name=name,Values=aws-pcs-ready-dlami-base-ubuntu2404-x86_64-*' \ 'Name=state,Values=available' \ --query 'sort_by(Images, &CreationDate)[-1].[Name,ImageId]' --output text
  • arm64

    aws ec2 describe-images --region region-code --owners amazon \ --filters 'Name=name,Values=aws-pcs-ready-dlami-base-ubuntu2404-arm64-*' \ 'Name=state,Values=available' \ --query 'sort_by(Images, &CreationDate)[-1].[Name,ImageId]' --output text

创建或更新计算节点组时使用 AMI ID。

接收新版本的通知

每当新的 PCS-ready DLAMI 发布时,您都可以收到通知。使用以下主题通过 Amazon SNS 发布通知:

arn:aws:sns:us-west-2:265886551188:pcs-ready-dlami-release-notifications

当新的 PCS-ready DLAMI 发布时,会向该主题发布消息。

订阅 PCS-ready DLAMI 发布通知
  1. 打开 Amazon SNS 控制台

  2. 如有必要,在导航栏中, AWS 区域 将更改为美国西部(俄勒冈)。您必须选择创建您订阅的 SNS 通知的区域。

  3. 在导航窗格中,选择订阅,然后选择创建订阅

  4. Create subscription 对话框中,执行以下操作:

    1. 对于主题 ARN,输入以下内容:arn:aws:sns:us-west-2:265886551188:pcs-ready-dlami-release-notifications

    2. 对于协议,选择电子邮件

    3. 对于 Endpoint,输入您要接收通知的电子邮件地址。

    4. 选择创建订阅

  5. 您将收到一封主题为 AWS 通知-订阅确认的确认电子邮件。打开该电子邮件,选择确认订阅来完成订阅。

将 “基础设施即代码” 结合使用

SSM 参数路径提供稳定的引用,该引用始终解析为最新的 AMI ID。你可以在 CloudFormation 模板中使用它在重新部署时自动选择新版本:

AmiId: '{{resolve:ssm:/aws/service/pcs/ami/dlami-base-ubuntu2404/x86_64/latest/ami-id}}'

更新到新版本

当更新源深度学习基础 GPU PCS-ready AMI 或更新 PCS 组件(适用于 PCS 的 PCS 代理或 Slurm for PCS)时,AWS 会发布更新的 DLAMI 版本。要更新您的集群,请使用上述 SSM 参数或名称搜索检索最新的 AMI ID,然后更新每个计算节点组以引用新的 AMI ID。