本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。
AWS Deep Learning C PyTorch on ARM64 tainers 适用于 2.6 推理 EC2、ECS 和 EKS
AWS 适用于亚马逊弹性 Kubernetes Service (EKS)、亚马逊弹性计算云 () 和亚马逊弹性@@ 容器服务 EC2 (ECS) 的深度学习
此版本包括用于在 CPU 和 GPU 上进行推理的容器镜像，针对性能和扩展进行了 AWS优化。CPU 映像已通过每个 EC2、ECS 和 EKS 服务进行了测试，而 GPU 映像仅支持 EC2 （参见下表）。GPU 映像提供 NVIDIA CUDA、cuDNN、NCCL 和其他组件的稳定版本。对这些映像中的所有软件组件进行安全漏洞扫描，并根据 AWS 安全最佳实践进行更新或修补。
|
EC2 |
ECS |
EKS |
|---|---|---|---|
CPU 镜像 |
支持 |
支持 |
支持 |
GPU 镜像 |
支持 |
不支持 |
不支持 |
可用容器列表可以在我们的文档中找到。使用我们开发者指南中的入门指南和从初学者到高级级别的教程，快速开始使用 Dee AWS p Learning Containers。您也可以订阅我们的讨论论坛
发布说明
在 PyTorch 2.6.0 中引入了用于推理支持的容器 EC2、ECS 和实例上的 EKS。 ARM64 有关此版本的详细信息，请查看我们的 GitHub 发布标签
。 从 PyTorch 2.6 开始，我们将从 PyPI 中删除 Conda DLCs 并安装所有 Python 软件包。
TorchServe 版本：0.12.0
GPU 映像应与 g5G 实例类型一起使用，后者由 G
raviton CPUs 和 NVIDIA T4G Tensor Core 提供支持。 GPUs 有关框架更新的完整说明，请参阅此处
的 PyTorch 2.6.0 官方发行说明。
性能改进
它们 DLCs 继续在Graviton CPU上为BERT和Ro BERTa 情绪分析以及填充掩模模型提供最佳性能，这使Graviton3成为这些模型在云端最具成本效益的CPU平台。 AWS 欲了解更多信息，请参阅 Graviton PyTorch 用户指南
安全建议
AWS 建议客户监控安全公告中的关键AWS 安全
Python 3.12 Support
PyTorch ARM64 推理容器支持 Python 3.12。
CPU 实例类型支持
CPU 容器支持上述每项服务所支持的 Graviton CPU 实例类型。
GPU 实例类型支持
GPU 容器支持 Graviton GPU 实例类型 g5G，并包含以下支持 GPU 的软件组件：
CUDA 12.4.1
cudnn 9.1.0.70+cuda12.4
NCCL 2.21.5+cuda12.4
发布说明
在 Graviton 实例上引入了 PyTorch 2.4 版本的容器以支持推理 EC2、ECS 和 EKS。有关此版本的详细信息，请查看我们的 GitHub 发布标签：适用于 CPU
和 GPU 。 TorchServe 版本：0.11.1
GPU 镜像是有史以来第一个支持 Graviton (ARM64) + GPU 平台的 DLC。它应该与 g5G 实例类型一起使用，后者由 G
raviton CPUs 和 NVIDIA T4G Tensor Core 提供支持。 GPUs 有关框架更新，请参阅此处
的 PyTorch 2.4 官方发行说明。
性能改进
它们 DLCs 继续在Graviton CPU上为BERT和Ro BERTa 情绪分析以及填充掩模模型提供最佳性能，这使Graviton3成为这些模型在云端最具成本效益的CPU平台。 AWS 欲了解更多信息，请参阅 Graviton PyTorch 用户指南
安全建议
AWS 建议客户监控安全公告中的关键AWS 安全
Python 3.11 Support
PyTorch Graviton 推理容器支持 Python 3.11。
CPU 实例类型支持
这些容器支持上述每项服务所支持的 Graviton CPU 实例类型。
GPU 实例类型支持
这些容器支持 Graviton GPU 实例类型 g5G，并包含以下支持 GPU 的软件组件：
CUDA 12.4.0
cudnn 9.1.0.70+cuda12.4
NCCL 2.20.5+cuda12.4
AWS 地区支持
这些容器可在以下地区使用：
区域 |
代码 |
|---|---|
美国东部（俄亥俄州） |
us-east-2 |
美国东部（弗吉尼亚州北部） |
us-east-1 |
美国西部（俄勒冈州） |
us-west-2 |
美国西部（加利福尼亚北部） |
us-west-1 |
AF South（开普敦） |
af-south-1 |
亚太地区（香港） |
ap-east-1 |
亚太地区（海得拉巴） |
ap-south-2 |
亚太地区（孟买） |
ap-south-1 |
亚太地区（大阪） |
ap-northeast-3 |
亚太地区（首尔） |
ap-northeast-2 |
亚太地区（东京） |
ap-northeast-1 |
亚太地区（墨尔本） |
ap-southeast-4 |
亚太地区（雅加达） |
ap-southeast-3 |
亚太地区（悉尼） |
ap-southeast-2 |
亚太地区（新加坡） |
ap-southeast-1 |
亚太地区（马来西亚） |
ap-southeast-5 |
加拿大（中部） |
ca-central-1 |
加拿大（卡尔加里） |
ca-west-1 |
欧洲（苏黎世） |
eu-central-2 |
欧洲（法兰克福） |
eu-central-1 |
欧洲（爱尔兰） |
eu-west-1 |
欧洲（伦敦） |
eu-west-2 |
欧盟（巴黎） |
eu-west-3 |
欧盟（西班牙） |
eu-south-2 |
欧盟（米兰） |
eu-south-1 |
欧洲（斯德哥尔摩） |
eu-north-1 |
以色列（特拉维夫） |
il-central-1 |
中东（巴林） |
me-south-1 |
中东（阿联酋） |
me-central-1 |
南非（圣保罗） |
sa-east-1 |
中国（北京） |
cn-north-1 |
中国（宁夏） |
cn-northwest-1 |
构建和测试
建立在：c6g.2xlarge
经过测试：c8g.4xlarge、t4g.2xlarge、r8g.2xlarge、m7g.4xlarge、g5g.4xlarge、g5g.4xlarge
已知问题
-
ARM64/aarch64 还没有官方的 Triton 发行版
，因此一些 torch.compile 工作负载会失败，原因是： torch._dynamo.exc.BackendCompilerFailed: backend='inductor' raised: RuntimeError: Cannot find a working triton installation. More information on installing Triton can be found at https://github.com/openai/triton
有关最新更新，请参阅 aws/ 存储deep-learning-containers GitHub 库
