AWS PyTorch 2.4 Graviton 的 Deep Learning Containers SageMaker - AWS 深度学习容器

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

AWS PyTorch 2.4 Graviton 的 Deep Learning Containers SageMaker

AWS 适用于亚马逊 SageMaker 的 De@@ ep Learning Containers (DLCs) 现已可用于 PyTorch 支持 2.4 的 Graviton 实例类型。你可以在上启动新版本的 DLC。 SageMaker

此版本包括一个用于在 CPU 上进行推理的容器镜像,针对性能和扩展进行了 AWS优化。这个 Docker 镜像已在上面进行了测试。 SageMaker它为在上运行深度学习工作负载提供了优化的用户体验 SageMaker。扫描此镜像中的所有软件组件是否存在安全漏洞,并根据 AWS 安全最佳实践进行更新或修补。

可用容器列表可以在我们的文档中找到。请参阅 SageMaker Graviton 博客和 DLC 开发者指南,将深度学习工作负载迁移到 Graviton 实例。您也可以订阅我们的讨论论坛以获取发布公告并发布您的问题。

发布说明

性能改进

它们 DLCs 继续在Graviton上为BERT和Ro BERTa 情绪分析以及填充掩模模型提供最佳性能,使Graviton3成为这些模型在云端最具成本效益的CPU平台。 AWS 欲了解更多信息,请参阅 Graviton PyTorch 用户指南

安全建议

AWS 建议客户监控安全公告中的关键AWS 安全更新。

Python 3.11 Support

PyTorch Graviton 推理容器支持 Python 3.11。

CPU 实例类型支持

这些容器支持下支持的 Graviton CPU 实例类型。 SageMaker

AWS 地区支持

这些容器可在以下地区使用:

区域

代码

美国东部(俄亥俄州)

us-east-2

美国东部(弗吉尼亚州北部)

us-east-1

美国西部(俄勒冈州)

us-west-2

美国西部(加利福尼亚北部)

us-west-1

AF South(开普敦)

af-south-1

亚太地区(香港)

ap-east-1

亚太地区(海得拉巴)

ap-south-2

亚太地区(孟买)

ap-south-1

亚太地区(大阪)

ap-northeast-3

亚太地区(首尔)

ap-northeast-2

亚太地区(东京)

ap-northeast-1

亚太地区(墨尔本)

ap-southeast-4

亚太地区(雅加达)

ap-southeast-3

亚太地区(悉尼)

ap-southeast-2

亚太地区(新加坡)

ap-southeast-1

亚太地区(马来西亚)

ap-southeast-5

加拿大(中部)

ca-central-1

加拿大(卡尔加里)

ca-west-1

欧洲(苏黎世)

eu-central-2

欧洲(法兰克福)

eu-central-1

欧洲(爱尔兰)

eu-west-1

欧洲(伦敦)

eu-west-2

欧盟(巴黎)

eu-west-3

欧盟(西班牙)

eu-south-2

欧盟(米兰)

eu-south-1

欧洲(斯德哥尔摩)

eu-north-1

以色列(特拉维夫)

il-central-1

中东(巴林)

me-south-1

中东(阿联酋)

me-central-1

南非(圣保罗)

sa-east-1

中国(北京)

cn-north-1

中国(宁夏)

cn-northwest-1

构建和测试

  • 建立在:c6g.2xlarge

  • 经过测试:c7g.4xlarge、c6g.4xlarge、t4g.2xlarge、r6g.2xlarge、m6g.4xlarge、m6g.4xlarge

  • 在 EC2 ECS AMI(亚马逊 Linux AMI 2.0.20220822 arm64)和 EKS AMI(1.25.6-20230304 arm64)上的 MNIST 和 Resnet50/ DenseNet 数据集上进行了测试

已知问题

有关最新更新,请参阅 aws/ 存储deep-learning-containers GitHub 库