View a markdown version of this page

运行 GPU 作业 - AWS Batch

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

运行 GPU 作业

借助 GPU 作业，您可以运行使用实例 GPU 的作业。

支持以下 Amazon EC2 GPU-based 实例类型。有关更多信息，请参阅 Amazon EC2 G3 实例、Amazon EC2 G4 实例、Amazon EC2 G5 实例、Amazon EC2 G6 实例、Amazon EC2 P2 实例、Amazon EC2 P3 实例、Amazon EC2 P4d 实例、Amazon EC2 P5 实例、Amazon EC2 P6 实例、Amazon EC2 Trn1 实例、Amazon EC2 Trn2 实例、Amazon EC2 Inf1 实例、Amazon EC2 Inf2 实例、Amazon EC2 Dl1 实例 和 Amazon EC2 Dl2 实例。

实例类型

GPU

GPU 内存

vCPUs

内存

网络带宽

g3s.xlarge

1

8 GiB

4

30.5 GiB

10 Gbps

g3.4xlarge

1

8 GiB

16

122 GiB

最高 10 Gbps

g3.8xlarge

2

16 GiB

32

244 GiB

10 Gbps

g3.16xlarge

4

32 GiB

64

488 GiB

25 Gbps

g4dn.xlarge

1

16 GiB

4

16 GiB

最高 25 Gbps

g4dn.2xlarge

1

16 GiB

8

32 GiB

最高 25 Gbps

g4dn.4xlarge

1

16 GiB

16

64 GiB

最高 25 Gbps

g4dn.8xlarge

1

16 GiB

32

128 GiB

50 Gbps

g4dn.12xlarge

4

64 GiB

48

192 GiB

50 Gbps

g4dn.16xlarge

1

16 GiB

64

256 GiB

50 Gbps

g5.xlarge

1

24 GiB

4

16 GiB

最高 10 Gbps

g5.2xlarge

1

24 GiB

8

32 GiB

最高 10 Gbps

g5.4xlarge

1

24 GiB

16

64 GiB

最高 25 Gbps

g5.8xlarge

1

24 GiB

32

128 GiB

25 Gbps

g5.16xlarge

1

24 GiB

64

256 GiB

25 Gbps

g5.12xlarge

4

96 GiB

48

192 GiB

40Gbps

g5.24xlarge

4

96 GiB

96

384 GiB

50 Gbps

g5.48xlarge

8

192 GiB

192

768 GiB

100 Gbps

g5g.xlarge

1

16 GiB

4

8 GiB

最高 10 Gbps

g5g.2xlarge

1

16 GiB

8

16 GiB

最高 10 Gbps

g5g.4xlarge

1

16 GiB

16

32 GiB

最高 10 Gbps

g5g.8xlarge

1

16 GiB

32

64 GiB

12 Gbps

g5g.16xlarge

2

32 GiB

64

128 GiB

25 Gbps

g5g.metal

2

32 GiB

64

128 GiB

25 Gbps

g6.xlarge

1

24 GiB

4

16 GiB

最高 10 Gbps

g6.2xlarge

1

24 GiB

8

32 GiB

最高 10 Gbps

g6.4xlarge

1

24 GiB

16

64 GiB

最高 25 Gbps

g6.8xlarge

1

24 GiB

32

128 GiB

25 Gbps

g6.16xlarge

1

24 GiB

64

256 GiB

25 Gbps

g6.12xlarge

4

96 GiB

48

192 GiB

40Gbps

g6.24xlarge

4

96 GiB

96

384 GiB

50 Gbps

g6.48xlarge

8

192 GiB

192

768 GiB

100 Gbps

g6e.xlarge

1

48 GiB

4

32 GiB

高达 20 Gbps

g6e.2xlarge

1

48 GiB

8

64 GiB

高达 20 Gbps

g6e.4xlarge

1

48 GiB

16

128 GiB

20 Gbps

g6e.8xlarge

1

48 GiB

32

256 GiB

25 Gbps

g6e.16xlarge

1

48 GiB

64

512 GiB

35 Gbps

g6e.12xlarge

4

192 GiB

48

384 GiB

100 Gbps

g6e.24xlarge

4

192 GiB

96

768 GiB

200 Gbps

g6e.48xlarge

8

384 GiB

192

1536 GiB

400 Gbps

gr6.4xlarge

1

24 GiB

16

128 GiB

最高 25 Gbps

gr6.8xlarge

1

24 GiB

32

256 GiB

25 Gbps

p2.xlarge

1

12 GiB

4

61 GiB

高

p2.8xlarge

8

96 GiB

32

488 GiB

10 Gbps

p2.16xlarge

16

192 GiB

64

732 GiB

20 Gbps

p3.2xlarge

1

16 GiB

8

61 GiB

最高 10 Gbps

p3.8xlarge

4

64 GiB

32

244 GiB

10 Gbps

p3.16xlarge

8

128 GiB

64

488 GiB

25 Gbps

p3dn.24xlarge

8

256 GiB

96

768 GiB

100 Gbps

p4d.24xlarge

8

320 GiB

96

1152 GiB

400 Gbps

p4de.24xlarge

8

640 GiB

96

1152 GiB

400 Gbps

p5.48xlarge

8

640 GiB

192

2 TiB

3200 Gbps

p5e.48xlarge

8

1128 GiB

192

2 TiB

3200 Gbps

p5en.48xlarge

8

1128 GiB

192

2 TiB

3200 Gbps

p6-b200.48xlarge

8

1440 GiB

192

2 TiB

100 Gbps

trn1.2xlarge

1

32 GiB

8

32 GiB

最高 12.5Gbps

trn1.32xlarge

16

512 GiB

128

512 GiB

800 Gbps

trn1n.32xlarge

16

512 GiB

128

512 GiB

1600 Gbps

trn2.48xlarge

16

1.5 TiB

192

2 TiB

3.2 Tbps

inf1.xlarge

1

8 GiB

4

8 GiB

最高 25 Gbps

inf1.2xlarge

1

8 GiB

8

16 GiB

最高 25 Gbps

inf1.6xlarge

4

32 GiB

24

48 GiB

25 Gbps

inf1.24xlarge

16

128 GiB

96

192 GiB

100 Gbps

inf2.xlarge

1

32 GiB

4

16 GiB

最高 15 Gbps

inf2.8xlarge

1

32 GiB

32

128 GiB

最高 25 Gbps

inf2.24xlarge

6

192 GiB

96

384 GiB

50 Gbps

inf2.48xlarge

12

384 GiB

192

768 GiB

100 Gbps

dl1.24xlarge

8

256 GiB

96

768 GiB

400 Gbps

dl2q.24xlarge

8

128 GiB

96

768 GiB

100 Gbps
注意

对于 GPU 任务， AWS Batch 仅支持具有 NVIDIA GPU 的实例类型。例如，G4ad 系列不支持 GPU 调度。您仍然可以在G4ad上使用， AWS Batch 方法是在任务定义中仅定义 vCPU 和内存要求，然后使用亚马逊 ECS 或 Amazon EKS 计算优化的 AMI 或用于使用 AMD GPU 的自定义 AMI 在 Amazon EC2 启动模板用户数据中进行自定义，直接访问主机 GPU。

支持使用 ARM64 架构的实例类型用于提供给自定义 AMI 的 GPU 任务， AWS Batch 或者通过自定义代码和配置访问 GPU 的 Amazon EC2 用户数据。例如，G5g 实例系列。

作业定义的 resourceRequirements 参数指定要固定到容器的 GPU 的数量。在作业持续期间，在该实例上运行的任何其他作业都无法使用此数量的 GPU。计算环境中将运行 GPU 作业的所有实例类型都必须来自 p6、p3、p4、p5、g3、g3s、g4、g5 或 g6 实例系列。如果不这么做，GPU 作业可能会停滞于 RUNNABLE 状态。

不使用 GPU 的作业可以在 GPU 实例上运行。但是，在 GPU 实例上运行它们的成本可能高于在类似的非 GPU 实例上运行的成本。根据具体的 vCPU、内存和所需时间，这些非 GPU 作业可能会阻止 GPU 作业运行。

主题