執行 GPU 任務 - AWS Batch

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

執行 GPU 任務

GPU 任務可協助您執行使用執行個體 GPUs 的任務。

支援下列 Amazon EC2 GPU 型執行個體類型。如需詳細資訊，請參閱 Amazon EC2 G3 執行個體、Amazon EC2 G4 執行個體、Amazon EC2 G5 執行個體、Amazon EC2 G6 執行個體、Amazon EC2 P2 執行個體、Amazon EC2 P3 執行個體、Amazon EC2 P4d 執行個體、Amazon EC2 P5 執行個體、Amazon EC2 P6 執行個體、Amazon EC2 Trn1 執行個體、Amazon EC2 Trn2 執行個體、Amazon EC2 Inf1 執行個體、Amazon EC2 Inf2 執行個體、Amazon EC2 Dl1 執行個體和 Amazon EC2 Dl2 執行個體。

執行個體類型

GPU

記憶體

vCPU

記憶體

網路頻寬

g3s.xlarge

1

8 GiB

4

30.5 GiB

10 Gbps

g3.4xlarge

1

8 GiB

16

122 GiB

最高 10 Gbps

g3.8xlarge

2

16 GiB

32

244 GiB

10 Gbps

g3.16xlarge

4

32 GiB

64

488 GiB

25 Gbps

g4dn.xlarge

1

16 GiB

4

16 GiB

最高 25 Gbps

g4dn.2xlarge

1

16 GiB

8

32 GiB

最高 25 Gbps

g4dn.4xlarge

1

16 GiB

16

64 GiB

最高 25 Gbps

g4dn.8xlarge

1

16 GiB

32

128 GiB

50 Gbps

g4dn.12xlarge

4

64 GiB

48

192 GiB

50 Gbps

g4dn.16xlarge

1

16 GiB

64

256 GiB

50 Gbps

g5.xlarge

1

24 GiB

4

16 GiB

最高 10 Gbps

g5.2xlarge

1

24 GiB

8

32 GiB

最高 10 Gbps

g5.4xlarge

1

24 GiB

16

64 GiB

最高 25 Gbps

g5.8xlarge

1

24 GiB

32

128 GiB

25 Gbps

g5.16xlarge

1

24 GiB

64

256 GiB

25 Gbps

g5.12xlarge

4

96 GiB

48

192 GiB

40Gbps

g5.24xlarge

4

96 GiB

96

384 GiB

50 Gbps

g5.48xlarge

8

192 GiB

192

768 GiB

100 Gbps

g5g.xlarge

1

16 GiB

4

8 GiB

最高 10 Gbps

g5g.2xlarge

1

16 GiB

8

16 GiB

最高 10 Gbps

g5g.4xlarge

1

16 GiB

16

32 GiB

最高 10 Gbps

g5g.8xlarge

1

16 GiB

32

64 GiB

12 Gbps

g5g.16xlarge

2

32 GiB

64

128 GiB

25 Gbps

g5g.metal

2

32 GiB

64

128 GiB

25 Gbps

g6.xlarge

1

24 GiB

4

16 GiB

最高 10 Gbps

g6.2xlarge

1

24 GiB

8

32 GiB

最高 10 Gbps

g6.4xlarge

1

24 GiB

16

64 GiB

最高 25 Gbps

g6.8xlarge

1

24 GiB

32

128 GiB

25 Gbps

g6.16xlarge

1

24 GiB

64

256 GiB

25 Gbps

g6.12xlarge

4

96 GiB

48

192 GiB

40Gbps

g6.24xlarge

4

96 GiB

96

384 GiB

50 Gbps

g6.48xlarge

8

192 GiB

192

768 GiB

100 Gbps

g6e.xlarge

1

48 GiB

4

32 GiB

高達 20 Gbps

g6e.2xlarge

1

48 GiB

8

64 GiB

高達 20 Gbps

g6e.4xlarge

1

48 GiB

16

128 GiB

20 Gbps

g6e.8xlarge

1

48 GiB

32

256 GiB

25 Gbps

g6e.16xlarge

1

48 GiB

64

512 GiB

35 Gbps

g6e.12xlarge

4

192 GiB

48

384 GiB

100 Gbps

g6e.24xlarge

4

192 GiB

96

768 GiB

200 Gbps

g6e.48xlarge

8

384 GiB

192

1536 GiB

400 Gbps

gr6.4xlarge

1

24 GiB

16

128 GiB

最高 25 Gbps

gr6.8xlarge

1

24 GiB

32

256 GiB

25 Gbps

p2.xlarge

1

12 GiB

4

61 GiB

高

p2.8xlarge

8

96 GiB

32

488 GiB

10 Gbps

p2.16xlarge

16

192 GiB

64

732 GiB

20 Gbps

p3.2xlarge

1

16 GiB

8

61 GiB

最高 10 Gbps

p3.8xlarge

4

64 GiB

32

244 GiB

10 Gbps

p3.16xlarge

8

128 GiB

64

488 GiB

25 Gbps

p3dn.24xlarge

8

256 GiB

96

768 GiB

100 Gbps

p4d.24xlarge

8

320 GiB

96

1152 GiB

400 Gbps

p4de.24xlarge

8

640 GiB

96

1152 GiB

400 Gbps

p5.48xlarge

8

640 GiB

192

2 TiB

3200 Gbps

p5e.48xlarge

8

1128 GiB

192

2 TiB

3200 Gbps

p5en.48xlarge

8

1128 GiB

192

2 TiB

3200 Gbps

p6-b200.48xlarge

8

1440 GiB

192

2 TiB

100 Gbps

trn1.2xlarge

1

32 GiB

8

32 GiB

最高 12.5 Gbps

trn1.32xlarge

16

512 GiB

128

512 GiB

800 Gbps

trn1n.32xlarge

16

512 GiB

128

512 GiB

1600 Gbps

trn2.48xlarge

16

1.5 TiB

192

2 TiB

3.2 Tbps

inf1.xlarge

1

8 GiB

4

8 GiB

最高 25 Gbps

inf1.2xlarge

1

8 GiB

8

16 GiB

最高 25 Gbps

inf1.6xlarge

4

32 GiB

24

48 GiB

25 Gbps

inf1.24xlarge

16

128 GiB

96

192 GiB

100 Gbps

inf2.xlarge

1

32 GiB

4

16 GiB

最高 15 Gbps

inf2.8xlarge

1

32 GiB

32

128 GiB

最高 25 Gbps

inf2.24xlarge

6

192 GiB

96

384 GiB

50 Gbps

inf2.48xlarge

12

384 GiB

192

768 GiB

100 Gbps

dl1.24xlarge

8

256 GiB

96

768 GiB

400 Gbps

dl2q.24xlarge

8

128 GiB

96

768 GiB

100 Gbps
注意

對於 GPU 任務， AWS Batch 僅支援具有 NVIDIA GPUs 的執行個體類型。例如， G4ad 系列不支援 GPU 排程。您仍然可以在 G4ad 上使用 ， AWS Batch 方法是只定義任務定義中的 vcpu 和記憶體需求，然後 GPUs 直接透過使用 Amazon ECS 或 Amazon EKS 運算最佳化 AMI 的 Amazon EC2 啟動範本使用者資料中的自訂來存取主機 GPUs，或使用 AMD GPU 的自訂 AMI。

提供給 AWS Batch 或 Amazon EC2 使用者資料的自訂 AMIs 上的 GPU 任務支援使用 ARM64 架構的執行個體類型，以透過自訂程式碼和組態存取 GPUs。例如，G5g執行個體系列。

任務定義的 resourceRequirements 參數會指定要固定到容器的 GPUs 數量。此 GPUs 數量不適用於在該任務期間在該執行個體上執行的任何其他任務。運算環境中執行 GPU 任務的所有執行個體類型都必須來自 p3、p4、p5、p6、g3、g5、 g3s g4或 g6執行個體系列。如果沒有這樣做，GPU 任務可能會卡在 RUNNABLE 狀態。

不使用 GPUs 的任務可以在 GPU 執行個體上執行。不過，在 GPU 執行個體上執行成本可能比在類似的非 GPU 執行個體上要高。根據所需的特定 vCPU、記憶體和時間，這些非 GPU 任務可能會阻止 GPU 任務執行。

主題