GPU 작업 실행 - AWS Batch

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

GPU 작업 실행

GPU 작업을 통해 인스턴스의 GPU를 사용하는 작업을 실행할 수 있습니다.

다음과 같은 Amazon EC2 GPU 기반 인스턴스 유형이 지원됩니다. 자세한 내용은 Amazon EC2 G3 인스턴스, Amazon EC2 G4 인스턴스, Amazon EC2 G5 인스턴스, Amazon EC2 G6 인스턴스, Amazon EC2 P2 인스턴스, Amazon EC2 P3 인스턴스, Amazon EC2 P4d 인스턴스, Amazon EC2 P5 인스턴스, Amazon EC2 P6 인스턴스, Amazon EC2 Trn1 인스턴스, Amazon EC2 Trn2 인스턴스, Amazon EC2 Inf1 인스턴스, Amazon EC2 Inf2 인스턴스, Amazon EC2 Dl1 인스턴스 및 Amazon EC2 Dl2 인스턴스를 참조하세요.

인스턴스 유형

GPU

GPU 메모리

vCPU

메모리

네트워크 대역폭

g3s.xlarge

1

8GiB

4

30.5GiB

10Gbps

g3.4xlarge

1

8GiB

16

122GiB

최대 10Gbps

g3.8xlarge

2

16GiB

32

244GiB

10Gbps

g3.16xlarge

4

32GiB

64

488GiB

25Gbps

g4dn.xlarge

1

16GiB

4

16GiB

최대 25Gbps

g4dn.2xlarge

1

16GiB

8

32GiB

최대 25Gbps

g4dn.4xlarge

1

16GiB

16

64GiB

최대 25Gbps

g4dn.8xlarge

1

16GiB

32

128GiB

50Gbps

g4dn.12xlarge

4

64GiB

48

192GiB

50Gbps

g4dn.16xlarge

1

16GiB

64

256GiB

50Gbps

g5.xlarge

1

24GiB

4

16GiB

최대 10Gbps

g5.2xlarge

1

24GiB

8

32GiB

최대 10Gbps

g5.4xlarge

1

24GiB

16

64GiB

최대 25Gbps

g5.8xlarge

1

24GiB

32

128GiB

25Gbps

g5.16xlarge

1

24GiB

64

256GiB

25Gbps

g5.12xlarge

4

96GiB

48

192GiB

40Gbps

g5.24xlarge

4

96GiB

96

384GiB

50Gbps

g5.48xlarge

8

192GiB

192

768GiB

100Gbps

g5g.xlarge

1

16 GB

4

8GB

최대 10Gbps

g5g.2xlarge

1

16 GB

8

16 GB

최대 10Gbps

g5g.4xlarge

1

16 GB

16

32GB

최대 10Gbps

g5g.8xlarge

1

16 GB

32

64GB

12Gbps

g5g.16xlarge

2

32GB

64

128GB

25Gbps

g5g.metal

2

32GB

64

128GB

25Gbps

g6.xlarge

1

24GiB

4

16GiB

최대 10Gbps

g6.2xlarge

1

24GiB

8

32GiB

최대 10Gbps

g6.4xlarge

1

24GiB

16

64GiB

최대 25Gbps

g6.8xlarge

1

24GiB

32

128GiB

25Gbps

g6.16xlarge

1

24GiB

64

256GiB

25Gbps

g6.12xlarge

4

96GiB

48

192GiB

40Gbps

g6.24xlarge

4

96GiB

96

384GiB

50Gbps

g6.48xlarge

8

192GiB

192

768GiB

100Gbps

g6e.xlarge

1

48GB

4

32GB

최대 20Gbps

g6e.2xlarge

1

48GB

8

64GB

최대 20Gbps

g6e.4xlarge

1

48GB

16

128GB

20Gbps

g6e.8xlarge

1

48GB

32

256GB

25Gbps

g6e.16xlarge

1

48GB

64

512GB

35Gbps

g6e.12xlarge

4

192GB

48

384GB

100Gbps

g6e.24xlarge

4

192GB

96

768GB

200Gbps

g6e.48xlarge

8

384GB

192

1536GB

400Gbps

gr6.4xlarge

1

24GB

16

128GB

최대 25Gbps

gr6.8xlarge

1

24GB

32

256GB

25Gbps

p2.xlarge

1

12GiB

4

61GiB

높음

p2.8xlarge

8

96GiB

32

488GiB

10Gbps

p2.16xlarge

16

192GiB

64

732GiB

20Gbps

p3.2xlarge

1

16GiB

8

61GiB

최대 10Gbps

p3.8xlarge

4

64GiB

32

244GiB

10Gbps

p3.16xlarge

8

128GiB

64

488GiB

25Gbps

p3dn.24xlarge

8

256GiB

96

768GiB

100Gbps

p4d.24xlarge

8

320GB

96

1152GB

400Gbps

p4de.24xlarge

8

640GB

96

1152GB

400Gbps

p5.48xlarge

8

640GiB

192

2TiB

3200Gbps

p5e.48xlarge

8

1128GB

192

2TB

3200Gbps

p5en.48xlarge

8

1128GB

192

2TB

3200Gbps

p6-b200.48xlarge

8

1440GB

192

2TB

100Gbps

trn1.2xlarge

1

32GB

8

32GB

최대 1.25Gbps

trn1.32xlarge

16

512GB

128

512GB

800Gbps

trn1n.32xlarge

16

512GB

128

512GB

1600Gbps

trn2.48xlarge

16

1.5TB

192

2TB

3.2Tbps

inf1.xlarge

1

8GB

4

8GB

최대 25Gbps

inf1.2xlarge

1

8GB

8

16 GB

최대 25Gbps

inf1.6xlarge

4

32GB

24

48GB

25Gbps

inf1.24xlarge

16

128GB

96

192GB

100Gbps

inf2.xlarge

1

32GB

4

16 GB

최대 15Gbps

inf2.8xlarge

1

32GB

32

128GB

최대 25Gbps

inf2.24xlarge

6

192GB

96

384GB

50Gbps

inf2.48xlarge

12

384GB

192

768GB

100Gbps

dl1.24xlarge

8

256GB

96

768GB

400Gbps

dl2q.24xlarge

8

128GB

96

768GB

100Gbps
참고

GPU 작업의 경우 NVIDIA GPUs가 있는 인스턴스 유형 AWS Batch 만 지원합니다. 예를 들어 G4ad 패밀리는 GPU 예약에 지원되지 않습니다. 작업 정의에서 vcpu 및 메모리 요구 사항만 정의 AWS Batch 한 다음 Amazon ECS 또는 Amazon EKS 컴퓨팅 최적화 AMI 또는 AMD GPUs 사용을 위한 사용자 지정 AMI를 사용하여 Amazon EC2 시작 템플릿 사용자 데이터의 사용자 지정을 통해 호스트 GPU에 직접 액세스하여 G4ad에서를 계속 사용할 수 있습니다. Amazon EC2 GPUs

ARM64 아키텍처를 사용하는 인스턴스 유형은 AWS Batch 또는 Amazon EC2 사용자 데이터에 제공된 사용자 지정 AMIs의 GPU 작업에서 사용자 지정 코드 및 구성을 통해 GPUs에 액세스할 수 있도록 지원됩니다. 인스턴스 G5g 패밀리를 예로 들 수 있습니다.

작업 정의에 대한 resourceRequirements 파라미터는 컨테이너에 고정되며 해당 작업 기간 동안 해당 인스턴스에서 실행 중인 다른 작업에서는 사용할 수 없는 GPU 수를 지정합니다. 이 수의 GPU는 해당 작업이 진행되는 동안 해당 인스턴스에서 실행되는 다른 작업에서는 사용할 수 없습니다. GPU 작업을 실행하는 컴퓨팅 환경의 모든 인스턴스 유형은 p3, , , p4, p6, p5g3, g3s g4 g5또는 g6 인스턴스 패밀리에 속해야 합니다. 그렇지 않으면 GPU 작업이 RUNNABLE 상태로 고착될 수 있습니다.

GPU를 사용하지 않는 작업은 GPU 인스턴스에서 실행할 수 있습니다. 하지만 유사한 비 GPU 인스턴스보다 GPU 인스턴스에서 실행하는 경우 비용이 더 많이 들 수 있습니다. 특정 vCPU, 메모리 및 필요한 시간에 따라 이러한 비 GPU 작업은 GPU 작업의 실행을 차단할 수 있습니다.

주제