기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

GPU 파티션 할당량 할당

GPU 파티셔닝을 지원하도록 컴퓨팅 할당량 할당을 확장하여 GPU 파티션 수준에서 세분화된 리소스 공유를 활성화할 수 있습니다. 클러스터의 지원되는 GPUs에서 GPU 파티셔닝이 활성화되면 각 물리적 GPU를 컴퓨팅, 메모리 및 스트리밍 멀티프로세서 할당이 정의된 격리된 GPUs로 파티셔닝할 수 있습니다. GPU 파티셔닝에 대한 자세한 내용은 섹션을 참조하세요Amazon SageMaker HyperPod에서 GPU 파티션 사용. 팀에 특정 GPU 파티션을 할당하여 여러 팀이 하드웨어 수준의 격리와 예측 가능한 성능을 유지하면서 단일 GPU를 공유할 수 있습니다.

예를 들어 H100 GPUs가 8개인 ml.p5.48xlarge 인스턴스를 GPU 파티션으로 분할할 수 있으며, 작업 요구 사항에 따라 여러 팀에 개별 파티션을 할당할 수 있습니다. GPU 파티션 할당을 지정하면 HyperPod 작업 거버넌스는 GPU 수준 할당과 마찬가지로 GPU 파티션을 기반으로 비례 vCPU 및 메모리 할당량을 계산합니다. 이 접근 방식은 유휴 용량을 제거하고 동일한 물리적 GPU의 여러 동시 작업에서 비용 효율적인 리소스 공유를 지원하여 GPU 사용률을 극대화합니다.

컴퓨팅 할당량 생성

aws sagemaker create-compute-quota \
  --name "fractional-gpu-quota" \
  --compute-quota-config '{
    "ComputeQuotaResources": [
      {
        "InstanceType": "ml.p4d.24xlarge",
        "AcceleratorPartition": {
            "Count": 4,
            "Type": "mig-1g.5gb"
        }
      }
    ],
    "ResourceSharingConfig": { 
      "Strategy": "LendAndBorrow", 
      "BorrowLimit": 100 
    }
  }'

할당량 리소스 확인

# Check ClusterQueue
kubectl get clusterqueues
kubectl describe clusterqueue QUEUE_NAME

# Check ResourceFlavors
kubectl get resourceflavor
kubectl describe resourceflavor FLAVOR_NAME