As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Alocando cota de partição de GPU

Você pode estender a alocação de cotas de computação para oferecer suporte ao particionamento da GPU, permitindo o compartilhamento refinado de recursos no nível da partição da GPU. Quando o particionamento de GPU está ativado em GPUs compatíveis no cluster, cada GPU física pode ser particionada em várias GPUs isoladas com alocações definidas de computação, memória e multiprocessador de streaming. Para obter mais informações sobre particionamento de GPU, consulte. Usando partições de GPU na Amazon SageMaker HyperPod Você pode alocar partições de GPU específicas para equipes, permitindo que várias equipes compartilhem uma única GPU, mantendo o isolamento no nível do hardware e o desempenho previsível.

Por exemplo, uma instância ml.p5.48xlarge com 8 GPUs H100 pode ser particionada em partições de GPU e você pode alocar partições individuais para equipes diferentes com base nos requisitos de suas tarefas. Quando você especifica alocações de partições de GPU, a governança de HyperPod tarefas calcula cotas proporcionais de vCPU e memória com base na partição da GPU, semelhante à alocação. GPU-level Essa abordagem maximiza a utilização da GPU eliminando a capacidade ociosa e permitindo o compartilhamento econômico de recursos em várias tarefas simultâneas na mesma GPU física.

Criação de cotas de computação

aws sagemaker create-compute-quota \
  --name "fractional-gpu-quota" \
  --compute-quota-config '{
    "ComputeQuotaResources": [
      {
        "InstanceType": "ml.p4d.24xlarge",
        "AcceleratorPartition": {
            "Count": 4,
            "Type": "mig-1g.5gb"
        }
      }
    ],
    "ResourceSharingConfig": { 
      "Strategy": "LendAndBorrow", 
      "BorrowLimit": 100 
    }
  }'

Verificando os recursos da cota

# Check ClusterQueue
kubectl get clusterqueues
kubectl describe clusterqueue QUEUE_NAME

# Check ResourceFlavors
kubectl get resourceflavor
kubectl describe resourceflavor FLAVOR_NAME