翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

GPU パーティションクォータの割り当て

コンピューティングクォータの割り当てを拡張して GPU パーティショニングをサポートし、GPU パーティションレベルできめ細かなリソース共有を実現できます。クラスターでサポートされている GPUs で GPU パーティショニングを有効にすると、各物理 GPU を、定義されたコンピューティング、メモリ、ストリーミングマルチプロセッサ割り当てを持つ複数の独立した GPUs にパーティショニングできます。GPU パーティショニングの詳細については、「」を参照してくださいAmazon SageMaker HyperPod での GPU パーティションの使用 HyperPod。特定の GPU パーティションをチームに割り当てることで、ハードウェアレベルの分離と予測可能なパフォーマンスを維持しながら、複数のチームが 1 つの GPU を共有できます。

たとえば、8 つの H100 GPUs を持つ ml.p5.48xlarge インスタンスは GPU パーティションに分割でき、タスク要件に基づいて個々のパーティションを異なるチームに割り当てることができます。GPU パーティション割り当てを指定すると、HyperPod タスクガバナンスは GPU レベルの割り当てと同様に、GPU パーティションに基づいて比例 vCPU クォータとメモリクォータを計算します。このアプローチは、アイドル容量を排除し、同じ物理 GPU 上の複数の同時タスク間で費用対効果の高いリソース共有を可能にすることで、GPU 使用率を最大化します。

コンピューティングクォータの作成

aws sagemaker create-compute-quota \
  --name "fractional-gpu-quota" \
  --compute-quota-config '{
    "ComputeQuotaResources": [
      {
        "InstanceType": "ml.p4d.24xlarge",
        "AcceleratorPartition": {
            "Count": 4,
            "Type": "mig-1g.5gb"
        }
      }
    ],
    "ResourceSharingConfig": { 
      "Strategy": "LendAndBorrow", 
      "BorrowLimit": 100 
    }
  }'

クォータリソースの検証

# Check ClusterQueue
kubectl get clusterqueues
kubectl describe clusterqueue QUEUE_NAME

# Check ResourceFlavors
kubectl get resourceflavor
kubectl describe resourceflavor FLAVOR_NAME