Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Zuweisung eines GPU-Partitionskontingents

Sie können die Zuweisung von Rechenkontingenten erweitern, um die GPU-Partitionierung zu unterstützen und so eine feinkörnige gemeinsame Nutzung von Ressourcen auf GPU-Partitionsebene zu ermöglichen. Wenn die GPU-Partitionierung auf unterstützten GPUs im Cluster aktiviert ist, kann jede physische GPU in mehrere isolierte GPUs mit definierten Rechen-, Speicher- und Streaming-Multiprozessor-Zuweisungen partitioniert werden. Weitere Hinweise zur GPU-Partitionierung finden Sie unter. Verwendung von GPU-Partitionen in Amazon SageMaker HyperPod Sie können Gruppen bestimmte GPU-Partitionen zuweisen, sodass mehrere Teams eine einzige GPU gemeinsam nutzen können, während gleichzeitig die Isolierung auf Hardwareebene und die vorhersehbare Leistung erhalten bleiben.

Beispielsweise kann eine ml.p5.48xlarge-Instance mit 8 H100-GPUs in GPU-Partitionen partitioniert werden, und Sie können einzelne Partitionen je nach Aufgabenanforderungen verschiedenen Teams zuweisen. Wenn Sie GPU-Partitionszuweisungen angeben, berechnet HyperPod Task Governance proportionale vCPU- und Speicherkontingente auf der Grundlage der GPU-Partition, ähnlich wie bei der Zuweisung. GPU-level Dieser Ansatz maximiert die GPU-Auslastung, indem ungenutzte Kapazitäten vermieden und eine kostengünstige gemeinsame Nutzung von Ressourcen für mehrere gleichzeitige Aufgaben auf derselben physischen GPU ermöglicht wird.

Erstellung von Rechenquoten

aws sagemaker create-compute-quota \
  --name "fractional-gpu-quota" \
  --compute-quota-config '{
    "ComputeQuotaResources": [
      {
        "InstanceType": "ml.p4d.24xlarge",
        "AcceleratorPartition": {
            "Count": 4,
            "Type": "mig-1g.5gb"
        }
      }
    ],
    "ResourceSharingConfig": { 
      "Strategy": "LendAndBorrow", 
      "BorrowLimit": 100 
    }
  }'

Kontingentressourcen verifizieren

# Check ClusterQueue
kubectl get clusterqueues
kubectl describe clusterqueue QUEUE_NAME

# Check ResourceFlavors
kubectl get resourceflavor
kubectl describe resourceflavor FLAVOR_NAME