Konfiguration mehrerer Warteschlangen - AWS ParallelCluster

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Konfiguration mehrerer Warteschlangen

Mit AWS ParallelCluster Version 3 können Sie mehrere Warteschlangen konfigurieren, indem Sie den Wert Schedulerauf setzen slurm und SlurmQueues in der Konfigurationsdatei mehrere Warteschlangen für angeben. In diesem Modus existieren verschiedene Instanztypen gleichzeitig in den Rechenknoten, die im ComputeResources Abschnitt der Konfigurationsdatei angegeben sind. ComputeResourcesmit unterschiedlichen Instanztypen werden je nach Bedarf für die nach oben oder unten skaliert. SlurmQueues

Mehrere Warteschlangen innerhalb eines einzelnen Clusters werden im Allgemeinen mehreren Clustern vorgezogen, wenn sich die Workloads dieselbe zugrunde liegende Infrastruktur und dieselben Ressourcen (wie gemeinsam genutzter Speicher, Netzwerk oder Anmeldeknoten) teilen. Wenn Workloads ähnliche Rechen-, Speicher- und Netzwerkanforderungen haben, ist die Verwendung mehrerer Warteschlangen innerhalb eines einzelnen Clusters effizienter, da sie die gemeinsame Nutzung von Ressourcen ermöglicht und unnötige Doppelarbeit vermeidet. Dieser Ansatz vereinfacht die Verwaltung und reduziert den Overhead, während er gleichzeitig eine effiziente Auftragsplanung und Ressourcenzuweisung ermöglicht. Andererseits sollten mehrere Cluster verwendet werden, wenn zwischen den Workloads strenge Sicherheits-, Daten- oder betriebliche Isolationsanforderungen bestehen. Wenn Sie beispielsweise Workloads unabhängig voneinander mit unterschiedlichen Zeitplänen, Aktualisierungszyklen oder Zugriffsrichtlinien verwalten und betreiben müssen, sind mehrere Cluster besser geeignet.

Kontingente für Clusterwarteschlangen und Rechenressourcen
Ressource Kontingent

Slurm queues

50 Warteschlangen pro Cluster

Compute resources

50 Rechenressourcen pro Warteschlange

50 Rechenressourcen pro Cluster

Anzahl der Knoten

Jede Rechenressource in ComputeResourceseiner Warteschlange muss ein eindeutiges Name, InstanceTypeMinCount, und haben MaxCount. MinCountund MaxCountverfügen über Standardwerte, die den Instanzbereich für eine Rechenressource in ComputeResourceseiner Warteschlange definieren. Sie können auch Ihre eigenen Werte für MinCountund angeben MaxCount. Jede Rechenressource in ComputeResourcesbesteht aus statischen Knoten, die von 1 bis zum Wert von nummeriert sind, MinCountund dynamischen Knoten, die vom Wert MinCountbis zum Wert von nummeriert sind MaxCount.

Beispiel für eine Konfiguration

Im Folgenden finden Sie ein Beispiel für einen Scheduling-Abschnitt für eine Cluster-Konfigurationsdatei. In dieser Konfiguration gibt es zwei Warteschlangen ComputeResourcesmit dem Namen queue1 und, queue2 und jede der Warteschlangen hat einen bestimmten Wert. MaxCount

Scheduling:
  Scheduler: slurm
  SlurmQueues:
  - Name: queue1
    ComputeResources:
    - InstanceType: c5.xlarge
      MaxCount: 5
      Name: c5xlarge
    - InstanceType: c4.xlarge
      MaxCount: 5
      Name: c4xlarge
  - Name: queue2
    ComputeResources:
    - InstanceType: c5.xlarge
      MaxCount: 5
      Name: c5xlarge

Hostnamen

Die Instances, die in die Compute-Flotte aufgenommen werden, werden dynamisch zugewiesen. Hostnamen werden für jeden Knoten generiert. Standardmäßig AWS ParallelCluster wird das folgende Format des Hostnamens verwendet:

$HOSTNAME=$QUEUE-$STATDYN-$COMPUTE_RESOURCE-$NODENUM

  • $QUEUEist der Name der Warteschlange. Wenn der SlurmQueuesAbschnitt beispielsweise einen Eintrag hat, dessen Wert auf „queue-name“ Namegesetzt ist, dann ist „$QUEUE“ der Wert „queue-name“.

  • $STATDYNist st für statische Knoten oder dy für dynamische Knoten.

  • $COMPUTE_RESOURCEist der NameWert der ComputeResourcesRechenressource, die diesem Knoten entspricht.

  • $NODENUMist die Nummer des Knotens. $NODENUMliegt zwischen eins (1) und dem Wert von MinCountfür statische Knoten und zwischen eins (1) und MaxCount- MinCountfür dynamische Knoten.

Aus der obigen Beispielkonfigurationsdatei geht hervor, dass ein bestimmter Knoten aus queue1 einer Rechenressource einen Hostnamen c5xlarge hat:queue1-dy-c5xlarge-1.

Sowohl Hostnamen als auch vollqualifizierte Domainnamen (FQDN) werden mithilfe von Amazon Route 53-Hosting-Zonen erstellt. Der FQDN ist$HOSTNAME.$CLUSTERNAME.pcluster, wo der Name des $CLUSTERNAME Clusters steht.

Beachten Sie, dass dasselbe Format auch für die Slurm Knotennamen verwendet wird.

Benutzer können wählen, ob sie den EC2 Amazon-Standardhostnamen der Instance verwenden möchten, die den Rechenknoten antreibt, anstatt das standardmäßige Hostnamenformat, das von verwendet wird. AWS ParallelCluster Dies kann erreicht werden, indem der UseEc2HostnamesParameter auf true gesetzt wird. Für Slurm Knotennamen wird jedoch weiterhin das AWS ParallelCluster Standardformat verwendet.