Amazon SageMaker HyperPod タスクガバナンスでのトポロジー認識スケジューリングの使用

Amazon SageMaker HyperPod タスクガバナンスでのトポロジー認識スケジューリングは、Amazon EC2 インスタンスの物理ネットワークトポロジーに基づいてポッドを配置することで、分散機械学習ワークロードのトレーニング効率を最適化します。アベイラビリティーゾーン、ネットワークブロック、物理ラックなどのAWSインフラストラクチャの階層構造を考慮すると、トポロジ対応スケジューリングにより、頻繁な通信を必要とするポッドがネットワークレイテンシーを最小限に抑えるために近接してスケジュールされます。このインテリジェントな配置は、ポッド間の集中的な通信を伴う大規模な機械学習トレーニングジョブで特に効果的であり、トレーニング時間の短縮とクラスター全体にわたるリソース利用効率の向上につながります。

トポロジー認識スケジューリングでは、次のインスタンスタイプがサポートされています。

トポロジー認識スケジューリングは、既存の HyperPod ワークフローと統合され、kubectl YAML ファイルと HyperPod CLI の両方を通じて柔軟なトポロジー設定を提供します。HyperPod タスクガバナンスは、トポロジーラベルを使用してクラスタノードを自動的に設定し、HyperPod タスクガバナンスポリシーおよびリソース借用メカニズムと組み合わせて使用することで、トポロジー認識スケジューリングが現在の運用プロセスを中断することを防ぎます。優先トポロジー仕様と必須トポロジー仕様の両方が組み込まれているため、トポロジー制約を満たせない場合に標準スケジューリングにフォールバックする柔軟性を維持しながら、特定のパフォーマンス要件に合わせてワークロードの配置を微調整できます。

HyperPod のトポロジー認識ラベルを活用することで、物理ネットワークインフラストラクチャを考慮したインテリジェントなポッド配置を介して、機械学習ワークロードを強化できます。HyperPod タスクガバナンスは、階層型データセンタートポロジーに基づいてポッドスケジューリングを自動的に最適化します。これは、分散 ML タスクのネットワークレイテンシーの短縮とトレーニングパフォーマンスの向上に直接つながります。このトポロジー認識機能は、関連するポッドをネットワーク階層内で戦略的に近接配置することで通信オーバーヘッドを最小限に抑えるため、特に大規模な機械学習ワークロードで役に立ちます。その結果、ポッド間の通信ネットワークレイテンシーが最適化され、リソース利用効率が向上し、コンピューティング集約型の AI/ML アプリケーションの全体的なパフォーマンスが向上します。これらはすべて、複雑なネットワークトポロジー構成を手動で管理する必要なく実現できます。

以下は、HyperPodタスクガバナンスがポッドをスケジュールできる利用可能なトポロジーネットワークレイヤーのラベルです。

トポロジー認識スケジューリングを使用するには、YAML ファイルに次のラベルを含めます。

リソースが同じトポロジラベルを共有していない場合、ジョブは中断され、待機リストに登録されます。Kueue が十分なリソースがあることを認識すると、ジョブを承認して実行します。

次の例は、YAML ファイルでラベルを使用する方法を説明しています。

apiVersion: batch/v1
kind: Job
metadata:
  name: test-tas-job
  namespace: hyperpod-ns-team-name
  labels:
    kueue.x-k8s.io/queue-name: hyperpod-ns-team-name-localqueue
    kueue.x-k8s.io/priority-class: PRIORITY_CLASS-priority
spec:
  parallelism: 10
  completions: 10
  suspend: true
  template:
    metadata:
      labels:
        kueue.x-k8s.io/queue-name: hyperpod-ns-team-name-localqueue
      annotations:
        kueue.x-k8s.io/podset-required-topology: "topology.k8s.aws/network-node-layer-3"
        or
        kueue.x-k8s.io/podset-preferred-topology: "topology.k8s.aws/network-node-layer-3"
    spec:
      nodeSelector:
        topology.k8s.aws/network-node-layer-3: TOPOLOGY_LABEL_VALUE
      containers:
        - name: dummy-job
          image: gcr.io/k8s-staging-perf-tests/sleep:v0.1.0
          args: ["3600s"]
          resources:
            requests:
              cpu: "100"
      restartPolicy: Never

次の表は、kubectl YAML ファイルで使用できる新しいパラメータを説明しています。

HyperPod CLI を使用してジョブを実行し、トポロジー認識スケジューリングを使用することもできます。HyperPod CLI の詳細については、「SageMaker HyperPod CLI コマンド」を参照してください。

hyp create hyp-pytorch-job \                                            
  --version 1.1 \
  --job-name sample-pytorch-job \
  --image 123456789012.dkr.ecr.us-west-2.amazonaws.com/ptjob:latest \
  --pull-policy "Always" \
  --tasks-per-node 1 \
  --max-retry 1 \
  --priority high-priority \
  --namespace hyperpod-ns-team-name \
  --queue-name hyperpod-ns-team-name-localqueue \
  --preferred-topology-label topology.k8s.aws/network-node-layer-1

トポロジーラベルを使用して PytorchJob を実行するために使用できる設定ファイルの例は、次のとおりです。MPI ジョブと Tensorflow ジョブを実行する場合、ファイルはほぼ同様です。代わりにこれらのジョブを実行したい場合は、PyTorchJob の代わりに適切なイメージを使用するなど、設定ファイルを適宜変更します。PyTorchJob を実行する場合は、プライマリノードとワーカーノードに異なるトポロジを割り当てることができます。PyTorchJob には常に単一のプライマリノードが存在するため、ワーカーポッドをサポートするにはトポロジーを使用することをお勧めします。

apiVersion: kubeflow.org/v1
kind: PyTorchJob
metadata:
  annotations: {}
  labels:
    kueue.x-k8s.io/queue-name: hyperpod-ns-team-name-localqueue
  name: tas-test-pytorch-job
  namespace: hyperpod-ns-team-name
spec:
  pytorchReplicaSpecs:
    Master:
      replicas: 1
      restartPolicy: OnFailure
      template:
        metadata:
          labels:
            kueue.x-k8s.io/queue-name: hyperpod-ns-team-name-localqueue
        spec:
          containers:
          - command:
            - python3
            - /opt/pytorch-mnist/mnist.py
            - --epochs=1
            image: docker.io/kubeflowkatib/pytorch-mnist:v1beta1-45c5727
            imagePullPolicy: Always
            name: pytorch
    Worker:
      replicas: 10
      restartPolicy: OnFailure
      template:
        metadata:
          # annotations:
            # kueue.x-k8s.io/podset-required-topology: "topology.k8s.aws/network-node-layer-3"
          labels:
            kueue.x-k8s.io/queue-name: hyperpod-ns-team-name-localqueue
        spec:
          containers:
          - command:
            - python3
            - /opt/pytorch-mnist/mnist.py
            - --epochs=1
            image: docker.io/kubeflowkatib/pytorch-mnist:v1beta1-45c5727
            imagePullPolicy: Always
            name: pytorch
            resources:
              limits:
                cpu: 1
              requests:
                memory: 200Mi
                cpu: 1
          #nodeSelector:
          #  topology.k8s.aws/network-node-layer-3: xxxxxxxxxxx

クラスターのトポロジーを確認するには、DescribeInstanceTopology API オペレーションを使用します。デフォルトでは、トポロジは AWS マネジメントコンソールおよび Amazon SageMaker Studio では非表示になっています。使用しているインターフェイスでこれらを表示するには、以下の手順を実行します。

SageMaker Studio

AWS マネジメントコンソール