SageMaker HyperPod で Amazon EKS サポートを開始する

SageMaker AI コンソールを使用している場合は、HyperPod クラスターコンソールページ内に Amazon EKS クラスターを作成できます。詳細については、「Amazon EKS オーケストレーションを使用した SageMaker HyperPod クラスターの作成」を参照してください。

AWSCLI を使用する場合は、関連付ける HyperPod クラスターを作成する前に Amazon EKS クラスターを作成する必要があります。詳細については、「Amazon EKS ユーザーガイド」の「Amazon EKS クラスターを作成します」を参照してください。

ノードのタイプに基づいて異なる IAM ロールを使用する必要があります。HyperPod ノードの場合は、「SageMaker HyperPod の IAM ロール」に基づくロールを使用します。Amazon EKS ノードについては、「Amazon EKS ノードの IAM ロール」を参照してください。

SageMaker HyperPod ノードに追加の Amazon EBS ボリュームをプロビジョンしてマウントするには、クラスターレベルのボリュームプロビジョニングに InstanceStorageConfigs を使用するか (インスタンスグループの作成または更新時に使用可能)、動的ポッドレベルのボリューム管理に Amazon Elastic Block Store (Amazon EBS) Container Storage Interface (CSI) ドライバーを使用します。InstanceStorageConfigs では、ローカルパスを /opt/sagemaker に設定して、ボリュームを Amazon EKS ポッドに適切にマウントします。Amazon EBS CSI コントローラーを HyperPod ノードにデプロイする方法については、「SageMaker HyperPod EKS クラスターで Amazon EBS CSI ドライバーを使用する」を参照してください。

インスタンスタイプのラベルを使用してスケジューリングの制約を定義する場合は、プレフィックスが ml. の SageMaker AI ML インスタンスタイプを使用します。例えば、P5 インスタンスの場合は、p5.48xlarge の代わりに ml.p5.48xlarge を使用します。

各 HyperPod クラスターインスタンスでは、1 つの Elastic Network Interface (ENI) がサポートされます。インスタンスタイプあたりのポッドの最大数については、次の表を参照してください。

デフォルトでは、Amazon EC2 インスタンスメタデータサービス (IMDS) にアクセスできるのは、hostNetwork = true のポッドのみです。Amazon EKS Pod ID またはサービスアカウント (IRSA) の IAM ロールを使用して、Pod のAWS認証情報へのアクセスを管理します。

EKS オーケストレーション HyperPod クラスターはデュアル IP アドレス指定モードをサポートしており、IPv6 対応の VPC およびサブネット環境の IPv6 Amazon EKS クラスターに対して IPv4 または IPv6 による構成が可能です。詳細については、「カスタム Amazon VPC で SageMaker HyperPod を設定する」を参照してください。

ノードの自動置き換えは、CPU インスタンスではサポートされていません。

ノードの自動復旧が機能するには、HyperPod ヘルスモニタリングエージェントをインストールする必要があります。エージェントは Helm を使用してインストールできます。詳細については、「Helm を使用して Amazon EKS クラスターにパッケージをインストールする」を参照してください。

HyperPod のディープヘルスチェックとヘルスモニタリングエージェントは、GPU インスタンスと Trn インスタンスをサポートしています。

SageMaker AI は、ノードがディープヘルスチェックを受けている際に、次のテイントを適用します。

effect: NoSchedule
key: sagemaker.amazonaws.com/node-health-status
value: Unschedulable