Amazon SageMaker HyperPod リリースノート

EKS クラスターのオペレーティングシステムを Amazon Linux 2 から Amazon Linux 2023 にアップデートする新しい AMI をリリースしました。主なアップグレードには、Linux カーネル 6.1、Python 3.10、NVIDIA ドライバー 560.35.03、YUM に代わる DNF パッケージマネージャーなどがあります。

新しい AMI とクラスターのアップグレード方法の詳細については、「Amazon EKS 向け SageMaker HyperPod AMI リリース: 2025 年 7 月 31 日」を参照してください。

Slurm クラスター向け Ubuntu 22.04 LTS をサポートする更新された AMI をリリースしました。このリリースには、パフォーマンスの向上、機能の更新、セキュリティの強化を実現するためのシステムおよびソフトウェアコンポーネントのアップグレードがいくつか含まれています。

詳細については、以下を参照してください。

EKS オーケストレーションクラスターの使用状況レポートを追加しました。これにより、組織はチーム、プロジェクト、または部門間で透過的に使用量ベースのコスト配分を実施できます。この機能は、HyperPod のタスクガバナンス機能を補完し、共有マルチテナント AI/ML 環境における公平なコスト配分を実現します。詳細については、「HyperPod でのコンピューティング使用状況レポート」を参照してください。

NVIDIA ドライバーをバージョン 550.144.03 から 550.163.01 にアップグレードしました。このアップグレードは、2025 年 4 月の NVIDIA GPU ディスプレイセキュリティ情報に記載されている共通脆弱性識別子 (CVE) に対処するためのものです。

Amazon EKS 1.32.1 用の新しい SageMaker HyperPod AMI をリリースしました。詳細については、「Amazon EKS 向け SageMaker HyperPod AMI リリース: 2025 年 4 月 18 日」を参照してください。

Slurm オーケストレーションを使用する SageMaker HyperPod の Direct Preference Optimization (DPO) レシピチュートリアルを追加しました。このファインチューニングのチュートリアルでは、GPU 搭載の SageMaker HyperPod Slurm クラスターで DPO メソッドを使用してモデルの配置を最適化するためのステップバイステップのガイダンスを提供します。詳細については、「HyperPod Slurm クラスター DPO チュートリアル (GPU)」を参照してください。

SageMaker HyperPod クラスターをデプロイするためのクイックスタートページを追加しました。このページでは、SageMaker HyperPod の専門ワークショップの効率的なセットアップワークフローを活用し、構築済みの AWS CloudFormation テンプレートを使用してデプロイを自動化しています。Slurm や Amazon EKS などのインフラストラクチャ設定をサポートし、ベースラインクラスターの設定とデプロイが容易になります。

SageMaker HyperPod は、Slurm クラスターと Amazon EKS クラスターの両方で、次のインスタンスタイプをサポートするようになりました。

CreateCluster API オペレーションと UpdateCluster API オペレーションでより詳細なアクセスコントロールを行うために、次の IAM 条件キーを追加しました。

SageMaker HyperPod クラスターからのインスタンスグループの削除サポートが追加されました。詳細については、「EKS オーケストレーションクラスターからインスタンスグループを削除するを削除する」と「Slurm オーケストレーションクラスターのクラスターをクラスターをスケールダウンする」を参照してください。

SageMaker HyperPod のこのリリースでは、Nvidia コンテナツールキット (バージョン 1.17.3 からバージョン 1.17.4) のセキュリティ更新プログラムが組み込まれています。詳細については、「v1.17.4 リリースノート」を参照してください。

SageMaker HyperPod マルチ AZ サポートの強化: クラスター内の個々のインスタンスグループに対して、異なるアベイラビリティーゾーンにまたがって異なるサブネットとセキュリティグループを指定できるようになりました。SageMaker HyperPod のマルチ AZ サポートの詳細については、「複数の AZ にまたがる SageMaker HyperPod クラスターのセットアップ」を参照してください。

Amazon EKS 向け SageMaker HyperPod AMI リリース: 2025 年 1 月 22 日

IPv6 サポートの追加: IPv6 対応の VPC とサブネットが設定されている場合、クラスターは IPv6 アドレス指定を使用できます。詳細については、「カスタム Amazon VPC で SageMaker HyperPod を設定する」を参照してください。

SageMaker HyperPod は、Slurm クラスターと Amazon EKS クラスターの両方で、次のインスタンスタイプをサポートするようになりました。

Slurm がジョブを中断する際のエラーログの可視性を強化し、Slurm が開始したジョブのキャンセル中に不要なジョブステップが終了することを防止します。

Slurm と Amazon EKS クラスターの両方で、p5en のベース DLAMI を更新しました。

Slurm 向け SageMaker HyperPod AMI リリース: 2024 年 12 月 21 日

Amazon EKS 向け SageMaker HyperPod AMI リリース: 2024 年 12 月 21 日

SageMaker HyperPod は、SageMaker HyperPod Slurm クラスターの健全性とパフォーマンスをモニタリングするための Amazon CloudWatch メトリクスセットをリリースしました。これらは、CPU、GPU、メモリ使用率、ノー​​ド数や障害ノードなどのクラスターインスタンス情報に関連するメトリクスです。このモニタリング機能はデフォルトで有効になっており、メトリクスには /aws/sagemaker/Clusters CloudWatch 名前空間でアクセスできます。これらのメトリクスに基づいて CloudWatch アラームを設定し、Slurm ベースの HyperPod クラスター内の潜在的な問題をプロアクティブに検出して対処することもできます。詳細については、「Amazon SageMaker HyperPod Slurm のメトリクス」を参照してください。

Amazon EKS 向け SageMaker HyperPod AMI リリース: 2024 年 12 月 13 日

複数のアベイラビリティーゾーンにまたがる SageMaker HyperPod クラスターの設定のサポートが追加されました。SageMaker HyperPod のマルチ AZ サポートの詳細については、「複数の AZ にまたがる SageMaker HyperPod クラスターのセットアップ」を参照してください。

Slurm 向け SageMaker HyperPod AMI リリース: 2024 年 11 月 24 日

Amazon EKS 向け SageMaker HyperPod AMI リリース: 2024 年 11 月 24 日

Amazon EKS と Slurm オーケストレーションクラスターの両方で、trn1 インスタンスタイプと trn1n インスタンスタイプのサポートを追加しました。

Slurm クラスターのログ管理が改善されました。

長い行を含むファイルでトラッキングの問題が発生しないように、Fluent Bit の設定を調整しました。

slurm.config 設定ファイル で Slurm コントローラーノードの更新による意図しない切り捨てを防止しています。

Slurm 向け SageMaker HyperPod AMI リリース: 2024 年 11 月 15 日

Amazon EKS 向け SageMaker HyperPod AMI リリース: 2024 年 11 月 15 日

SageMaker HyperPod AMI が G6e インスタンスタイプをサポートするようになりました。

Slurm 向け SageMaker HyperPod AMI リリース: 2024 年 11 月 11 日

Amazon EKS 向け SageMaker HyperPod AMI リリース: 2024 年 11 月 11 日

Amazon EKS と Slurm の両方のオーケストレーションされたクラスターのインスタンスグループレベルとインスタンスレベル、SageMaker HyperPod クラスターのスケールダウン機能を追加しました。Amazon EKS クラスターの詳細については、「SageMaker HyperPod クラスターのスケールダウン」を参照してください。Slurm クラスターのスケールダウンの詳細については、「AWS CLI を使用した SageMaker HyperPod Slurm クラスターの管理」の「クラスターをスケールダウンする」を参照してください。

SageMaker HyperPod オーケストレーションクラスターで、P5e インスタンスタイプと P5e インスタンスタイプのサポートを追加しました。

SageMaker HyperPod は、P5e[n]、G6、Gr6、Trn2[n] のインスタンスタイプをサポートするようになりました。

Slurm 向け SageMaker HyperPod AMI リリース: 2024 年 10 月 21 日

Amazon EKS 向け SageMaker HyperPod AMI リリース: 2024 年 10 月 21 日

SageMaker HyperPod に Amazon EKS サポートを追加しました。詳細についてはAmazon EKS を使用して SageMaker HyperPod クラスターをオーケストレーションするを参照してください。

CloudFormation と Terraform による SageMaker HyperPod クラスターの管理のサポートが追加されました。CloudFormation を介した HyperPod クラスターの管理の詳細については、「AWS::SageMaker::Cluster の CloudFormation ドキュメント」を参照してください。Terraform による HyperPod クラスターの管理については、「awscc_sagemaker_cluster の Terraform ドキュメント」を参照してください。

Slurm 向け SageMaker HyperPod AMI リリース: 2024 年 9 月 10 日

Amazon EKS 向け SageMaker HyperPod AMI リリース: 2024 年 9 月 10 日

SageMaker HyperPod の auto-resume 機能を強化し、Generic RESources (GRES) がアタッチされた Slurm ノードの回復性機能を拡張しました。

汎用リソース (GRES) が Slurm ノードにアタッチされている場合、Slurm は通常、ノードの置き換えなど、ノード割り当ての変更を許可しないため、失敗したジョブを再開することはできません。明示的に禁止されていない限り、HyperPod auto-resume 機能は GRES 対応ノードに関連付けられた障害のあるジョブを自動的にキューに入れ直します。このプロセスでは、ジョブを停止して、ジョブキューに戻した後、最初からジョブを再開します。

SageMaker HyperPod AMI に slurmrestd をパッケージ化しました。

システムの応答性とジョブ処理を改善するため、slurm.conf で ResumeTimeout および UnkillableStepTimeout のデフォルト値を 60 秒から 300 秒に変更しました。

NVIDIA Data Center GPU Manager (DCGM) と NVIDIA System Management Interface (nvidia-smi) のヘルスチェックに小規模な改善を加えました。

HyperPod auto-resume プラグインは、アイドル状態のノードを使用してジョブを再開できます。

SageMaker HyperPod クラスターインスタンスに追加ストレージをアタッチする新しい機能を追加しました。この機能を使用すると、SageMaker HyperPod コンソールまたは CreateCluster および UpdateCluster API を使用して、クラスターの作成または更新プロセス中にインスタンスグループ設定レベルで補足ストレージを設定できます。追加の EBS ボリュームは、SageMaker HyperPod クラスター内の各インスタンスにアタッチされ、/opt/sagemaker にマウントされます。SageMaker HyperPod クラスターでの実装の詳細については、以下のページの更新されたドキュメントを参照してください。

この機能を使用するには、HyperPod クラスターソフトウェアを更新する必要がある点に注意してください。HyperPod クラスターソフトウェアにパッチを適用した後、2024 年 6 月 20 日より前に作成された既存の SageMaker HyperPod クラスターに新しいインスタンスグループを追加することで、この機能を使用できます。この機能は、2024 年 6 月 20 日以降に作成されたすべての SageMaker HyperPod クラスターに対して完全に有効です。

次のコマンドを実行して UpdateClusterSoftware API を呼び出し、既存の HyperPod クラスターを最新の HyperPod DLAMI で更新します。手順の詳細については、「クラスターの SageMaker HyperPod プラットフォームソフトウェアを更新する」を参照してください。

 aws sagemaker update-cluster-software --cluster-name your-cluster-name

ClusterInstanceGroupSpecification API の ThreadsPerCore パラメータでバグを修正しました。この修正により、CreateCluster および UpdateCluster API は ThreadsPerCore を通じてユーザー入力を適切に取得して適用します。この修正は、2024 年 4 月 24 日以降に作成された HyperPod クラスターで有効です。このバグにより問題が発生したため、この修正をクラスターに適用する場合は、新しいクラスターを作成する必要があります。「SageMaker HyperPod が提供するバックアップスクリプトを使用する」の手順に従って、新しいクラスターに移動しながら、作業内容をバックアップおよび復元してください。

HyperPod DLAMI のこのリリースでは、Slurm は JSON、YAML、JWT をサポートする REST サービス (slurmestd) で構築されます。

Slurm を v23.11.3 にアップグレードしました。

auto-resume サービスのタイムアウトが 60 分に引き上げられました。

Slurm コントローラーを再起動しないようインスタンス置換プロセスを改善しました。

インスタンスの起動時のダウンロードエラーやインスタンスヘルスチェックエラーなど、実行中のライフサイクルスクリプトからのエラーメッセージが改善されました。

時間同期の問題を引き起こす chrony サービスによるバグを修正しました。

slurm.conf を解析する際のバグを修正しました。

NVIDIA go-dcgm ライブラリの問題を修正しました。

HyperPod では、provisioning_parameters.json を通じて提供されたパーティション名を適切に渡し、提供された入力に基づいてパーティションを適切に作成できるようになりました。provisioning_parameters.json の詳細については、「SageMaker HyperPod フォーム」と「ライフサイクルスクリプトを使用して SageMaker HyperPod クラスターをカスタマイズする」を参照してください。

Slurm 向け SageMaker HyperPod AMI リリース: 2024 年 3 月 14 日

SageMaker HyperPod セキュリティパッチの新しい UpdateClusterSoftware API を追加しました。セキュリティパッチが利用可能になったら、aws sagemaker update-cluster-software --cluster-name your-cluster-name を実行して、アカウント内の既存の SageMaker HyperPod クラスターを更新することをお勧めします。今後のセキュリティパッチの最新情報については、この Amazon SageMaker HyperPod リリースノートページを引き続き追跡してください。UpdateClusterSoftware API の仕組みについては、「クラスターの SageMaker HyperPod プラットフォームソフトウェアを更新する」を参照してください。

AWS re:Invent 2023 で Amazon SageMaker HyperPod を発表しました。

Slurm 向け SageMaker HyperPod AMI リリース: 2023 年 11 月 29 日