HyperPod トレーニングオペレーターの使用

Amazon SageMaker HyperPod トレーニングオペレーターを使用すると、大規模な GPU クラスター間で分散トレーニングを効率的に管理できるため、生成 AI モデルの開発の加速につながります。インテリジェントな障害復旧、ハングしたジョブの検出、プロセスレベルの管理機能が導入されており、トレーニングの中断を最小限に抑え、コストを削減できます。障害発生時にジョブを完全に再起動する必要がある従来のトレーニングインフラストラクチャとは異なり、このオペレーターは、トレーニングジョブをスムーズに実行するために精密なプロセスリカバリを実装します。

このオペレーターは HyperPod のヘルスモニタリングおよびオブザーバビリティ機能と連携し、トレーニング実行のリアルタイム可視化と、ロススパイクやスループット低下などの重要なメトリクスの自動モニタリングを提供します。コードを変更することなく、シンプルなYAML構成でリカバリポリシーを定義できるため、回復不能なトレーニング状態に迅速に対応し、復旧できます。これらのモニタリング機能とリカバリ機能は連携して動作し、運用オーバーヘッドを最小限に抑えながら、最適なトレーニングパフォーマンスを維持できます。

このトレーニングオペレーターには Kueue は必須ではありませんが、クラスター管理者は Kueue をインストールして設定することで、ジョブスケジューリング機能を強化できます。詳細については、Kueueの公式ドキュメントを参照してください。

サポートバージョン

HyperPod トレーニングオペレーターは、Kubernetes、Kueue、HyperPod の特定のバージョンでのみ動作します。互換性のあるバージョンの完全なリストについては、以下のリストを参照してください。