Amazon SageMaker HyperPod での GPU パーティションの使用 HyperPod

クラスター管理者は、組織全体で GPU 使用率を最大化する方法を選択できます。NVIDIA マルチインスタンス GPU (MIG) テクノロジーで GPU パーティショニングを有効にして、GPU リソースを分離された小さなインスタンスに分割し、リソース使用率を向上させることができます。この機能を使用すると、ハードウェア全体を 1 つの十分に活用されていないタスクに専念するのではなく、1 つの GPU で複数の小さなサイズのタスクを同時に実行できます。これにより、無駄なコンピューティング能力とメモリがなくなります。

MIG テクノロジーを使用した GPU パーティショニングは GPUs、サポートされている 1 つの GPU を最大 7 つの別々の GPU パーティションに分割できます。各 GPU パーティションには専用のメモリ、キャッシュ、コンピューティングリソースがあり、予測可能な分離を提供します。

利点

GPU 使用率の向上 - コンピューティングとメモリの要件に基づいて GPUsパーティション化することで、コンピューティング効率を最大化
タスクの分離 - 各 GPU パーティションは、専用のメモリ、キャッシュ、コンピューティングリソースで独立して動作します。
タスクの柔軟性 - 単一の物理 GPU でタスクの組み合わせをサポートし、すべて並行して実行されます。
柔軟なセットアップ管理 - Kubernetes コマンドラインクライアントを使用した DoDo-it-yourself (DIY) Kubernetes 設定とkubectl、GPU パーティションに関連付けられたラベルを簡単に設定および適用するためのカスタムラベル付きのマネージドソリューションの両方をサポートします。