このページの改善にご協力ください
このユーザーガイドに貢献するには、すべてのページの右側のペインにある「GitHub でこのページを編集する」リンクを選択してください。
Amazon EKS で NVIDIA GPU を管理する
NVIDIA GPU は、機械学習トレーニング、推論、ハイパフォーマンスコンピューティングワークロードに広く使用されています。Amazon EKS は、EKS クラスターで NVIDIA GPU デバイスを管理できるように 2 つのメカニズムをサポートしています。GPU 用 NVIDIA DRA ドライバーと NVIDIA Kubernetes デバイスプラグインです。
Karpenter、EKS マネージドノードグループ、またはセルフマネージドノードで [静的キャパシティのプロビジョニング]
EKS での DRA 機能の可用性については、EKS のKubernetes バージョンのリリースノートを参照してください。EKS で NVIDIA DRA ドライバーとデバイスプラグインを使用する方法の詳細については、Amazon EKS で NVIDIA DRA ドライバーまたはデバイスプラグインを使用する を参照してください。
GPU 共有 (MIG & タイムスライシング)
マルチインスタンス GPU (MIG)
マルチインスタンス GPU (MIG) は、単一の物理 GPU を複数の分離されたインスタンスにパーティション化する NVIDIA GPU のハードウェア機能です。インスタンスの最大数は GPU によって異なります。A100、H100、H200、B200 などのデータセンター GPU は最大 7 個のインスタンスをサポートし、Blackwell ベースの g7 および g7e GPU はより少ないインスタンスをサポートします。各インスタンスには専用メモリ、コンピューティングユニット、メモリ帯域幅があるため、あるインスタンスで実行されるワークロードが別のインスタンスのワークロードに影響を与えることはありません。分離なしでソフトウェアのタイムマルチプレクシングを通じて GPU を共有するタイムスライシングとは異なり、MIG は Pod 間でハードウェアレベルのメモリと障害分離を提供します。
MIG は、マルチテナント推論、予測可能なサービス品質を必要とするワークロード、ハードウェア分離テナンシーのコンプライアンス要件がある環境に最適です。NVIDIA Ampere (A100)、Hopper (H100 と H200)、および Blackwell GPU で使用できます。AWS では、これらは P ファミリーインスタンスタイプと、Blackwell ベースの g7 および g7e インスタンスタイプです。
NVIDIA GPU および EKS で MIG を使用する方法と手順の詳細については、Amazon EKS の NVIDIA GPU でマルチインスタンス GPU (MIG) を使用する を参照してください。
タイムスライシング
タイムスライシングでは、NVIDIA デバイスプラグインまたは DRA ドライバーを設定して、GPU ごとに複数のスケジュール可能なスロットをアドバタイズすることで、複数の Pod が単一の物理 NVIDIA GPU を共有できます。Kubernetes スケジューラは同じ GPU に複数の Pod を配置し、GPU の CUDA スケジューラはワークロードをタイムマルチプレックスします。
タイムスライシングは、最もシンプルな GPU 共有戦略です。ソフトウェアのみを使用し、特別なハードウェアを必要とせず、AWS 上のすべての NVIDIA GPU インスタンスタイプで動作します。タイムスライシングでは、GPU を共有する Pod 間でメモリやコンピューティングの分離を行うことはありません。これは、リクエスト間でアイドル状態になる推論サービスや、複数のユーザーが GPU を共有する開発環境など、GPU 使用率が低いワークロードに最適です。ハードウェアレベルのメモリとコンピューティングの分離を必要とするワークロードでは、代わりに MIG を使用します。
NVIDIA GPU と EKS でタイムスライシングを使用する方法と手順については、Amazon EKS 上の NVIDIA GPU でタイムスライシングを使用する を参照してください。
トピック
