Amazon EKS で AI/ML 推論ワークロードを実行する

動的 GPU スケーリング — Karpenter は、ポッドリソースリクエストに基づいて適切なサイズの GPU インスタンスをオンデマンドでプロビジョニングし、アイドル時にゼロからスケーリングし、トラフィックの増加に応じてキャパシティを追加します。これにより、高価な GPU リソースの過剰プロビジョニングを回避できます。

高速コールドスタート — SOCI (Seekable OCI) 並列プルは、大きなコンテナイメージレイヤーを同時にダウンロードして解凍し、イメージのプル時間を数分から数秒に短縮します。Amazon S3 から GPU メモリへの直接モデルストリーミングと組み合わせると、ポッドは 2 分未満でサービスの提供を開始できます。

GPU 障害の自動復旧 — EKS ノードモニタリングエージェントは GPU ハードウェア障害を検出し、ノードの自動交換をトリガーして、手動による介入なしでダウンタイムを最小限に抑えます。

コストの最適化 — オンデマンドフォールバック、適切なサイズのインスタンス選択、ゼロへのスケーリング動作を備えたスポットインスタンスは、GPU コストを削減します。リザーブドキャパシティ (ODCR) は、定常状態のワークロードのコストをさらに削減できます。

オープンスタンダードと移植性 — 推論ワークロードは、vLLM や SGLang などのオープンソースモデルサーバーを備えた標準の Kubernetes API (デプロイ、サービス、HPA) で実行され、環境間で移植性を提供します。

統合モニタリング — vLLM または SGLang と NVIDIA DCGM Exporter からの Prometheus メトリクスは、Grafana ダッシュボードを通じてリクエストのレイテンシー、トークンスループット、GPU 使用率、メモリ使用量を可視化します。

推論 — トレーニング済みモデルを実行して、入力データから出力 (テキスト、埋め込み、分類) を生成するプロセス。

モデルサーバー — モデルをメモリにロードし、推論リクエストを受け取り、予測を返すコンテナ化されたサービス。例としては、vLLM、SGLang、Triton Inference Server、Text Generation Inference (TGI) などがあります。

モデルの重み — モデルサーバーが GPU メモリにロードするファイル (通常は SafeTensors または GGUF 形式) として保存される、トレーニング済みモデルの学習済みパラメータ。

アクセラレーター — 推論に必要なマトリックス操作を高速化する NVIDIA GPU や AWS Trainium/Inferentia チップなどの特殊なハードウェア。

テンソル並列処理 — 同じノード上の複数の GPU にモデルを分割して、1 つの GPU のメモリを超えるモデルを提供します。

KV キャッシュ — テキスト生成中に以前に計算されたキーと値のペアを保存し、新しいトークンごとに冗長計算を行うことを回避するメモリバッファ。

Time to First Token (TTFT) — リクエストの到着から最初に生成されたトークンまでの時間。インタラクティブアプリケーションには不可欠です。

Time Per Output Token (TPOT) — 最初のトークンから後続の各トークンを生成する平均時間。

End-to-end request latency — リクエストの送信からフルレスポンスの完了までの合計時間。

Requests per second — すべてのレプリカで 1 秒あたりに処理された推論リクエストの合計。

Output tokens per second — 合計出力トークンを経過時間で割ったものとして測定されるトークン生成のレート。

GPU utilization — 推論にアクティブに使用される GPU コンピューティングサイクルの割合。

KV cache utilization — 割り当てられた KV キャッシュメモリが使用されている割合。サーバーがキャパシティ上限にどれだけ近いかを示します。

SOCI 並列プル — コンテナイメージレイヤーをシーケンシャルではなく同時にダウンロードして解凍します。GPU インスタンスの EKS Auto Mode でデフォルトで有効になっています。

S3 からのモデルストリーミング — Run:ai Model Streamer などのツールは、モデルの重みを Amazon S3 から GPU メモリに直接ストリーミングし、ローカルディスクをバイパスしてロード時間を数分から数秒に短縮します。

Amazon ECR にイメージを保存する — リージョン ECR リポジトリから VPC エンドポイント経由でプルすることで、大規模なコンテナイメージのインターネットレイテンシーを回避できます。

インスタンスストアキャッシュ — ローカル NVMe ディスクを持つ G ファミリーインスタンスはコンテナレイヤーとモデルアーティファクトをキャッシュできるため、同じノードで後続のプルを高速化できます。