Amazon SageMaker HyperPod にモデルをデプロイする

Amazon SageMaker HyperPod は、トレーニングを超えて、Kubernetes の柔軟性と AWS マネージドサービスの運用上の優秀性を組み合わせた包括的な推論プラットフォームを提供するようになりました。モデルライフサイクル全体で同じ HyperPod コンピューティングを使用して、エンタープライズグレードの信頼性で機械学習モデルをデプロイ、スケーリング、最適化できます。

Amazon SageMaker HyperPod は、kubectl、Python SDK、Amazon SageMaker Studio UI、HyperPod CLI など、複数の方法でモデルをデプロイできる柔軟なデプロイインターフェイスを提供します。このサービスは、需要に基づいて自動的に調整する動的リソース割り当てを備えた高度なオートスケーリング機能を提供します。さらに、パフォーマンスを最適化するために time-to-first-token、GPU 使用率などの重要なメトリクスを追跡する包括的なオブザーバビリティとモニタリング機能を提供しています。

トレーニングと推論の統合インフラストラクチャ

トレーニングワークロードと推論ワークロードの間でコンピューティングリソースをシームレスに移行することで、GPU 使用率を最大化します。これにより、運用の継続性を維持しながら総所有コストを削減できます。

エンタープライズ対応デプロイオプション

Amazon SageMaker JumpStart のオープンウェイトモデルやゲートモデル、Amazon S3 および Amazon FSx のカスタムモデルなど、複数のソースからモデルをデプロイできます。単一ノードとマルチノードの両方の推論アーキテクチャをサポートします。

マネージド階層型キーバリュー (KV) キャッシュとインテリジェントルーティング

KV キャッシュは、以前のトークンを処理した後、事前に計算されたキーと値のベクトルを保存します。次のトークンが処理されると、ベクトルを再計算する必要はありません。2 層キャッシュアーキテクチャにより、低レイテンシーのローカル再利用に CPU メモリを使用する L1 キャッシュと、Redis を活用してスケーラブルなノードレベルのキャッシュ共有を可能にする L2 キャッシュを設定できます。

インテリジェントルーティングは受信リクエストを分析し、関連するキャッシュされたキーと値のペアを持つ可能性が最も高い推論インスタンスに転送します。システムはリクエストを調べ、次のいずれかのルーティング戦略に基づいてルーティングします。

この機能を有効にする方法の詳細については、「」を参照してくださいパフォーマンスを向上させるために KV キャッシュとインテリジェントルーティングを設定する。

KV キャッシュの組み込み L2 キャッシュ階層型ストレージのサポート

既存の KV キャッシュインフラストラクチャに基づいて、HyperPod は Redis と共に追加の L2 バックエンドオプションとして階層型ストレージを統合するようになりました。組み込みの SageMaker マネージド階層型ストレージを使用すると、パフォーマンスが向上します。この機能強化により、キャッシュオフロードのよりスケーラブルで効率的なオプションが提供され、特に高スループットの LLM 推論ワークロードに役立ちます。この統合は、既存の vLLM モデルサーバーおよびルーティング機能との互換性を維持しながら、パフォーマンスを向上させます。

自動フェイルオーバーによるマルチインスタンスタイプのデプロイ

HyperPod Inference は、マルチインスタンスタイプのデプロイをサポートし、デプロイの信頼性とリソース使用率を向上させます。デプロイ設定でインスタンスタイプの優先リストを指定すると、希望するインスタンスタイプに容量がない場合、システムは使用可能な代替方法から自動的に選択します。Kubernetes スケジューラはpreferredDuringSchedulingIgnoredDuringExecutionノードアフィニティを使用してインスタンスタイプを優先度順に評価し、ワークロードを優先度の高い使用可能なインスタンスタイプに配置しながら、優先リソースが利用できない場合でもデプロイを確保します。この機能は、コストとパフォーマンスの設定を維持しながら、容量の制約によるデプロイの失敗を防ぎ、クラスター容量の変動中でも継続的なサービスの可用性を確保します。

きめ細かなスケジューリング制御のためのカスタムノードアフィニティ

HyperPod Inference は、カスタムノードアフィニティをサポートし、インスタンスタイプの選択以外のワークロードの配置を制御します。アベイラビリティーゾーンの分散、キャパシティータイプのフィルタリング (オンデマンドとスポット）、カスタムノードラベルなどのノード選択基準を nodeAffinityフィールドで指定します。このシステムは、 を使用した必須の配置制約requiredDuringSchedulingIgnoredDuringExecutionと、 を使用したオプションの設定をサポートしておりpreferredDuringSchedulingIgnoredDuringExecution、デプロイの柔軟性を維持しながら、ポッドスケジューリングの決定を完全に制御できます。