Amazon SageMaker HyperPod にモデルをデプロイする

Amazon SageMaker HyperPod は、トレーニングを超えて、Kubernetes の柔軟性と AWS マネージドサービスの運用上の優秀性を組み合わせた包括的な推論プラットフォームを提供するようになりました。モデルライフサイクル全体で同じ HyperPod コンピューティングを使用して、エンタープライズグレードの信頼性で機械学習モデルをデプロイ、スケーリング、最適化します。

Amazon SageMaker HyperPod は、kubectl、Python SDK、Amazon SageMaker Studio UI、HyperPod CLI などの複数のメソッドを通じてモデルをデプロイできる柔軟なデプロイインターフェイスを提供します。このサービスは、需要に基づいて自動的に調整する動的リソース割り当てを備えた高度な自動スケーリング機能を提供します。さらに、パフォーマンスを最適化するためにtime-to-first-token、GPU 使用率などの重要なメトリクスを追跡する包括的なオブザーバビリティとモニタリング機能が含まれています。

トレーニングと推論の統合インフラストラクチャ

トレーニングワークロードと推論ワークロードの間でコンピューティングリソースをシームレスに移行することで、GPU 使用率を最大化します。これにより、運用の継続性を維持しながら総所有コストを削減できます。

エンタープライズ対応デプロイオプション

Amazon SageMaker JumpStart のオープンウェイトモデルやゲートモデル、Amazon S3 および Amazon FSx のカスタムモデルなど、複数のソースからモデルをデプロイし、単一ノードとマルチノードの両方の推論アーキテクチャをサポートします。