Studio でモデルをデプロイする

JumpStart 基盤モデルをデプロイするには、Studio UI でモデルの詳細カードを表示します。Studio で JumpStart を開く方法については、「Studio で JumpStart を開く」を参照してください。選択したモデルの詳細ページを表示したら、Studio UI の右上隅にある [デプロイ] を選択します。その後、[SageMaker Studio でモデルをデプロイ] の手順に従います。

Amazon SageMaker JumpStart は、最適化されたデプロイも提供します。これにより、コンテンツ生成、要約、チャット形式のインタラクションなどの特定のユースケース向けに設計された事前定義されたデプロイ設定が提供されます。サポートされているモデルをデプロイする場合、ターゲットユースケースを選択し、コスト最適化、スループット最適化、レイテンシー最適化、またはバランス最適化の制約最適化を選択できます。Amazon SageMaker JumpStart は、そのシナリオのエンドポイントを自動的に設定します。これにより、P50 レイテンシー、time-to-first-token (TTFT)、スループットなどの主要なパフォーマンスメトリクスを可視化しながら、ワークロードに合わせてデプロイを調整できます。開始するには、Studio でサポートされているモデルの詳細ページを開き、デプロイを選択し、パフォーマンスパネルを使用して最適化されたデプロイを設定します。