Amazon SageMaker Studio で JumpStart 基盤モデルをデプロイします。 - Amazon SageMaker AI
前提条件HyperPod デプロイを作成するHyperPod デプロイを編集するHyperPod デプロイを削除する

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon SageMaker Studio で JumpStart 基盤モデルをデプロイします。

次の手順は、Amazon SageMaker Studio を使用して JumpStart モデルおよびソリューションにアクセスする方法を説明しています。

前提条件

Amazon SageMaker HyperPod クラスターで推論機能が設定済みであることを確認します。詳細については、「モデルデプロイ用の HyperPod クラスターの設定」を参照してください。

HyperPod デプロイを作成する

  1. Amazon SageMaker Studio で、左側のナビゲーションペインから [JumpStart] ランディングページを開きます。

  2. [すべてのパブリックモデル] で、デプロイするモデルを選択します。

    注記

    ゲートモデルを選択した場合は、エンドユーザー使用許諾契約 (EULA) に同意する必要があります。

  3. SageMaker HyperPod を選択します。

  4. [デプロイ設定] で、JumpStart はデプロイするインスタンスのレコメンデーションを提供します。このフィールドは、必要に応じて変更できます。

    1. インスタンスタイプを変更する場合は、選択した HyperPod クラスターと互換性があることを確認してください。互換性のあるインスタンスがない場合は、新しい HyperPod クラスターを選択するか、管理者に連絡して互換性のあるインスタンスをクラスターに追加してもらう必要があります。

    2. モデルのデプロイに優先順位を付けるには、タスクガバナンスアドオンをインストールし、コンピューティング割り当てを作成して、クラスターポリシーのタスクの順位付けを設定します。これが完了すると、クラスター上の他のデプロイやタスクのプリエンプションに使用できるモデルデプロイの優先度を選択するオプションが表示されます。

    3. 管理者がアクセスを許可した名前空間を入力します。正確な名前空間を取得するには、管理者に直接連絡する必要がある場合があります。有効な名前空間が提供されたら、モデルをデプロイするための[デプロイ] ボタンが有効になるはずです。

    4. インスタンスタイプがパーティション化されている場合 (MIG が有効）、GPU パーティションタイプを選択します。

    5. LLM 推論を高速化するために L2 KVCache またはインテリジェントルーティングを有効にする場合は、有効にします。デフォルトでは、L1 KV キャッシュのみが有効です。KVCache とインテリジェントルーティングの詳細については、SageMaker HyperPod モデルのデプロイ」を参照してください。

  5. [デプロイ] をクリックして、[エンドポイント] が作成されるまで待ちます。

  6. エンドポイントが作成されたら、[推論をテスト] を選択します。

HyperPod デプロイを編集する

  1. Amazon SageMaker Studio で、左側のナビゲーションペインから [コンピューティング] を選択し、[HyperPod クラスター] を選択します。

  2. [デプロイ] で、変更する HyperPod クラスターデプロイを選択します。

  3. 縦の省略記号アイコン (⋮) から [編集] を選択します。

  4. [デプロイ設定] では、[オートスケーリング] を有効または無効にし、[最大レプリカ数] の値を変更できます。

  5. [保存] を選択します。

  6. [ステータス] が [更新中] に変わります。[サービス中] に戻ったら、変更は完了し、確認メッセージが表示されます。

HyperPod デプロイを削除する

  1. Amazon SageMaker Studio で、左側のナビゲーションペインから [コンピューティング] を選択し、[HyperPod クラスター] を選択します。

  2. [デプロイ] で、変更する HyperPod クラスターデプロイを選択します。

  3. 縦の省略記号アイコン (⋮) から [削除] を選択します。

  4. [HyperPod デプロイの削除ウィンドウ] で、チェックボックスをオンにします。

  5. [削除] を選択します。

  6. [ステータス] が [削除中] に変わります。HyperPod デプロイが削除されると、確認メッセージが表示されます。