推論最適化ジョブを作成する

最適化ジョブの作成を開始するには

1. SageMaker AI Studio で、次のいずれかのパスを使用して最適化ジョブを作成します。

   • JumpStart モデルのジョブを作成するには、次の手順を実行します。

     1. ナビゲーションメニューで、[JumpStart] を選択します。

     2. [すべてのパブリックモデル] ページで、モデルプロバイダーを選択して、最適化に対応するモデルのいずれかを選択します。

     3. モデルの詳細ページで、[最適化] を選択します。このボタンは、最適化に対応するモデルでのみ有効です。

     4. 一部の JumpStart モデルでは、[推論最適化ジョブの作成] ページで、続行する前にエンドユーザーライセンス契約 (EULA) に署名する必要があります。要求された場合、[ライセンス契約] セクションのライセンス条項を確認してください。その条項がユースケースで受け入れられる場合は、[EULA に同意し、利用規約を読みました] のチェックボックスをオンにします。

   • ファインチューニングされた JumpStart モデルのジョブを作成するには、以下を実行します。

     1. ナビゲーションペインの [ジョブ] で、[トレーニング] を選択します。

     2. [トレーニングジョブ] ページで、JumpStart モデルのファインチューニングに使用したジョブの名前を選択します。これらのジョブのタイプは、[ジョブタイプ] 列で [JumpStart トレーニング] が指定されています。

     3. トレーニングジョブの詳細ページで、[最適化] を選択します。

   • カスタムモデルのジョブを作成するには、次の手順を実行します。

     1. ナビゲーションメニューの [ジョブ] で、[推論最適化] を選択します。

     2. [Create new job (新しいジョブを作成)] を選択します。

     3. [推論最適化ジョブの作成] ページで、[モデルを追加] を選択します。

     4. [モデルを追加] ウィンドウで、[カスタムモデル] を選択します。

     5. 以下のオプションのいずれかを選択してください。

        既存のモデルを使用する - SageMaker AI で既に作成したモデルを最適化するには、このオプションを選択します。

        既存のモデル名 - SageMaker AI モデルの名前を入力します。

        S3 から - Amazon S3 からモデルアーティファクトを提供するには、このオプションを選択します。[S3 URI] には、モデルアーティファクトを保存した Amazon S3 の場所の URI を入力します。

     6. (オプション) 出力モデル名には、ジョブが作成する最適化されたモデルのカスタム名を入力できます。名前を指定しない場合、Studio は選択内容に基づいて名前を自動的に生成します。

2. [推論最適化ジョブの作成] ページの [ジョブ名] では、SageMaker AI によって割り当てられたデフォルト名を受け入れてもかまいません。カスタムジョブ名を入力する場合は、[ジョブ名] フィールドを選択して、[ジョブ名を入力] を選択します。

最適化設定を設定するには

1. [デプロイインスタンスタイプ] で、モデルを最適化するインスタンスタイプを選択します。

   インスタンスタイプにより、選択できる最適化手法は影響を受けます。GPU ハードウェアを使用するほとんどのタイプでは、サポートされている手法は量子化と投機的デコードです。Inferentia インスタンス ml.inf2.8xlarge AWSなど、カスタムシリコンを使用するインスタンスを選択した場合、サポートされている手法はコンパイルです。これは、その特定のハードウェアタイプのモデルをコンパイルするために使用できます。

2. Studio が提供する最適化手法を 1 つ以上選択します。

   • [量子化] では、[Precision データ型]を選択します。

   • [投機デコーディング] を選択する場合は、以下のオプションの 1 つを選択します。

     • SageMaker AI ドラフトモデルを使用する – SageMaker AI に用意されているドラフトモデルを使用する場合に選択します。

       注記

       SageMaker AI ドラフトモデルを使用することにした場合は、ネットワーク分離も有効にする必要があります。Studio では、このオプションが [セキュリティ] の下にあります。

     • JumpStart ドラフトモデルを選択 – ドラフトモデルとして使用する JumpStart カタログからモデルを選択する場合に選択します。

     • 独自のドラフトモデルを選択 - 独自のドラフトモデルを使用し、その場所の S3 URI を指定する場合に選択します。

   • [高速モデルロード] を選択すると、Studio に OPTION_TENSOR_PARALLEL_DEGREE 環境変数が表示されます。[値] フィールドを使用して、テンソル並列処理の度合いを設定します。値は、[デプロイインスタンスタイプ] に対して選択したインスタンス内の GPU の数を均等に分割する必要があります。例えば、GPU 数が 8 のインスタンスを使用している場合にモデルをシャーディング (分割) するには、値 2、4、または 8 を使用します。

   • デプロイインスタンスタイプを AWSInferentia または AWSTrainium インスタンスに設定すると、Studio はサポートされているオプションの 1 つであることを示す場合があります。この場合、Studio ではこのオプションを選択します。

3. [出力] で、Amazon S3 の場所の URI を入力します。ここで、SageMaker AI は、ジョブで作成された最適化モデルのアーティファクトを保存します。

4. (オプション) IAM ロール、VPC、環境変数などの設定をよりきめ細かく制御するには、[詳細オプション] を展開します。詳細については、以下の「詳細オプション」を参照してください。

5. ジョブの設定が完了したら、[ジョブの作成] を選択します。

   Studio にジョブの詳細ページが表示され、ジョブのステータスとそのすべての設定を確認できます。

プロジェクトをセットアップするには

1. アプリケーションコードで、必要なライブラリをインポートします。以下の例では、SDK for Python (Boto3) をインポートします。また、モデルの定義と操作に使用するクラスを SageMaker AI Python SDK からインポートします。

   import boto3
   from sagemaker.serve.builder.model_builder import ModelBuilder
   from sagemaker.serve.builder.schema_builder import SchemaBuilder
   from sagemaker.session import Session
   from pathlib import Path

2. SageMaker AI セッションを初期化します。次の例では Session() クラスを使用しています。

   sagemaker_session = Session()

モデルを定義するには

1. SchemaBuilder インスタンスを作成し、入力サンプルと出力サンプルを提供します。モデルを定義するときに、このインスタンスを ModelBuilder クラスに指定します。これにより、SageMaker AI は入力と出力をシリアル化および逆シリアル化するためのマーシャリング関数を自動的に生成します。

   SchemaBuilder または ModelBuilder クラスの使用の詳細については、「ModelBuilder を使用して Amazon SageMaker AI でモデルを作成する」を参照してください。

   次の例では、SchemaBuilder クラスに入力文字列の例と出力文字列の例を提供します。

   response = "Jupiter is the largest planet in the solar system. It is the fifth planet from the sun."
   sample_input = {
       "inputs": "What is the largest planet in the solar system?",
       "parameters": {"max_new_tokens": 128, "top_p": 0.9, "temperature": 0.6},
   }
   sample_output = [{"generated_text": response}]
   schema_builder = SchemaBuilder(sample_input, sample_output)

2. モデルを SageMaker AI に定義します。次の例では、ModelBuilder インスタンスを初期化するようにパラメータを設定します。

   model_builder = ModelBuilder(
       model="jumpstart-model-id",
       schema_builder=schema_builder,
       sagemaker_session=sagemaker_session,
       role_arn=sagemaker_session.get_caller_identity_arn(),
   )

   この例では、JumpStart モデルを使用しています。jumpstart-model-id を meta-textgeneration-llama-3-70b などの JumpStart モデルの ID に置き換えます。

   注記

   投機的デコードで最適化し、SageMaker AI ドラフトを使用する場合は、ネットワーク分離を有効にする必要があります。これを有効にするには、ModelBuilder インスタンスを初期化するときに次の引数を含めます。

   enable_network_isolation=True,

   ネットワーク分離の詳細については、「ネットワークの隔離」を参照してください。

量子化で最適化するには

1. 量子化ジョブを実行するには、optimize() メソッドを使用して quantization_config 引数を設定します。次の例では、最適化コンテナの環境変数として OPTION_QUANTIZE を設定しています。

   optimized_model = model_builder.optimize(
       instance_type="instance-type",
       accept_eula=True,
       quantization_config={
           "OverrideEnvironment": {
               "OPTION_QUANTIZE": "awq",
           },
       },
       output_path="s3://output-path",
   )

   この例では、instance-type を ml.p4d.24xlarge などの ML インスタンスに置き換えます。s3://output-path を、ジョブが作成する最適化されたモデルを保存する S3 の場所へのパスに置き換えます。

   optimize() メソッドは、モデルをエンドポイントにデプロイするために使用できる Model オブジェクトを返します。

2. ジョブが完了したら、モデルをデプロイします。次の例では、deploy() メソッドを使用しています。

   predictor = optimized_model.deploy(
       instance_type="instance-type", 
       accept_eula=True,
   )

   この例では、instance-type を ml.p4d.24xlarge などの ML インスタンスに置き換えます。

   deploy() メソッドは、モデルをホストするエンドポイントに推論リクエストを送信するために使用できる予測子オブジェクトを返します。

SageMaker AI ドラフトモデルを使用して投機的デコードで最適化するには

投機的デコードでモデルを最適化する際は、SageMaker AI に用意されているドラフトモデルを使用するか、独自のモデルを使用するかを選択できます。次の例では、SageMaker AI ドラフトモデルを使用しています。

1. 投機的デコードジョブを実行するには、optimize() メソッドを使用し、speculative_decoding_config 引数を設定します。次の例では、SageMaker AI に用意されているドラフトモデルを使用するように ModelProvider キーを SAGEMAKER に設定しています。

   optimized_model = model_builder.optimize(
       instance_type="instance-type",
       accept_eula=True,
       speculative_decoding_config={
           "ModelProvider": "SAGEMAKER",
       },
   )

   この例では、instance-type を ml.p4d.24xlarge などの ML インスタンスに置き換えます。

   optimize() メソッドは、モデルをエンドポイントにデプロイするために使用できる Model オブジェクトを返します。

2. ジョブが完了したら、モデルをデプロイします。次の例では、deploy() メソッドを使用しています。

   predictor = optimized_model.deploy(accept_eula=True)

   deploy() メソッドは、モデルをホストするエンドポイントに推論リクエストを送信するために使用できる予測子オブジェクトを返します。

カスタムドラフトモデルを使用して投機的デコードで最適化するには

カスタムドラフトモデルを SageMaker AI に提供する前に、まずモデルアーティファクトを Amazon S3 にアップロードする必要があります。

次の例は、カスタムドラフトモデルを提供する 1 つの方法を示しています。この例では、Hugging Face Hub からドラフトモデルをダウンロードし、それを Amazon S3 にアップロードして、speculative_decoding_config 引数に S3 URI を提供しています。

1. Hugging Face Hub からモデルをダウンロードする場合は、huggingface_hub ライブラリをプロジェクトに追加し、snapshot_download() メソッドを使用してモデルをダウンロードします。次の例では、モデルをローカルディレクトリにダウンロードしています。

   import huggingface_hub
   
   huggingface_hub.snapshot_download(
       repo_id="model-id",
       revision="main",
       local_dir=download-dir,
       token=hf-access-token,
   )

   この例では、model-id を Hugging Face Hub のモデルの ID（例：meta-llama/Meta-Llama-3-8B）に置き換えます。download-dir をローカルディレクトリに置き換えます。hf-access-token をユーザーアクセストークンに置き換えます。アクセストークンを取得する方法については、Hugging Face ドキュメントの「User access tokens」を参照してください。

   huggingface_hub ライブラリの詳細については、Hugging Face ドキュメントの「Hub client library」を参照してください。

2. ダウンロードしたモデルを SageMaker AI で使用できるようにするには、Amazon S3 にアップロードします。次の例では、sagemaker_session オブジェクトを使用してモデルをアップロードしています。

   custom_draft_model_uri = sagemaker_session.upload_data(
       path=hf_local_download_dir.as_posix(),
       bucket=sagemaker_session.default_bucket(),
       key_prefix="prefix",
   )

   この例では、prefix を S3 のドラフトモデルを区別するのに役立つ修飾子（例: spec-dec-custom-draft-model）に置き換えます。

   upload_data() メソッドは、モデルアーティファクトの S3 URI を返します。

3. 投機的デコードジョブを実行するには、optimize() メソッドを使用し、speculative_decoding_config 引数を設定します。次の例では、ModelSource キーをカスタムドラフトモデルの S3 URI に設定しています。

   optimized_model = model_builder.optimize(
       instance_type="instance-type",
       accept_eula=True,
       speculative_decoding_config={
           "ModelSource": custom_draft_model_uri + "/",
       },
   )

   この例では、instance-type を ml.p4d.24xlarge などの ML インスタンスに置き換えます。

   optimize() メソッドは、モデルをエンドポイントにデプロイするために使用できる Model オブジェクトを返します。

4. ジョブが完了したら、モデルをデプロイします。次の例では、deploy() メソッドを使用しています。

   predictor = optimized_model.deploy(accept_eula=True)

   deploy() メソッドは、モデルをホストするエンドポイントに推論リクエストを送信するために使用できる予測子オブジェクトを返します。

コンパイルで最適化するには

1. コンパイルジョブを実行するには、optimize() メソッドを使用して compilation_config 引数を設定します。次の例では、OverrideEnvironment キーを使用して、最適化コンテナに必要な環境変数を設定しています。

   optimized_model = model_builder.optimize(
       instance_type="instance-type",
       accept_eula=True,
       compilation_config={
           "OverrideEnvironment": {
               "OPTION_TENSOR_PARALLEL_DEGREE": "24",
               "OPTION_N_POSITIONS": "8192",
               "OPTION_DTYPE": "fp16",
               "OPTION_ROLLING_BATCH": "auto",
               "OPTION_MAX_ROLLING_BATCH_SIZE": "4",
               "OPTION_NEURON_OPTIMIZE_LEVEL": "2",
           }
       },
       output_path="s3://output-path",
   )

   この例では、instance-type を高速ハードウェアを使用した ML インスタンスタイプに設定しています。たとえば、AWSInferentia による高速推論の場合、 タイプを などの Inf2 インスタンスに設定できますml.inf2.48xlarge。s3://output-path を、ジョブが作成する最適化されたモデルを保存する S3 の場所へのパスに置き換えます。

2. ジョブが完了したら、モデルをデプロイします。次の例では、deploy() メソッドを使用しています。

   predictor = optimized_model.deploy(accept_eula=True)

   deploy() メソッドは、モデルをホストするエンドポイントに推論リクエストを送信するために使用できる予測子オブジェクトを返します。

推論リクエストを使用してモデルをテストするには

• デプロイされたモデルにテスト推論リクエストを送信するには、予測子オブジェクトの predict() メソッドを使用します。次の例では、モデルを定義するために、例の SchemaBuilder クラスにも渡された sample_input 変数を渡しています。

  predictor.predict(sample_input)

  サンプル入力にはプロンプト "What is the largest planet in the solar system?" があります。次の例に示すように、predict() メソッドはモデルが生成したレスポンスを返します。

  {'generated_text': ' Jupiter is the largest planet in the solar system. It is the fifth planet from the sun. It is a gas giant with . . .'}