翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

DJL サービングを使用したモデルのデプロイ

DJL Serving は、高性能のユニバーサルスタンドアロンモデル提供ソリューションです。深層学習モデル、複数のモデル、またはワークフローをとり、HTTP エンドポイントを介して利用できるようにします。

DJL Serving 深層学習コンテナ (DLC) のいずれかを使用して、AWS 上でモデルを提供できます。サポートされているモデルタイプとフレームワークについては、「DJL Serving GitHub リポジトリ」を参照してください。

DJL Serving は、モデルを高パフォーマンスでデプロイするのに役立つ多くの特徴量を提供します。

以下のセクションでは、SageMaker AI で DJL Serving を使用してエンドポイントを設定する方法について説明します。

はじめに

開始するには、次の前提条件が整っていることを確認してください。

コンテナのカスタマイズ

ベース DLC イメージにパッケージを追加して、コンテナをカスタマイズできます。763104351884.dkr.ecr.us-west-2.amazonaws.com/djl-inference:0.22.1-deepspeed0.9.2-cu118 Docker イメージにパッケージを追加したいとします。目的のイメージをベースイメージとして Dockerfile を作成し、必要なパッケージを追加して、そのイメージを Amazon ECR にプッシュする必要があります。

パッケージを作成するには、次のステップを実行します。

これで、モデル提供に使用できるカスタマイズされたコンテナイメージがあるはずです。コンテナのカスタマイズのその他の例については、「AWS 深層学習コンテナのカスタムイメージの構築」を参照してください。

モデルのアーティファクトの準備

SageMaker AI にモデルをデプロイする前に、モデルアーティファクトを .tar.gz ファイルにパッケージ化する必要があります。DJL Serving はアーカイブ内の以下のアーティファクトを受け入れます。

以下は、model.tar.gz 構造の例です。

 - model_root_dir # root directory
    - serving.properties            
    - model.py # your custom handler file for Python, if you choose not to use the default handlers provided by DJL Serving
    - model binary files # used for Java mode, or if you don't want to use option.model_id and option.s3_url for Python mode

DJL Serving は、DJL または Python エンジンを搭載した Java エンジンをサポートします。前述のアーティファクトのすべてが必須というわけではありません。必要なアーティファクトは、選択するモードによって異なります。例えば、Python モードでは、serving.properties ファイル内で option.model_id を指定するだけでよく、LMI コンテナ内のモデルチェックポイントを指定する必要はありません。Java モードでは、モデルチェックポイントをパッケージ化する必要があります。serving.properties の設定とさまざまなエンジンの操作方法の詳細については、「DJL Serving 操作モード」を参照してください。

単一モデルのエンドポイントを使用した DJL Serving でのデプロイ

モデルアーティファクトを準備したら、モデルを SageMaker AI エンドポイントにデプロイできます。このセクションでは、DJL Serving を使用して、単一モデルを、エンドポイントにデプロイする方法について説明します。複数のモデルをデプロイする場合は、このセクションをスキップして 「マルチモデルのエンドポイントを使用して DJL Serving でデプロイする」に進んでください。

次の例は、Amazon SageMaker Python SDK を使用してモデルオブジェクトを作成する方法を示します。以下のフィールドを指定する必要があります。

import boto3
 import sagemaker
from sagemaker.model import Model
from sagemaker import image_uris, get_execution_role

aws_region = "aws-region"
sagemaker_session = sagemaker.Session(boto_session=boto3.Session(region_name=aws_region))
role = get_execution_role()

def create_model(model_name, model_s3_url):
    # Get the DJL DeepSpeed image uri
    image_uri = image_uris.retrieve(
        framework="djl-deepspeed",
        region=sagemaker_session.boto_session.region_name,
        version="0.20.0"
    )
    model = Model(
        image_uri=image_uri,
        model_data=model_s3_url,
        role=role,
        name=model_name,
        sagemaker_session=sagemaker_session,
    )
    return model

マルチモデルのエンドポイントを使用して DJL Serving でデプロイする

複数のモデルをエンドポイントにデプロイする場合、SageMaker AI はマルチモデルエンドポイントを提供しており、これは、多数のモデルをデプロイするためのスケーラブルで費用対効果の高いソリューションです。DJL Serving は、複数のモデルを同時にロードし、各モデルで同時に推論を実行することもサポートしています。DJL Serving コンテナは SageMaker AI マルチモデルエンドポイント契約に準拠しており、マルチモデルエンドポイントのデプロイに使用できます。

個々のモデルアーティファクトは、前のセクション「モデルのアーティファクトの準備」で説明したのと同じ方法でパッケージ化する必要があります。モデル固有の設定を serving.properties ファイルに、モデル固有の推論ハンドラーコードを model.py に設定できます。マルチモデルエンドポイントの場合、モデルは次のように配置する必要があります。

 root_dir
        |-- model_1.tar.gz
        |-- model_2.tar.gz
        |-- model_3.tar.gz
            .
            .
            . 

Amazon SageMaker Python SDK は、MultiDataModel オブジェクトを使用してマルチモデルエンドポイントをインスタンス化します。ルートディレクトリの Amazon S3 URI は、model_data_prefix 引数として MultiDataModel コンストラクターに渡す必要があります。

DJL Serving には、モデルのメモリ要件を管理するための複数の設定パラメータ (required_memory_mb や reserved_memory_mb など) も用意されており、serving.properties ファイルでモデルごとに設定できます。これらのパラメータは、メモリ不足エラーをより適切に処理するのに役立ちます。設定可能なすべてのパラメータについては、「djl-serving での OutofMemory 処理」を参照してください。

DJL Serving の自動スケーリング機能により、受信トラフィックに合わせてモデルが適切にスケールされることを簡単に確認できます。デフォルトでは、DJL Serving は、使用可能なハードウェア (CPU コアや GPU デバイスなど) に基づいて、サポート可能なモデルの最大ワーカー数を決定します。モデルごとに下限と上限を設定して、常にトラフィックの最小レベルを処理できるようにし、1 つのモデルが使用可能なリソースをすべて消費しないようにできます。serving.properties ファイルでは、以下のプロパティを設定できます。

DJL サービングコンテナを使用して SageMaker AI にマルチモデルエンドポイントをデプロイする方法のエンドツーエンドの例については、サンプルノートブック「Multi-model-Inference-Demo.ipynb」を参照してください。