翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

生成 AI 推論レコメンデーションのワークロード設定をセットアップする

ワークロード設定は、モデルまたはエンドポイントを評価するときに SageMaker AI が使用するトラフィックパターンとベンチマークパラメータを定義します。レコメンデーションジョブまたはベンチマークジョブを実行する前に、ワークロード設定を作成します。同じワークロード設定を複数のジョブで再利用できます。

ワークロードは、次の 2 つの方法で定義できます。

インラインパラメータを使用してワークロード設定を作成する

代表的なデータセットがない場合は、インラインパラメータを使用してトークンディストリビューションを指定します。

Python (boto3)

import boto3
import json

client = boto3.client("sagemaker", region_name="us-west-2")

workload_spec = {
    "benchmark": {"type": "aiperf"},
    "parameters": {
        "prompt_input_tokens_mean": 550,
        "prompt_input_tokens_stddev": 150,
        "output_tokens_mean": 150,
        "output_tokens_stddev": 50,
    },
}

response = client.create_ai_workload_config(
    AIWorkloadConfigName="my-workload-config",
    AIWorkloadConfigs={
        "WorkloadSpec": {"Inline": json.dumps(workload_spec)}
    },
)
print(response["AIWorkloadConfigArn"])
        

AWS CLI

aws sagemaker create-ai-workload-config \
  --ai-workload-config-name "my-workload-config" \
  --ai-workload-configs '{"WorkloadSpec": {"Inline": "{\"benchmark\": {\"type\": \"aiperf\"}, \"parameters\": {\"prompt_input_tokens_mean\": 550, \"output_tokens_mean\": 150}}"}}' \
  --region us-west-2
        

データセットを使用してワークロード設定を作成する

実際のリクエストの代表的なデータセットがある場合は、 InputDataConfigチャネルで DatasetConfigパラメータを使用して Amazon S3 経由で指定します。

response = client.create_ai_workload_config(
    AIWorkloadConfigName="my-dataset-workload",
    DatasetConfig={
        "InputDataConfig": [
            {
                "ChannelName": "traffic",
                "DataSource": {
                    "S3DataSource": {
                        "S3Uri": "s3://DOC-EXAMPLE-BUCKET/datasets/traffic-trace/"
                    }
                }
            }
        ]
    },
    AIWorkloadConfigs={
        "WorkloadSpec": {"Inline": json.dumps(workload_spec)}
    },
)
        

デフォルトでは、合成プロンプトが生成されます。パブリックデータセットを使用したり、Amazon S3 からカスタムデータセットを提供したりすることもできます。

ベンチマーク用のワークロード設定

既存のエンドポイントをベンチマークするためのワークロード設定を作成するときは、トークナイザ、同時実行数、リクエスト数、リクエストレートなどの追加のパラメータを指定できます。

workload_spec = {
    "benchmark": {"type": "aiperf"},
    "parameters": {
        "tokenizer": "TinyLlama/TinyLlama-1.1B-Chat-v1.0",
        "concurrency": 1,
        "request_count": 10,
        "streaming": True,
        "prompt_input_tokens_mean": 550,
        "prompt_input_tokens_stddev": 150,
        "output_tokens_mean": 50,
        "output_tokens_stddev": 10,
        "request_rate": 1.0,
        "benchmark_duration": 60,
    },
    "tooling": {"api_standard": "openai", "version": "0.6.0"},
}
        

ワークロード設定の管理

次のオペレーションを使用して、ワークロード設定を管理します。

# List workload configurations
response = client.list_ai_workload_configs(MaxResults=10)
for config in response["AIWorkloadConfigs"]:
    print(f"{config['AIWorkloadConfigName']} - {config['AIWorkloadConfigArn']}")

# Describe a workload configuration
response = client.describe_ai_workload_config(
    AIWorkloadConfigName="my-workload-config"
)

# Delete a workload configuration
client.delete_ai_workload_config(
    AIWorkloadConfigName="my-workload-config"
)
        

ワークロード仕様リファレンス

このセクションでは、ワークロード設定の作成時に WorkloadSpec.Inlineフィールドで渡すワークロード仕様 JSON ドキュメントの完全なスキーマを提供します。

構文

以下は、一般的に使用されるパラメータを持つワークロード仕様の代表的な例です。すべてのパラメータについては、以下の表を参照してください。

{
    "benchmark": {
        "type": "aiperf"
    },
    "parameters": {
        "prompt_input_tokens_mean": 550,
        "prompt_input_tokens_stddev": 150.0,
        "output_tokens_mean": 150,
        "output_tokens_stddev": 50.0,
        "concurrency": 10,
        "request_count": 100,
        "request_rate": 5.0,
        "benchmark_duration": 120,
        "streaming": true,
        "tokenizer": "meta-llama/Llama-3.2-1B"
    },
    "secrets": {
        "hf_token": "arn:aws:secretsmanager:us-west-2:111122223333:secret:my-hf-token-AbCdEf"
    },
    "tooling": {
        "api_standard": "openai"
    }
}
            

ワークロード仕様キー

ワークロード仕様には、次の最上位キーが含まれています。不明なキーは拒否されます。

ベンチマーク

必要なマッピング。使用するベンチマークツールを識別します。

パラメータ

オプションのマッピング。AIPerf エンジンに渡されるベンチマークパラメータ。不明なパラメータ名は拒否されます。特に明記されていない限り、すべてのパラメータはオプションです。

トークンディストリビューション

トラフィックシェーピング

全般

ウォームアップ

ウォームアップパラメータは、測定されたベンチマークの前に実行されるオプションのウォームアップフェーズを制御します。これにより、モデルサーバーのキャッシュと JIT コンパイルが準備されます。

データセット

イメージ入力

画像入力を受け入れるマルチモーダルモデルをベンチマークするためのパラメータ。

ビデオ入力

ビデオ入力を受け入れるマルチモーダルモデルをベンチマークするためのパラメータ。

シークレット

オプションのマッピング。このセクションを使用して、 AWS Secrets Manager シークレットをプレーンテキストとして に含める代わりに参照することで、機密値 (Hugging Face アクセストークンなど) を渡しますparameters。

各キーはパラメータ名で、値は AWS Secrets Manager のシークレットの ARN です。ジョブの開始時に、サービスはシークレットを解決し、ベンチマーク環境に値を挿入します。

"secrets": {
    "hf_token": "arn:aws:secretsmanager:us-west-2:111122223333:secret:my-hf-token-AbCdEf"
}
                

ツール

オプションのマッピング。API 標準とツールのバージョンを指定します。