本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

為生成式 AI 推論建議設定工作負載組態

工作負載組態定義 SageMaker AI 在評估模型或端點時所使用的流量模式和基準參數。您在執行建議任務或基準任務之前建立工作負載組態。相同的工作負載組態可以在多個任務之間重複使用。

您可以透過兩種方式定義工作負載：

使用內嵌參數建立工作負載組態

當您沒有代表性資料集時，請使用內嵌參數來指定字符分佈。

Python (boto3)

import boto3
import json

client = boto3.client("sagemaker", region_name="us-west-2")

workload_spec = {
    "benchmark": {"type": "aiperf"},
    "parameters": {
        "prompt_input_tokens_mean": 550,
        "prompt_input_tokens_stddev": 150,
        "output_tokens_mean": 150,
        "output_tokens_stddev": 50,
    },
}

response = client.create_ai_workload_config(
    AIWorkloadConfigName="my-workload-config",
    AIWorkloadConfigs={
        "WorkloadSpec": {"Inline": json.dumps(workload_spec)}
    },
)
print(response["AIWorkloadConfigArn"])
        

AWS CLI

aws sagemaker create-ai-workload-config \
  --ai-workload-config-name "my-workload-config" \
  --ai-workload-configs '{"WorkloadSpec": {"Inline": "{\"benchmark\": {\"type\": \"aiperf\"}, \"parameters\": {\"prompt_input_tokens_mean\": 550, \"output_tokens_mean\": 150}}"}}' \
  --region us-west-2
        

使用資料集建立工作負載組態

如果您有代表性的真實請求資料集，請使用 DatasetConfig 參數搭配 InputDataConfig頻道透過 Amazon S3 提供。

response = client.create_ai_workload_config(
    AIWorkloadConfigName="my-dataset-workload",
    DatasetConfig={
        "InputDataConfig": [
            {
                "ChannelName": "traffic",
                "DataSource": {
                    "S3DataSource": {
                        "S3Uri": "s3://DOC-EXAMPLE-BUCKET/datasets/traffic-trace/"
                    }
                }
            }
        ]
    },
    AIWorkloadConfigs={
        "WorkloadSpec": {"Inline": json.dumps(workload_spec)}
    },
)
        

根據預設，會產生合成提示。您也可以使用公有資料集，或從 Amazon S3 提供自訂資料集。

用於基準化的工作負載組態

建立用於基準化現有端點的工作負載組態時，您可以指定其他參數，例如字符器、並行、請求計數和請求率。

workload_spec = {
    "benchmark": {"type": "aiperf"},
    "parameters": {
        "tokenizer": "TinyLlama/TinyLlama-1.1B-Chat-v1.0",
        "concurrency": 1,
        "request_count": 10,
        "streaming": True,
        "prompt_input_tokens_mean": 550,
        "prompt_input_tokens_stddev": 150,
        "output_tokens_mean": 50,
        "output_tokens_stddev": 10,
        "request_rate": 1.0,
        "benchmark_duration": 60,
    },
    "tooling": {"api_standard": "openai", "version": "0.6.0"},
}
        

管理工作負載組態

使用下列操作來管理您的工作負載組態。

# List workload configurations
response = client.list_ai_workload_configs(MaxResults=10)
for config in response["AIWorkloadConfigs"]:
    print(f"{config['AIWorkloadConfigName']} - {config['AIWorkloadConfigArn']}")

# Describe a workload configuration
response = client.describe_ai_workload_config(
    AIWorkloadConfigName="my-workload-config"
)

# Delete a workload configuration
client.delete_ai_workload_config(
    AIWorkloadConfigName="my-workload-config"
)
        

工作負載規格參考

本節提供您在建立工作負載組態時在 WorkloadSpec.Inline 欄位中傳遞之工作負載規格 JSON 文件的完整結構描述。

語法

以下是工作負載規格的代表性範例，其中包含常用參數。所有參數都記錄在下面的參考表中。

{
    "benchmark": {
        "type": "aiperf"
    },
    "parameters": {
        "prompt_input_tokens_mean": 550,
        "prompt_input_tokens_stddev": 150.0,
        "output_tokens_mean": 150,
        "output_tokens_stddev": 50.0,
        "concurrency": 10,
        "request_count": 100,
        "request_rate": 5.0,
        "benchmark_duration": 120,
        "streaming": true,
        "tokenizer": "meta-llama/Llama-3.2-1B"
    },
    "secrets": {
        "hf_token": "arn:aws:secretsmanager:us-west-2:111122223333:secret:my-hf-token-AbCdEf"
    },
    "tooling": {
        "api_standard": "openai"
    }
}
            

工作負載規格金鑰

工作負載規格包含下列最上層金鑰。不明金鑰遭到拒絕。

基準

必要的映射。識別要使用的基準測試工具。

parameters

選用的映射。傳遞至 AIPerf 引擎的基準參數。不明的參數名稱會遭到拒絕。除非另有說明，否則所有參數都是選用的。

字符分佈

流量成形

一般

暖機

暖機參數控制在測量基準之前執行的選用暖機階段。這會導致模型伺服器的快取和 JIT 編譯。

資料集

影像輸入

用於基準化接受影像輸入的多模態模型的參數。

視訊輸入

用於基準化接受視訊輸入的多模態模型的參數。

秘密

選用的映射。使用本節透過參考 AWS Secrets Manager 秘密來傳遞敏感值 （例如 Hugging Face 存取權杖），而不是將它們作為純文字包含在 中parameters。

每個金鑰都是參數名稱，而值是 AWS Secrets Manager 中秘密的 ARN。在任務開始時，服務會解析秘密並將值注入基準環境。

"secrets": {
    "hf_token": "arn:aws:secretsmanager:us-west-2:111122223333:secret:my-hf-token-AbCdEf"
}
                

工具

選用的映射。指定 API 標準和工具版本。