기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

생성형 AI 추론 권장 사항을 위한 워크로드 구성 설정

워크로드 구성은 SageMaker AI가 모델 또는 엔드포인트를 평가할 때 사용하는 트래픽 패턴과 벤치마크 파라미터를 정의합니다. 권장 작업 또는 벤치마크 작업을 실행하기 전에 워크로드 구성을 생성합니다. 여러 작업에서 동일한 워크로드 구성을 재사용할 수 있습니다.

다음 두 가지 방법으로 워크로드를 정의할 수 있습니다.

인라인 파라미터를 사용하여 워크로드 구성 생성

대표 데이터 세트가 없는 경우 인라인 파라미터를 사용하여 토큰 배포를 지정합니다.

Python(boto3)

import boto3
import json

client = boto3.client("sagemaker", region_name="us-west-2")

workload_spec = {
    "benchmark": {"type": "aiperf"},
    "parameters": {
        "prompt_input_tokens_mean": 550,
        "prompt_input_tokens_stddev": 150,
        "output_tokens_mean": 150,
        "output_tokens_stddev": 50,
    },
}

response = client.create_ai_workload_config(
    AIWorkloadConfigName="my-workload-config",
    AIWorkloadConfigs={
        "WorkloadSpec": {"Inline": json.dumps(workload_spec)}
    },
)
print(response["AIWorkloadConfigArn"])
        

AWS CLI

aws sagemaker create-ai-workload-config \
  --ai-workload-config-name "my-workload-config" \
  --ai-workload-configs '{"WorkloadSpec": {"Inline": "{\"benchmark\": {\"type\": \"aiperf\"}, \"parameters\": {\"prompt_input_tokens_mean\": 550, \"output_tokens_mean\": 150}}"}}' \
  --region us-west-2
        

데이터 세트를 사용하여 워크로드 구성 생성

실제 요청의 대표 데이터 세트가 있는 경우 InputDataConfig 채널과 함께 DatasetConfig 파라미터를 사용하여 Amazon S3를 통해 제공합니다.

response = client.create_ai_workload_config(
    AIWorkloadConfigName="my-dataset-workload",
    DatasetConfig={
        "InputDataConfig": [
            {
                "ChannelName": "traffic",
                "DataSource": {
                    "S3DataSource": {
                        "S3Uri": "s3://DOC-EXAMPLE-BUCKET/datasets/traffic-trace/"
                    }
                }
            }
        ]
    },
    AIWorkloadConfigs={
        "WorkloadSpec": {"Inline": json.dumps(workload_spec)}
    },
)
        

기본적으로 합성 프롬프트가 생성됩니다. 퍼블릭 데이터 세트를 사용하거나 Amazon S3에서 사용자 지정 데이터 세트를 제공할 수도 있습니다.

벤치마킹을 위한 워크로드 구성

기존 엔드포인트를 벤치마킹하기 위한 워크로드 구성을 생성할 때 토큰화기, 동시성, 요청 수 및 요청 속도와 같은 추가 파라미터를 지정할 수 있습니다.

workload_spec = {
    "benchmark": {"type": "aiperf"},
    "parameters": {
        "tokenizer": "TinyLlama/TinyLlama-1.1B-Chat-v1.0",
        "concurrency": 1,
        "request_count": 10,
        "streaming": True,
        "prompt_input_tokens_mean": 550,
        "prompt_input_tokens_stddev": 150,
        "output_tokens_mean": 50,
        "output_tokens_stddev": 10,
        "request_rate": 1.0,
        "benchmark_duration": 60,
    },
    "tooling": {"api_standard": "openai", "version": "0.6.0"},
}
        

워크로드 구성 관리

다음 작업을 사용하여 워크로드 구성을 관리합니다.

# List workload configurations
response = client.list_ai_workload_configs(MaxResults=10)
for config in response["AIWorkloadConfigs"]:
    print(f"{config['AIWorkloadConfigName']} - {config['AIWorkloadConfigArn']}")

# Describe a workload configuration
response = client.describe_ai_workload_config(
    AIWorkloadConfigName="my-workload-config"
)

# Delete a workload configuration
client.delete_ai_workload_config(
    AIWorkloadConfigName="my-workload-config"
)
        

워크로드 사양 참조

이 섹션에서는 워크로드 구성을 생성할 때 WorkloadSpec.Inline 필드에 전달하는 워크로드 사양 JSON 문서의 전체 스키마를 제공합니다.

구문

다음은 일반적으로 사용되는 파라미터가 있는 워크로드 사양의 대표적인 예입니다. 모든 파라미터는 아래 참조 표에 설명되어 있습니다.

{
    "benchmark": {
        "type": "aiperf"
    },
    "parameters": {
        "prompt_input_tokens_mean": 550,
        "prompt_input_tokens_stddev": 150.0,
        "output_tokens_mean": 150,
        "output_tokens_stddev": 50.0,
        "concurrency": 10,
        "request_count": 100,
        "request_rate": 5.0,
        "benchmark_duration": 120,
        "streaming": true,
        "tokenizer": "meta-llama/Llama-3.2-1B"
    },
    "secrets": {
        "hf_token": "arn:aws:secretsmanager:us-west-2:111122223333:secret:my-hf-token-AbCdEf"
    },
    "tooling": {
        "api_standard": "openai"
    }
}
            

워크로드 사양 키

워크로드 사양에는 다음과 같은 최상위 키가 포함되어 있습니다. 알 수 없는 키는 거부됩니다.

벤치마크

필수 매핑. 사용할 벤치마킹 도구를 식별합니다.

parameters

선택적 매핑. AIPerf 엔진에 전달된 파라미터를 벤치마크합니다. 알 수 없는 파라미터 이름은 거부됩니다. 달리 명시되지 않는 한 모든 파라미터는 선택 사항입니다.

토큰 배포

트래픽 셰이핑

일반

웜 업

워밍업 파라미터는 측정된 벤치마크 전에 실행되는 선택적 워밍업 단계를 제어합니다. 그러면 모델 서버의 캐시와 JIT 컴파일이 준비됩니다.

데이터세트

이미지 입력

이미지 입력을 허용하는 멀티모달 모델을 벤치마킹하기 위한 파라미터입니다.

비디오 입력

비디오 입력을 수락하는 멀티모달 모델을 벤치마킹하기 위한 파라미터입니다.

보안 암호

선택적 매핑. 이 섹션에서는에 일반 텍스트로 포함하는 대신 AWS Secrets Manager 보안 암호를 참조하여 민감한 값(예: Hugging Face 액세스 토큰)을 전달합니다parameters.

각 키는 파라미터 이름이고 값은 AWS Secrets Manager에서 보안 암호의 ARN입니다. 작업 시작 시 서비스는 보안 암호를 확인하고 벤치마크 환경에 값을 주입합니다.

"secrets": {
    "hf_token": "arn:aws:secretsmanager:us-west-2:111122223333:secret:my-hf-token-AbCdEf"
}
                

도구

선택적 매핑. API 표준 및 도구 버전을 지정합니다.