As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Defina uma configuração de carga de trabalho para recomendações generativas de inferência de IA

A configuração da carga de trabalho define os padrões de tráfego e os parâmetros de referência que a SageMaker IA usa ao avaliar seu modelo ou endpoint. Você cria uma configuração de carga de trabalho antes de executar um trabalho de recomendação ou um trabalho de benchmark. A mesma configuração de carga de trabalho pode ser reutilizada em vários trabalhos.

Você pode definir sua carga de trabalho de duas maneiras:

Crie uma configuração de carga de trabalho com parâmetros embutidos

Use parâmetros embutidos para especificar as distribuições de tokens quando você não tiver um conjunto de dados representativo.

Python (boto3)

import boto3
import json

client = boto3.client("sagemaker", region_name="us-west-2")

workload_spec = {
    "benchmark": {"type": "aiperf"},
    "parameters": {
        "prompt_input_tokens_mean": 550,
        "prompt_input_tokens_stddev": 150,
        "output_tokens_mean": 150,
        "output_tokens_stddev": 50,
    },
}

response = client.create_ai_workload_config(
    AIWorkloadConfigName="my-workload-config",
    AIWorkloadConfigs={
        "WorkloadSpec": {"Inline": json.dumps(workload_spec)}
    },
)
print(response["AIWorkloadConfigArn"])
        

AWS CLI

aws sagemaker create-ai-workload-config \
  --ai-workload-config-name "my-workload-config" \
  --ai-workload-configs '{"WorkloadSpec": {"Inline": "{\"benchmark\": {\"type\": \"aiperf\"}, \"parameters\": {\"prompt_input_tokens_mean\": 550, \"output_tokens_mean\": 150}}"}}' \
  --region us-west-2
        

Crie uma configuração de carga de trabalho com um conjunto de dados

Se você tiver um conjunto de dados representativo de solicitações reais, forneça-o por meio do Amazon S3 usando DatasetConfig o parâmetro com InputDataConfig um canal.

response = client.create_ai_workload_config(
    AIWorkloadConfigName="my-dataset-workload",
    DatasetConfig={
        "InputDataConfig": [
            {
                "ChannelName": "traffic",
                "DataSource": {
                    "S3DataSource": {
                        "S3Uri": "s3://DOC-EXAMPLE-BUCKET/datasets/traffic-trace/"
                    }
                }
            }
        ]
    },
    AIWorkloadConfigs={
        "WorkloadSpec": {"Inline": json.dumps(workload_spec)}
    },
)
        

Por padrão, solicitações sintéticas são geradas. Você também pode usar um conjunto de dados público ou fornecer um conjunto de dados personalizado do Amazon S3.

Configuração da carga de trabalho para benchmarking

Ao criar uma configuração de carga de trabalho para comparar um endpoint existente, você pode especificar parâmetros adicionais, como tokenizador, simultaneidade, contagem de solicitações e taxa de solicitações.

workload_spec = {
    "benchmark": {"type": "aiperf"},
    "parameters": {
        "tokenizer": "TinyLlama/TinyLlama-1.1B-Chat-v1.0",
        "concurrency": 1,
        "request_count": 10,
        "streaming": True,
        "prompt_input_tokens_mean": 550,
        "prompt_input_tokens_stddev": 150,
        "output_tokens_mean": 50,
        "output_tokens_stddev": 10,
        "request_rate": 1.0,
        "benchmark_duration": 60,
    },
    "tooling": {"api_standard": "openai", "version": "0.6.0"},
}
        

Gerenciar configurações de carga de trabalho

Use as operações a seguir para gerenciar suas configurações de carga de trabalho.

# List workload configurations
response = client.list_ai_workload_configs(MaxResults=10)
for config in response["AIWorkloadConfigs"]:
    print(f"{config['AIWorkloadConfigName']} - {config['AIWorkloadConfigArn']}")

# Describe a workload configuration
response = client.describe_ai_workload_config(
    AIWorkloadConfigName="my-workload-config"
)

# Delete a workload configuration
client.delete_ai_workload_config(
    AIWorkloadConfigName="my-workload-config"
)
        

Referência de especificação da carga de trabalho

Esta seção fornece o esquema completo para o documento JSON de especificação de carga de trabalho que você passa no WorkloadSpec.Inline campo ao criar uma configuração de carga de trabalho.

Sintaxe

Veja a seguir um exemplo representativo de uma especificação de carga de trabalho com parâmetros comumente usados. Todos os parâmetros estão documentados na tabela de referência abaixo.

{
    "benchmark": {
        "type": "aiperf"
    },
    "parameters": {
        "prompt_input_tokens_mean": 550,
        "prompt_input_tokens_stddev": 150.0,
        "output_tokens_mean": 150,
        "output_tokens_stddev": 50.0,
        "concurrency": 10,
        "request_count": 100,
        "request_rate": 5.0,
        "benchmark_duration": 120,
        "streaming": true,
        "tokenizer": "meta-llama/Llama-3.2-1B"
    },
    "secrets": {
        "hf_token": "arn:aws:secretsmanager:us-west-2:111122223333:secret:my-hf-token-AbCdEf"
    },
    "tooling": {
        "api_standard": "openai"
    }
}
            

Chaves de especificação da carga de trabalho

A especificação da carga de trabalho contém as seguintes chaves de nível superior. Chaves desconhecidas são rejeitadas.

referência

Mapeamento necessário. Identifica a ferramenta de benchmarking a ser usada.

parameters

Mapeamento opcional. Parâmetros de referência passados para o mecanismo AiPerf. Nomes de parâmetros desconhecidos são rejeitados. Todos os parâmetros são opcionais, salvo indicação em contrário.

Distribuição de tokens

Modelagem de tráfego

Geral

Aquecimento

Os parâmetros de aquecimento controlam uma fase de aquecimento opcional que é executada antes do benchmark medido. Isso prepara os caches do servidor de modelos e a compilação JIT.

Conjunto de dados

Entradas de imagem

Parâmetros para comparar modelos multimodais que aceitam entradas de imagem.

Entradas de vídeo

Parâmetros para comparar modelos multimodais que aceitam entradas de vídeo.

segredos

Mapeamento opcional. Use esta seção para transmitir valores confidenciais (como tokens de acesso do Hugging Face) referenciando os segredos do Secrets AWS Manager em vez de incluí-los como texto simples. parameters

Cada chave é um nome de parâmetro e o valor é o ARN do segredo no AWS Secrets Manager. No horário de início do trabalho, o serviço resolve o segredo e injeta o valor no ambiente de referência.

"secrets": {
    "hf_token": "arn:aws:secretsmanager:us-west-2:111122223333:secret:my-hf-token-AbCdEf"
}
                

ferramental

Mapeamento opcional. Especifica o padrão da API e a versão da ferramenta.