Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Imposta una configurazione del carico di lavoro per i consigli di inferenza generativa dell'intelligenza artificiale

Una configurazione del carico di lavoro definisce i modelli di traffico e i parametri di benchmark utilizzati dall' SageMaker IA per valutare il modello o l'endpoint. È necessario creare una configurazione del carico di lavoro prima di eseguire un processo di raccomandazione o un processo di benchmark. La stessa configurazione del carico di lavoro può essere riutilizzata in più job.

Puoi definire il tuo carico di lavoro in due modi:

Crea una configurazione del carico di lavoro con parametri in linea

Utilizza i parametri in linea per specificare le distribuzioni dei token quando non disponi di un set di dati rappresentativo.

Python (boto3)

import boto3
import json

client = boto3.client("sagemaker", region_name="us-west-2")

workload_spec = {
    "benchmark": {"type": "aiperf"},
    "parameters": {
        "prompt_input_tokens_mean": 550,
        "prompt_input_tokens_stddev": 150,
        "output_tokens_mean": 150,
        "output_tokens_stddev": 50,
    },
}

response = client.create_ai_workload_config(
    AIWorkloadConfigName="my-workload-config",
    AIWorkloadConfigs={
        "WorkloadSpec": {"Inline": json.dumps(workload_spec)}
    },
)
print(response["AIWorkloadConfigArn"])
        

AWS CLI

aws sagemaker create-ai-workload-config \
  --ai-workload-config-name "my-workload-config" \
  --ai-workload-configs '{"WorkloadSpec": {"Inline": "{\"benchmark\": {\"type\": \"aiperf\"}, \"parameters\": {\"prompt_input_tokens_mean\": 550, \"output_tokens_mean\": 150}}"}}' \
  --region us-west-2
        

Crea una configurazione del carico di lavoro con un set di dati

Se disponi di un set di dati rappresentativo di richieste reali, forniscilo tramite Amazon S3 utilizzando DatasetConfig il parametro con InputDataConfig un canale.

response = client.create_ai_workload_config(
    AIWorkloadConfigName="my-dataset-workload",
    DatasetConfig={
        "InputDataConfig": [
            {
                "ChannelName": "traffic",
                "DataSource": {
                    "S3DataSource": {
                        "S3Uri": "s3://DOC-EXAMPLE-BUCKET/datasets/traffic-trace/"
                    }
                }
            }
        ]
    },
    AIWorkloadConfigs={
        "WorkloadSpec": {"Inline": json.dumps(workload_spec)}
    },
)
        

Per impostazione predefinita, vengono generati prompt sintetici. Puoi anche utilizzare un set di dati pubblico o fornire un set di dati personalizzato da Amazon S3.

Configurazione del carico di lavoro per il benchmarking

Quando si crea una configurazione del carico di lavoro per il benchmarking di un endpoint esistente, è possibile specificare parametri aggiuntivi come tokenizer, concorrenza, numero di richieste e frequenza delle richieste.

workload_spec = {
    "benchmark": {"type": "aiperf"},
    "parameters": {
        "tokenizer": "TinyLlama/TinyLlama-1.1B-Chat-v1.0",
        "concurrency": 1,
        "request_count": 10,
        "streaming": True,
        "prompt_input_tokens_mean": 550,
        "prompt_input_tokens_stddev": 150,
        "output_tokens_mean": 50,
        "output_tokens_stddev": 10,
        "request_rate": 1.0,
        "benchmark_duration": 60,
    },
    "tooling": {"api_standard": "openai", "version": "0.6.0"},
}
        

Gestisci le configurazioni dei carichi di lavoro

Utilizza le seguenti operazioni per gestire le configurazioni del carico di lavoro.

# List workload configurations
response = client.list_ai_workload_configs(MaxResults=10)
for config in response["AIWorkloadConfigs"]:
    print(f"{config['AIWorkloadConfigName']} - {config['AIWorkloadConfigArn']}")

# Describe a workload configuration
response = client.describe_ai_workload_config(
    AIWorkloadConfigName="my-workload-config"
)

# Delete a workload configuration
client.delete_ai_workload_config(
    AIWorkloadConfigName="my-workload-config"
)
        

Riferimento alle specifiche del carico di lavoro

Questa sezione fornisce lo schema completo per il documento JSON con le specifiche del carico di lavoro che viene passato WorkloadSpec.Inline sul campo durante la creazione di una configurazione del carico di lavoro.

Sintassi

Di seguito è riportato un esempio rappresentativo di una specifica del carico di lavoro con parametri di uso comune. Tutti i parametri sono documentati nella tabella di riferimento riportata di seguito.

{
    "benchmark": {
        "type": "aiperf"
    },
    "parameters": {
        "prompt_input_tokens_mean": 550,
        "prompt_input_tokens_stddev": 150.0,
        "output_tokens_mean": 150,
        "output_tokens_stddev": 50.0,
        "concurrency": 10,
        "request_count": 100,
        "request_rate": 5.0,
        "benchmark_duration": 120,
        "streaming": true,
        "tokenizer": "meta-llama/Llama-3.2-1B"
    },
    "secrets": {
        "hf_token": "arn:aws:secretsmanager:us-west-2:111122223333:secret:my-hf-token-AbCdEf"
    },
    "tooling": {
        "api_standard": "openai"
    }
}
            

Chiavi per le specifiche del carico di lavoro

La specifica del carico di lavoro contiene le seguenti chiavi di primo livello. Le chiavi sconosciute vengono rifiutate.

benchmark

Mappatura obbligatoria. Identifica lo strumento di benchmarking da utilizzare.

parametri

Mappatura opzionale. Parametri di benchmark passati al motore AIPerf. I nomi di parametri sconosciuti vengono rifiutati. Tutti i parametri sono opzionali se non diversamente specificato.

Distribuzione dei token

Modellamento del traffico

Ambito generale

Riscaldamento

I parametri di riscaldamento controllano una fase di riscaldamento opzionale che precede il benchmark misurato. Questo prepara le cache del server modello e la compilazione JIT.

Set di dati

Ingressi di immagini

Parametri per il benchmarking di modelli multimodali che accettano input di immagini.

Ingressi video

Parametri per il benchmarking dei modelli multimodali che accettano ingressi video.

segreti

Mappatura opzionale. Utilizzate questa sezione per trasmettere valori sensibili (come i token di accesso Hugging Face) facendo riferimento ai segreti di Secrets Manager invece di AWS includerli come testo semplice. parameters

Ogni chiave è un nome di parametro e il valore è l'ARN del segreto in AWS Secrets Manager. All'inizio del processo, il servizio risolve il segreto e inserisce il valore nell'ambiente di riferimento.

"secrets": {
    "hf_token": "arn:aws:secretsmanager:us-west-2:111122223333:secret:my-hf-token-AbCdEf"
}
                

utensili

Mappatura opzionale. Speciifica lo standard dell'API e la versione dello strumento.