Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Configurer une configuration de charge de travail pour les recommandations d'inférence génératives de l'IA

Une configuration de charge de travail définit les modèles de trafic et les paramètres de référence utilisés par l' SageMaker IA lors de l'évaluation de votre modèle ou de votre point de terminaison. Vous créez une configuration de charge de travail avant d'exécuter une tâche de recommandation ou une tâche de référence. La même configuration de charge de travail peut être réutilisée pour plusieurs tâches.

Vous pouvez définir votre charge de travail de deux manières :

Création d'une configuration de charge de travail avec des paramètres intégrés

Utilisez des paramètres intégrés pour spécifier les distributions de jetons lorsque vous ne disposez pas d'un ensemble de données représentatif.

Python (boto3)

import boto3
import json

client = boto3.client("sagemaker", region_name="us-west-2")

workload_spec = {
    "benchmark": {"type": "aiperf"},
    "parameters": {
        "prompt_input_tokens_mean": 550,
        "prompt_input_tokens_stddev": 150,
        "output_tokens_mean": 150,
        "output_tokens_stddev": 50,
    },
}

response = client.create_ai_workload_config(
    AIWorkloadConfigName="my-workload-config",
    AIWorkloadConfigs={
        "WorkloadSpec": {"Inline": json.dumps(workload_spec)}
    },
)
print(response["AIWorkloadConfigArn"])
        

AWS INTERFACE DE LIGNE DE COMMANDE (CLI)

aws sagemaker create-ai-workload-config \
  --ai-workload-config-name "my-workload-config" \
  --ai-workload-configs '{"WorkloadSpec": {"Inline": "{\"benchmark\": {\"type\": \"aiperf\"}, \"parameters\": {\"prompt_input_tokens_mean\": 550, \"output_tokens_mean\": 150}}"}}' \
  --region us-west-2
        

Création d'une configuration de charge de travail avec un ensemble de données

Si vous disposez d'un ensemble de données représentatif de demandes réelles, fournissez-le via Amazon S3 en utilisant le DatasetConfig paramètre avec un InputDataConfig canal.

response = client.create_ai_workload_config(
    AIWorkloadConfigName="my-dataset-workload",
    DatasetConfig={
        "InputDataConfig": [
            {
                "ChannelName": "traffic",
                "DataSource": {
                    "S3DataSource": {
                        "S3Uri": "s3://DOC-EXAMPLE-BUCKET/datasets/traffic-trace/"
                    }
                }
            }
        ]
    },
    AIWorkloadConfigs={
        "WorkloadSpec": {"Inline": json.dumps(workload_spec)}
    },
)
        

Par défaut, des invites synthétiques sont générées. Vous pouvez également utiliser un ensemble de données public ou fournir un ensemble de données personnalisé à partir d'Amazon S3.

Configuration de la charge de travail pour l'analyse comparative

Lorsque vous créez une configuration de charge de travail pour l'analyse comparative d'un point de terminaison existant, vous pouvez spécifier des paramètres supplémentaires tels que le tokenizer, la simultanéité, le nombre de demandes et le taux de demandes.

workload_spec = {
    "benchmark": {"type": "aiperf"},
    "parameters": {
        "tokenizer": "TinyLlama/TinyLlama-1.1B-Chat-v1.0",
        "concurrency": 1,
        "request_count": 10,
        "streaming": True,
        "prompt_input_tokens_mean": 550,
        "prompt_input_tokens_stddev": 150,
        "output_tokens_mean": 50,
        "output_tokens_stddev": 10,
        "request_rate": 1.0,
        "benchmark_duration": 60,
    },
    "tooling": {"api_standard": "openai", "version": "0.6.0"},
}
        

Gérer les configurations de charge de travail

Utilisez les opérations suivantes pour gérer les configurations de votre charge de travail.

# List workload configurations
response = client.list_ai_workload_configs(MaxResults=10)
for config in response["AIWorkloadConfigs"]:
    print(f"{config['AIWorkloadConfigName']} - {config['AIWorkloadConfigArn']}")

# Describe a workload configuration
response = client.describe_ai_workload_config(
    AIWorkloadConfigName="my-workload-config"
)

# Delete a workload configuration
client.delete_ai_workload_config(
    AIWorkloadConfigName="my-workload-config"
)
        

Référence de spécification de charge de travail

Cette section fournit le schéma complet du document JSON de spécification de charge de travail que vous transmettez WorkloadSpec.Inline sur le terrain lors de la création d'une configuration de charge de travail.

Syntaxe

Voici un exemple représentatif d'une spécification de charge de travail avec des paramètres couramment utilisés. Tous les paramètres sont documentés dans le tableau de référence ci-dessous.

{
    "benchmark": {
        "type": "aiperf"
    },
    "parameters": {
        "prompt_input_tokens_mean": 550,
        "prompt_input_tokens_stddev": 150.0,
        "output_tokens_mean": 150,
        "output_tokens_stddev": 50.0,
        "concurrency": 10,
        "request_count": 100,
        "request_rate": 5.0,
        "benchmark_duration": 120,
        "streaming": true,
        "tokenizer": "meta-llama/Llama-3.2-1B"
    },
    "secrets": {
        "hf_token": "arn:aws:secretsmanager:us-west-2:111122223333:secret:my-hf-token-AbCdEf"
    },
    "tooling": {
        "api_standard": "openai"
    }
}
            

Clés de spécification de la charge

La spécification de charge de travail contient les clés de niveau supérieur suivantes. Les clés inconnues sont rejetées.

comparaison

Mappage obligatoire. Identifie l'outil d'analyse comparative à utiliser.

parameters

Mappage facultatif. Paramètres de référence transmis au moteur AiPerf. Les noms de paramètres inconnus sont rejetés. Tous les paramètres sont facultatifs, sauf indication contraire.

Distribution de jetons

Mise en forme du trafic

Général

Échauffement

Les paramètres de préchauffage contrôlent une phase de préchauffage optionnelle qui s'exécute avant le point de référence mesuré. Cela amorce les caches du serveur de modèles et la compilation JIT.

Jeux de données

Entrées d'image

Paramètres pour l'analyse comparative des modèles multimodaux qui acceptent les entrées d'image.

Entrées vidéo

Paramètres pour l'analyse comparative des modèles multimodaux qui acceptent les entrées vidéo.

secrets

Mappage facultatif. Utilisez cette section pour transmettre des valeurs sensibles (telles que les jetons d'accès Hugging Face) en faisant AWS référence aux secrets de Secrets Manager au lieu de les inclure sous forme de texte brut. parameters

Chaque clé est un nom de paramètre, dont la valeur est l'ARN du secret dans AWS Secrets Manager. Au début de la tâche, le service résout le secret et injecte la valeur dans l'environnement de référence.

"secrets": {
    "hf_token": "arn:aws:secretsmanager:us-west-2:111122223333:secret:my-hf-token-AbCdEf"
}
                

outillage

Mappage facultatif. Spécifie la norme d'API et la version de l'outil.