Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Mesures améliorées d'Amazon SageMaker AI pour les points de terminaison d'inférence

Les métriques améliorées fournissent des données de surveillance au niveau de l'instance et au niveau du conteneur pour les points de terminaison en temps réel Amazon AI SageMaker . Lorsque vous activez les métriques améliorées, les CloudWatch métriques Amazon peuvent inclure InstanceIdContainerId, et des AcceleratorId dimensions (la disponibilité varie en fonction de l'espace de noms) pour une visibilité granulaire par instance, par conteneur et par GPU. Des métriques améliorées sont disponibles pour les points de terminaison et les composants d'inférence à modèle unique. Multi-Container Les points de terminaison (MCE) prennent en charge les métriques améliorées au niveau de l'instance, mais pas les métriques au niveau du conteneur.

Principales caractéristiques des indicateurs améliorés :

Permettre des métriques améliorées

Pour activer les métriques améliorées, définissez EnableEnhancedMetrics True le MetricsConfigparamètre sur lorsque vous appelez l'CreateEndpointConfigAPI.

Le MetricsConfig paramètre comporte les champs suivants :

Pour activer des métriques améliorées sur un point de terminaison existant, créez une nouvelle configuration de point de terminaison avec les MetricsConfig paramètres souhaités, puis appelez UpdateEndpointavec le nouveau nom de configuration de point de terminaison. Cela déclenche un blue/green ou plusieurs déploiements progressifs. Les métriques améliorées n'apparaissent pas tant que le déploiement n'est pas terminé. Le même processus s'applique lors de la modification des MetricsConfig paramètres d'un point de terminaison déjà configuré.

Lorsque vous configurezMetricsConfig, les deux DescribeEndpointet DescribeEndpointConfigMetricsConfigrenvoyez la réponse.

Lorsque vous activez les métriques améliorées, l' SageMaker IA ajoute des dimensions supplémentaires aux métriques dans trois CloudWatch espaces de noms : /aws/sagemaker/Endpoints pour les métriques d'utilisation, pour les métriques d'invocation et AWS/SageMaker /aws/sagemaker/InferenceComponents pour les métriques d'utilisation des composants d'inférence.

Instance-level métriques d'utilisation

L'espace de /aws/sagemaker/Endpoints noms inclut les métriques d'utilisation pour tous les points de terminaison en temps réel, y compris ceux qui utilisent des composants d'inférence. Lorsque vous activez les métriques améliorées, les dimensions InstanceId et AcceleratorId (métriques GPU uniquement) deviennent disponibles aux côtés des dimensions d'espace de noms existantes. Pour une liste complète des mesures et des dimensions, voirSageMaker Mesures relatives aux terminaux de l'IA.

Lorsque vous activez les métriques améliorées, les dimensions supplémentaires suivantes sont disponibles :

Métriques d'appel au niveau de l'instance et du conteneur

L'espace de AWS/SageMaker noms inclut des métriques d'invocation. Lorsque vous activez les métriques améliorées, les dimensions InstanceId et ContainerId (composants d'inférence uniquement) deviennent disponibles aux côtés des dimensions d'espace de noms existantes. Pour une liste complète des mesures et des dimensions, voirSageMaker Métriques d'invocation des terminaux AI.

Lorsque vous activez les métriques améliorées, les dimensions supplémentaires suivantes sont disponibles :

Container-level métriques d'utilisation

L'espace de /aws/sagemaker/InferenceComponents noms inclut les métriques d'utilisation pour les points de terminaison qui utilisent des composants d'inférence. Lorsque vous activez les métriques améliorées, les dimensions InstanceIdContainerId, et AcceleratorId (métriques GPU uniquement) sont disponibles aux côtés des dimensions d'espace de noms existantes. Pour une liste complète des mesures et des dimensions, voirSageMaker Métriques des composants d'inférence de l'IA.

Lorsque vous activez les métriques améliorées, les dimensions supplémentaires suivantes sont disponibles :

Fréquence métrique configurable

Vous pouvez configurer l'intervalle auquel les métriques sont publiées CloudWatch. La fréquence par défaut est de 60 secondes.

Valeurs valides : 10, 30, 60, 120, 180, 240 ou 300 secondes.

Lorsqu'elle EnableEnhancedMetrics est définie surFalse, cette fréquence s'applique uniquement aux métriques d'utilisation ; les métriques d'invocation continuent d'être publiées à l'intervalle par défaut de 60 secondes. Lorsqu'elle est définie surTrue, cette fréquence s'applique à la fois aux métriques d'utilisation et d'invocation.

La CloudWatch tarification standard s'applique par métrique et par combinaison de dimensions unique. Les métriques améliorées augmentent le nombre de flux de métriques car chaque instance, conteneur et GPU crée des combinaisons de dimensions supplémentaires. Pour plus de détails sur les prix, consultez CloudWatch les tarifs Amazon.

Exemples de code : configuration de métriques améliorées

Les exemples suivants montrent comment créer une configuration de point de terminaison avec des métriques améliorées activées et comment vérifier la configuration.

Créez une configuration de point de terminaison avec des métriques améliorées

AWS SDK for Python (Boto3)

Exemple Créez une configuration de point de terminaison avec des métriques améliorées

import boto3

sagemaker_client = boto3.client('sagemaker')

response = sagemaker_client.create_endpoint_config(
    EndpointConfigName='my-enhanced-metrics-config',
    ProductionVariants=[
        {
            'VariantName': 'AllTraffic',
            'ModelName': 'my-model',
            'InstanceType': 'ml.m5.xlarge',
            'InitialInstanceCount': 2,
        }
    ],
    MetricsConfig={
        'EnableEnhancedMetrics': True,
        'MetricPublishFrequencyInSeconds': 60
    }
)

AWS CLI

Exemple Créez une configuration de point de terminaison avec des métriques améliorées

aws sagemaker create-endpoint-config \
    --endpoint-config-name my-enhanced-metrics-config \
    --production-variants file://production-variants.json \
    --metrics-config file://metrics-config.json

Où metrics-config.json contient :

{
    "EnableEnhancedMetrics": true,
    "MetricPublishFrequencyInSeconds": 60
}

Vérifier la configuration améliorée des métriques

AWS SDK for Python (Boto3)

Exemple Vérifier la configuration améliorée des métriques

response = sagemaker_client.describe_endpoint_config(
    EndpointConfigName='my-enhanced-metrics-config'
)
print(response['MetricsConfig'])
# {'EnableEnhancedMetrics': True, 'MetricPublishFrequencyInSeconds': 60}

response = sagemaker_client.describe_endpoint(
    EndpointName='my-endpoint'
)
print(response['MetricsConfig'])

AWS CLI

Exemple Vérifier la configuration améliorée des métriques

aws sagemaker describe-endpoint-config \
    --endpoint-config-name my-enhanced-metrics-config \
    --query 'MetricsConfig'

aws sagemaker describe-endpoint \
    --endpoint-name my-endpoint \
    --query 'MetricsConfig'