Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Implémentation de l'observabilité des inférences sur les clusters HyperPod

Amazon SageMaker HyperPod fournit des fonctionnalités complètes d'observabilité des inférences qui permettent aux scientifiques des données et aux ingénieurs en apprentissage automatique de surveiller et d'optimiser leurs modèles déployés. Cette solution est activée par SageMaker HyperPod Observability et collecte automatiquement les indicateurs de performance pour les charges de travail d'inférence, fournissant ainsi une surveillance prête à la production grâce aux tableaux de bord intégrés de Prometheus et Grafana.

Lorsque les métriques sont activées par défaut, la plateforme capture les données essentielles sur les performances des modèles, notamment la latence des appels, les demandes simultanées, les taux d'erreur et les mesures au niveau des jetons, tout en fournissant des points de terminaison Prometheus standard aux clients qui préfèrent mettre en œuvre des solutions d'observabilité personnalisées.

Ce guide fournit des step-by-step instructions pour implémenter et utiliser l'observabilité par inférence sur vos HyperPod clusters. Vous apprendrez à configurer les métriques dans vos fichiers YAML de déploiement, à accéder aux tableaux de bord de surveillance en fonction de votre rôle (administrateur, data scientist ou ingénieur en apprentissage automatique), à intégrer des solutions d'observabilité personnalisées à l'aide des terminaux Prometheus et à résoudre les problèmes de surveillance courants.

Métriques d'inférence prises en charge

Métriques d'invocation

Ces métriques capturent les données de demande et de réponse d'inférence du modèle, offrant ainsi une visibilité universelle, quel que soit le type de modèle ou le cadre de service. Lorsque les métriques d'inférence sont activées, elles sont calculées au moment de l'appel et exportées vers votre infrastructure de surveillance.

Modélisez les métriques des conteneurs

Ces indicateurs fournissent des informations sur les opérations internes de vos modèles de conteneurs, notamment le traitement des jetons, la gestion des files d'attente et les indicateurs de performance spécifiques au framework. Les métriques disponibles dépendent de votre structure de service de modèles :

Dimensions métriques

Toutes les mesures d'inférence incluent des étiquettes complètes qui permettent un filtrage et une analyse détaillés de vos déploiements :

Configurer les métriques dans le YAML de déploiement

Amazon SageMaker HyperPod active les métriques d'inférence par défaut pour tous les déploiements de modèles, offrant ainsi une observabilité immédiate sans configuration supplémentaire. Vous pouvez personnaliser le comportement des métriques en modifiant la configuration YAML du déploiement pour activer ou désactiver la collecte de métriques en fonction de vos besoins spécifiques.

Déployez un modèle à partir de JumpStart

Utilisez la configuration YAML suivante pour déployer un JuJumpStartmpStart modèle avec les métriques activées :

apiVersion: inference.sagemaker.aws.amazon.com/v1alpha1
kind: JumpStartModel
metadata:
  name:mistral-model
  namespace: ns-team-a
spec:
  model:
    modelId: "huggingface-llm-mistral-7b-instruct"
    modelVersion: "3.19.0"
  metrics:
    enabled:true # Default: true (can be set to false to disable)
  replicas: 2
  sageMakerEndpoint:
    name: "mistral-model-sm-endpoint"
  server:
    instanceType: "ml.g5.12xlarge"
    executionRole: "arn:aws:iam::123456789:role/SagemakerRole"
  tlsConfig:
    tlsCertificateOutputS3Uri: s3://hyperpod/mistral-model/certs/

Déployez des modèles personnalisés et affinés depuis Amazon S3 ou Amazon FSx

Configurez des points de terminaison d'inférence personnalisés avec des paramètres de métriques détaillés à l'aide du code YAML suivant :

apiVersion: inference.sagemaker.aws.amazon.com/v1alpha1
kind: JumpStartModel
metadata:
  name:mistral-model
  namespace: ns-team-a
spec:
  model:
    modelId: "huggingface-llm-mistral-7b-instruct"
    modelVersion: "3.19.0"
  metrics:
    enabled:true # Default: true (can be set to false to disable)
  replicas: 2
  sageMakerEndpoint:
    name: "mistral-model-sm-endpoint"
  server:
    instanceType: "ml.g5.12xlarge"
    executionRole: "arn:aws:iam::123456789:role/SagemakerRole"
  tlsConfig:
    tlsCertificateOutputS3Uri: s3://hyperpod/mistral-model/certs/

Deploy a custom inference endpoint

Configure custom inference endpoints with detailed metrics settings using the following YAML:

apiVersion: inference.sagemaker.aws.amazon.com/v1alpha1
kind: InferenceEndpointConfig
metadata:
  name: inferenceendpoint-deepseeks
  namespace: ns-team-a
spec:
  modelName: deepseeks
  modelVersion: 1.0.1
  metrics:
    enabled: true # Default: true (can be set to false to disable)
    metricsScrapeIntervalSeconds: 30 # Optional: if overriding the default 15s
    modelMetricsConfig:
        port: 8000 # Optional: if overriding, it defaults to the WorkerConfig.ModelInvocationPort.ContainerPort within the InferenceEndpointConfig spec 8080
        path: "/custom-metrics" # Optional: if overriding the default "/metrics"
  endpointName: deepseek-sm-endpoint
  instanceType: ml.g5.12xlarge
  modelSourceConfig:
    modelSourceType: s3
    s3Storage:
      bucketName: model-weights
      region: us-west-2
    modelLocation: deepseek
    prefetchEnabled: true
  invocationEndpoint: invocations
  worker:
    resources:
      limits:
        nvidia.com/gpu: 1
      requests:
        nvidia.com/gpu: 1
        cpu: 25600m
        memory: 102Gi
    image: 763104351884.dkr.ecr.us-west-2.amazonaws.com/djl-inference:0.32.0-lmi14.0.0-cu124
    modelInvocationPort:
      containerPort: 8080
      name: http
    modelVolumeMount:
      name: model-weights
      mountPath: /opt/ml/model
    environmentVariables: ...
  tlsConfig:
    tlsCertificateOutputS3Uri: s3://hyperpod/inferenceendpoint-deepseeks4/certs/

Surveillez et résolvez les charges de travail d'inférence par rôle

Amazon SageMaker HyperPod fournit des fonctionnalités d'observabilité complètes qui prennent en charge différents flux de travail utilisateur, de la configuration initiale du cluster au dépannage avancé des performances. Suivez les conseils suivants en fonction de votre rôle et de vos exigences en matière de surveillance.

HyperPod administrateur

Votre responsabilité : Activez l'infrastructure d'observabilité et garantissez l'intégrité du système dans l'ensemble du cluster.

Ce que vous devez savoir :

Ce que vous devez faire :

Cette action unique déploie automatiquement le module complémentaire EKS, configure les opérateurs d'observabilité et fournit des tableaux de bord prédéfinis dans Grafana.

Scientifique des données

Votre responsabilité : déployez les modèles de manière efficace et surveillez leurs performances de base.

Ce que vous devez savoir :

Ce que vous devez faire :

Une fois cette opération terminée, vous aurez une visibilité immédiate sur les performances de votre modèle sans configuration supplémentaire, ce qui vous permettra d'identifier rapidement les problèmes de déploiement ou les modifications des performances.

Ingénieur en apprentissage automatique (MLE)

Votre responsabilité : maintenir les performances du modèle de production et résoudre les problèmes de performance complexes.

Ce que vous devez savoir :

Scénario hypothétique : le modèle de chat d'un client connaît des réponses lentes intermittentes. Les utilisateurs se plaignent de retards de 5 à 10 secondes. Le MLE peut tirer parti de l'observabilité des inférences pour une étude systématique des performances.

Ce que vous devez faire :

Vous pouvez diagnostiquer systématiquement les problèmes de performance complexes à l'aide de mesures complètes, mettre en œuvre des correctifs ciblés et établir des mesures préventives pour maintenir les performances constantes du modèle de production.

Mettez en œuvre votre propre intégration d'observabilité

Amazon SageMaker HyperPod expose les mesures d'inférence via les points de terminaison Prometheus conformes aux normes du secteur, permettant ainsi l'intégration à votre infrastructure d'observabilité existante. Utilisez cette approche lorsque vous préférez implémenter des solutions de surveillance personnalisées ou intégrer des plateformes d'observabilité tierces au lieu d'utiliser le stack intégré Grafana et Prometheus.

Accédez aux points de terminaison des métriques d'inférence

Ce que vous devez savoir :

Configuration du point de terminaison des métriques d'inférence :

Métriques d'inférence disponibles :

Accédez aux métriques du modèle de conteneur

Ce que vous devez savoir :

Pour les déploiements de JumpStart modèles utilisant des conteneurs d'inférence de génération de texte (TGI) :

Pour les déploiements de JumpStart modèles utilisant des conteneurs LMI (Large Model Inference) :

Pour les points de terminaison d'inférence personnalisés (BYOD) :

Mettre en œuvre une intégration personnalisée de l'observabilité

Avec une intégration d'observabilité personnalisée, vous êtes responsable de :

Résoudre les problèmes d'observabilité des inférences

Le tableau de bord n'affiche aucune donnée

Si le tableau de bord Grafana est vide et que tous les panneaux indiquent « Aucune donnée », effectuez les étapes suivantes pour vérifier :

Autres problèmes courants