Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Implémentation de l'observabilité des inférences sur les clusters HyperPod

Amazon SageMaker HyperPod fournit des fonctionnalités complètes d'observabilité des inférences qui permettent aux scientifiques des données et aux ingénieurs en apprentissage automatique de surveiller et d'optimiser leurs modèles déployés. Cette solution est activée par SageMaker HyperPod Observability et collecte automatiquement les indicateurs de performance pour les charges de travail d'inférence, fournissant ainsi une surveillance prête à la production grâce aux tableaux de bord intégrés de Prometheus et Grafana.

Lorsque les métriques sont activées par défaut, la plateforme capture les données essentielles sur les performances des modèles, notamment la latence des invocations, les demandes simultanées, les taux d’erreur et les métriques au niveau des jetons, tout en fournissant des points de terminaison Prometheus standard aux clients qui préfèrent mettre en œuvre des solutions d’observabilité personnalisées.

Ce guide fournit des step-by-step instructions pour implémenter et utiliser l'observabilité par inférence sur vos HyperPod clusters. Vous apprendrez à configurer les métriques dans vos fichiers YAML de déploiement, à accéder aux tableaux de bord de surveillance en fonction de votre rôle (administrateur, scientifique des données ou ingénieur de machine learning), à intégrer des solutions d’observabilité personnalisées à l’aide des points de terminaison Prometheus et à résoudre les problèmes de surveillance courants.

Métriques d’inférence prises en charge

Métriques d’invocation

Ces métriques capturent les données de demande et de réponse d’inférence de modèle, offrant ainsi une visibilité universelle, quel que soit votre type de modèle ou le cadre de service. Lorsque les métriques d’inférence sont activées, elles sont calculées au moment de l’invocation et exportées vers votre infrastructure de surveillance.

Métriques des conteneurs de modèles

Ces métriques fournissent des informations sur les opérations internes de vos conteneurs de modèles, notamment le traitement des jetons, la gestion des files d’attente et les métriques de performance spécifiques au cadre. Les métriques disponibles dépendent de votre cadre de service de modèle :

Dimensions des métriques

Toutes les métriques d’inférence incluent des étiquettes complètes qui permettent un filtrage et une analyse détaillés de vos déploiements :

Configuration des métriques dans le code YAML de déploiement

Amazon SageMaker HyperPod active les métriques d'inférence par défaut pour tous les déploiements de modèles, offrant ainsi une observabilité immédiate sans configuration supplémentaire. Vous pouvez personnaliser le comportement des métriques en modifiant la configuration YAML du déploiement pour activer ou désactiver la collecte de métriques en fonction de vos besoins spécifiques.

Déployez un modèle à partir de JumpStart

Utilisez la configuration YAML suivante pour déployer un JuJumpStartmpStart modèle avec les métriques activées :

apiVersion: inference.sagemaker.aws.amazon.com/v1
kind: JumpStartModel
metadata:
  name:mistral-model
  namespace: ns-team-a
spec:
  model:
    modelId: "huggingface-llm-mistral-7b-instruct"
    modelVersion: "3.19.0"
  metrics:
    enabled:true # Default: true (can be set to false to disable)
  replicas: 2
  sageMakerEndpoint:
    name: "mistral-model-sm-endpoint"
  server:
    instanceType: "ml.g5.12xlarge"
    executionRole: "arn:aws:iam::123456789:role/SagemakerRole"
  tlsConfig:
    tlsCertificateOutputS3Uri: s3://hyperpod/mistral-model/certs/

Déployez des modèles personnalisés et affinés depuis Amazon S3 ou Amazon FSx

Configurez des points de terminaison d’inférence personnalisés avec des paramètres de métriques détaillés à l’aide du code YAML suivant :

apiVersion: inference.sagemaker.aws.amazon.com/v1
kind: JumpStartModel
metadata:
  name:mistral-model
  namespace: ns-team-a
spec:
  model:
    modelId: "huggingface-llm-mistral-7b-instruct"
    modelVersion: "3.19.0"
  metrics:
    enabled:true # Default: true (can be set to false to disable)
  replicas: 2
  sageMakerEndpoint:
    name: "mistral-model-sm-endpoint"
  server:
    instanceType: "ml.g5.12xlarge"
    executionRole: "arn:aws:iam::123456789:role/SagemakerRole"
  tlsConfig:
    tlsCertificateOutputS3Uri: s3://hyperpod/mistral-model/certs/

Deploy a custom inference endpoint

Configure custom inference endpoints with detailed metrics settings using the following YAML:

apiVersion: inference.sagemaker.aws.amazon.com/v1
kind: InferenceEndpointConfig
metadata:
  name: inferenceendpoint-deepseeks
  namespace: ns-team-a
spec:
  modelName: deepseeks
  modelVersion: 1.0.1
  metrics:
    enabled: true # Default: true (can be set to false to disable)
    metricsScrapeIntervalSeconds: 30 # Optional: if overriding the default 15s
    modelMetricsConfig:
        port: 8000 # Optional: if overriding, it defaults to the WorkerConfig.ModelInvocationPort.ContainerPort within the InferenceEndpointConfig spec 8080
        path: "/custom-metrics" # Optional: if overriding the default "/metrics"
  endpointName: deepseek-sm-endpoint
  instanceType: ml.g5.12xlarge
  modelSourceConfig:
    modelSourceType: s3
    s3Storage:
      bucketName: model-weights
      region: us-west-2
    modelLocation: deepseek
    prefetchEnabled: true
  invocationEndpoint: invocations
  worker:
    resources:
      limits:
        nvidia.com/gpu: 1
      requests:
        nvidia.com/gpu: 1
        cpu: 25600m
        memory: 102Gi
    image: 763104351884.dkr.ecr.us-west-2.amazonaws.com/djl-inference:0.32.0-lmi14.0.0-cu124
    modelInvocationPort:
      containerPort: 8080
      name: http
    modelVolumeMount:
      name: model-weights
      mountPath: /opt/ml/model
    environmentVariables: ...
  tlsConfig:
    tlsCertificateOutputS3Uri: s3://hyperpod/inferenceendpoint-deepseeks4/certs/

Surveillance et dépannage des charges de travail d’inférence par rôle

Amazon SageMaker HyperPod fournit des fonctionnalités d'observabilité complètes qui prennent en charge différents flux de travail utilisateur, de la configuration initiale du cluster au dépannage avancé des performances. Suivez les conseils suivants en fonction de votre rôle et de vos exigences en matière de surveillance.

HyperPod administrateur

Votre responsabilité : activez l’infrastructure d’observabilité et garantissez l’intégrité du système dans l’ensemble du cluster.

Ce que vous devez savoir :

Ce que vous devez faire :

Cette action unique déploie automatiquement le module complémentaire EKS, configure les opérateurs d’observabilité et provisionne des tableaux de bord prédéfinis dans Grafana.

Scientifique des données

Votre responsabilité : déployez les modèles de manière efficace et surveillez leurs performances de base.

Ce que vous devez savoir :

Ce que vous devez faire :

Une fois cette opération terminée, vous aurez une visibilité immédiate sur les performances de votre modèle sans configuration supplémentaire, ce qui vous permettra d’identifier rapidement les problèmes de déploiement ou les variations des performances.

Ingénieur de machine learning (MLE)

Votre responsabilité : maintenir les performances du modèle de production et résoudre les problèmes de performance complexes.

Ce que vous devez savoir :

Scénario hypothétique : le modèle de discussion instantanée d’un client connaît des réponses lentes intermittentes. Les utilisateurs se plaignent de retards de 5 à 10 secondes. Le MLE peut tirer parti de l’observabilité d’inférence pour une étude systématique des performances.

Ce que vous devez faire :

Vous pouvez diagnostiquer systématiquement les problèmes de performance complexes à l’aide de métriques complètes, mettre en œuvre des correctifs ciblés et établir des mesures préventives pour maintenir les performances constantes du modèle de production.

Mise en œuvre votre propre intégration d’observabilité

Amazon SageMaker HyperPod expose les mesures d'inférence via les points de terminaison Prometheus conformes aux normes du secteur, permettant ainsi l'intégration à votre infrastructure d'observabilité existante. Utilisez cette approche lorsque vous préférez implémenter des solutions de surveillance personnalisées ou intégrer des plateformes d’observabilité tierces au lieu d’utiliser la pile Grafana et Prometheus intégrée.

Accès aux points de terminaison des métriques d’inférence

Ce que vous devez savoir :

Configuration des points de terminaison des métriques d’inférence :

Métriques d’inférence disponibles :

Accès aux métriques des conteneurs de modèles

Ce que vous devez savoir :

Pour les déploiements de JumpStart modèles utilisant des conteneurs d'inférence de génération de texte (TGI) :

Pour les déploiements de JumpStart modèles utilisant des conteneurs LMI (Large Model Inference) :

Pour les points de terminaison d’inférence personnalisés (BYOD) :

Mise en œuvre d’une intégration d’observabilité personnalisée

Avec une intégration d’observabilité personnalisée, vous êtes responsable des éléments suivants :

Résolution des problèmes d’observabilité d’inférence

Le tableau de bord n’affiche aucune donnée

Si le tableau de bord Grafana est vide et que tous les panneaux indiquent « Aucune donnée », effectuez les étapes suivantes pour enquêter :

Autres problèmes courants