Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Implementación de la observabilidad de inferencias en clústeres HyperPod

Amazon SageMaker HyperPod ofrece capacidades integrales de observabilidad de inferencias que permiten a los científicos de datos y a los ingenieros de aprendizaje automático monitorear y optimizar sus modelos implementados. Esta solución se habilita a través de SageMaker HyperPod Observability y recopila automáticamente métricas de rendimiento para las cargas de trabajo de inferencia, lo que ofrece una supervisión lista para la producción a través de los paneles integrados de Prometheus y Grafana.

Con las métricas habilitadas de forma predeterminada, la plataforma captura datos esenciales de rendimiento del modelo, como la latencia de invocación, las solicitudes simultáneas, las tasas de error y las métricas a nivel de token, al tiempo que proporciona puntos finales de Prometheus estándar para los clientes que prefieren implementar soluciones de observabilidad personalizadas.

Esta guía proporciona step-by-step instrucciones para implementar y usar la observabilidad de inferencias en sus HyperPod clústeres. Aprenderá a configurar las métricas en los archivos YAML de su implementación, a acceder a los paneles de supervisión en función de su función (administrador, científico de datos o ingeniero de aprendizaje automático), a integrarse con soluciones de observabilidad personalizadas mediante puntos de conexión de Prometheus y a solucionar problemas de supervisión comunes.

Métricas de inferencia compatibles

Métricas de invocación

Estas métricas capturan los datos de solicitud y respuesta de inferencia del modelo, lo que proporciona una visibilidad universal independientemente del tipo de modelo o del marco de servicio. Cuando las métricas de inferencia están habilitadas, estas métricas se calculan en el momento de la invocación y se exportan a su infraestructura de monitoreo.

Modele las métricas de los contenedores

Estas métricas proporcionan información sobre las operaciones internas de los contenedores modelo, incluidos el procesamiento de los tokens, la gestión de colas y los indicadores de rendimiento específicos del marco. Las métricas disponibles dependen del marco de servicio de modelos:

Dimensiones métricas

Todas las métricas de inferencia incluyen etiquetas completas que permiten filtrar y analizar detalladamente todas las implementaciones:

Configure las métricas en el YAML de despliegue

Amazon SageMaker HyperPod habilita las métricas de inferencia de forma predeterminada para todas las implementaciones de modelos, lo que proporciona una observabilidad inmediata sin necesidad de configuración adicional. Puede personalizar el comportamiento de las métricas modificando la configuración de YAML de la implementación para habilitar o deshabilitar la recopilación de métricas en función de sus requisitos específicos.

Implemente un modelo desde JumpStart

Usa la siguiente configuración de YAML para implementar un JuJumpStartmpStart modelo con las métricas habilitadas:

apiVersion: inference.sagemaker.aws.amazon.com/v1alpha1
kind: JumpStartModel
metadata:
  name:mistral-model
  namespace: ns-team-a
spec:
  model:
    modelId: "huggingface-llm-mistral-7b-instruct"
    modelVersion: "3.19.0"
  metrics:
    enabled:true # Default: true (can be set to false to disable)
  replicas: 2
  sageMakerEndpoint:
    name: "mistral-model-sm-endpoint"
  server:
    instanceType: "ml.g5.12xlarge"
    executionRole: "arn:aws:iam::123456789:role/SagemakerRole"
  tlsConfig:
    tlsCertificateOutputS3Uri: s3://hyperpod/mistral-model/certs/

Implemente modelos personalizados y ajustados desde Amazon S3 o Amazon FSx

Configure puntos finales de inferencia personalizados con parámetros de métricas detallados mediante el siguiente YAML:

apiVersion: inference.sagemaker.aws.amazon.com/v1alpha1
kind: JumpStartModel
metadata:
  name:mistral-model
  namespace: ns-team-a
spec:
  model:
    modelId: "huggingface-llm-mistral-7b-instruct"
    modelVersion: "3.19.0"
  metrics:
    enabled:true # Default: true (can be set to false to disable)
  replicas: 2
  sageMakerEndpoint:
    name: "mistral-model-sm-endpoint"
  server:
    instanceType: "ml.g5.12xlarge"
    executionRole: "arn:aws:iam::123456789:role/SagemakerRole"
  tlsConfig:
    tlsCertificateOutputS3Uri: s3://hyperpod/mistral-model/certs/

Deploy a custom inference endpoint

Configure custom inference endpoints with detailed metrics settings using the following YAML:

apiVersion: inference.sagemaker.aws.amazon.com/v1alpha1
kind: InferenceEndpointConfig
metadata:
  name: inferenceendpoint-deepseeks
  namespace: ns-team-a
spec:
  modelName: deepseeks
  modelVersion: 1.0.1
  metrics:
    enabled: true # Default: true (can be set to false to disable)
    metricsScrapeIntervalSeconds: 30 # Optional: if overriding the default 15s
    modelMetricsConfig:
        port: 8000 # Optional: if overriding, it defaults to the WorkerConfig.ModelInvocationPort.ContainerPort within the InferenceEndpointConfig spec 8080
        path: "/custom-metrics" # Optional: if overriding the default "/metrics"
  endpointName: deepseek-sm-endpoint
  instanceType: ml.g5.12xlarge
  modelSourceConfig:
    modelSourceType: s3
    s3Storage:
      bucketName: model-weights
      region: us-west-2
    modelLocation: deepseek
    prefetchEnabled: true
  invocationEndpoint: invocations
  worker:
    resources:
      limits:
        nvidia.com/gpu: 1
      requests:
        nvidia.com/gpu: 1
        cpu: 25600m
        memory: 102Gi
    image: 763104351884.dkr.ecr.us-west-2.amazonaws.com/djl-inference:0.32.0-lmi14.0.0-cu124
    modelInvocationPort:
      containerPort: 8080
      name: http
    modelVolumeMount:
      name: model-weights
      mountPath: /opt/ml/model
    environmentVariables: ...
  tlsConfig:
    tlsCertificateOutputS3Uri: s3://hyperpod/inferenceendpoint-deepseeks4/certs/

Supervise y solucione los problemas de las cargas de trabajo de inferencia por función

Amazon SageMaker HyperPod proporciona capacidades de observabilidad integrales que admiten diferentes flujos de trabajo de usuario, desde la configuración inicial del clúster hasta la solución avanzada de problemas de rendimiento. Utilice la siguiente guía en función de su función y sus requisitos de supervisión.

HyperPod administrador

Su responsabilidad: habilite la infraestructura de observabilidad y garantice el estado del sistema en todo el clúster.

Lo que necesita saber:

Qué debe hacer:

Esta única acción despliega automáticamente el complemento EKS, configura los operadores de observabilidad y aprovisiona paneles prediseñados en Grafana.

Científico de datos

Su responsabilidad: Implemente modelos de manera eficiente y supervise su rendimiento básico.

Lo que necesita saber:

Qué debe hacer:

Una vez completado este proceso, tendrá una visibilidad inmediata del rendimiento de su modelo sin necesidad de realizar ninguna configuración adicional, lo que le permitirá identificar rápidamente los problemas de implementación o los cambios en el rendimiento.

Ingeniero de aprendizaje automático (MLE)

Su responsabilidad: mantener el rendimiento del modelo de producción y resolver problemas de rendimiento complejos.

Lo que necesita saber:

Escenario hipotético: el modelo de chat de un cliente experimenta respuestas lentas e intermitentes. Los usuarios se quejan de retrasos de 5 a 10 segundos. El MLE puede aprovechar la observabilidad de la inferencia para una investigación sistemática del rendimiento.

Qué debe hacer:

Puede diagnosticar sistemáticamente problemas de rendimiento complejos mediante métricas integrales, implementar correcciones específicas y establecer medidas preventivas para mantener un rendimiento uniforme del modelo de producción.

Implemente su propia integración de observabilidad

Amazon SageMaker HyperPod expone las métricas de inferencia a través de puntos de enlace Prometheus estándares del sector, lo que permite la integración con su infraestructura de observabilidad existente. Utilice este enfoque cuando prefiera implementar soluciones de monitoreo personalizadas o integrarlas con plataformas de observabilidad de terceros en lugar de utilizar la pila integrada de Grafana y Prometheus.

Acceda a los puntos finales de las métricas de inferencia

Lo que necesita saber:

Configuración del punto final de las métricas de inferencia:

Métricas de inferencia disponibles:

Acceda a las métricas del contenedor del modelo

Lo que necesita saber:

Para implementaciones de JumpStart modelos que utilizan contenedores de inferencia de generación de texto (TGI):

Para despliegues de JumpStart modelos que utilizan contenedores de inferencia de modelos grandes (LMI):

Para puntos finales de inferencia personalizados (BYOD):

Implemente una integración de observabilidad personalizada

Con una integración de observabilidad personalizada, usted es responsable de:

Solucione problemas de observabilidad de inferencias

El panel de control no muestra ningún dato

Si el panel de Grafana está vacío y todos los paneles muestran «Sin datos», lleve a cabo los siguientes pasos para investigar:

Otros problemas comunes