Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Implementazione dell'osservabilità inferenziale sui cluster HyperPod

Amazon SageMaker HyperPod offre funzionalità complete di osservabilità dell'inferenza che consentono ai data scientist e agli ingegneri di machine learning di monitorare e ottimizzare i modelli distribuiti. Questa soluzione è abilitata tramite SageMaker HyperPod Observability e raccoglie automaticamente le metriche delle prestazioni per i carichi di lavoro di inferenza, offrendo un monitoraggio pronto per la produzione tramite dashboard Prometheus e Grafana integrati.

Con le metriche abilitate di default, la piattaforma acquisisce i dati essenziali sulle prestazioni del modello, tra cui latenza di chiamata, richieste simultanee, tassi di errore e metriche a livello di token, fornendo al contempo endpoint Prometheus standard per i clienti che preferiscono implementare soluzioni di osservabilità personalizzate.

Questa guida fornisce step-by-step istruzioni per implementare e utilizzare l'osservabilità inferenziale sui HyperPod cluster. Imparerai come configurare le metriche nei file YAML della tua implementazione, accedere ai dashboard di monitoraggio in base al tuo ruolo (amministratore, data scientist o ingegnere di machine learning), integrarti con soluzioni di osservabilità personalizzate che utilizzano gli endpoint Prometheus e risolvere i problemi di monitoraggio più comuni.

Metriche di inferenza supportate

Parametri di invocazione

Queste metriche acquisiscono i dati di richiesta e risposta di inferenza del modello, fornendo una visibilità universale indipendentemente dal tipo di modello o dal framework di servizio. Quando le metriche di inferenza sono abilitate, queste metriche vengono calcolate al momento della chiamata ed esportate nell'infrastruttura di monitoraggio.

Metriche del contenitore del modello

Queste metriche forniscono informazioni dettagliate sulle operazioni interne dei contenitori modello, tra cui l'elaborazione dei token, la gestione delle code e gli indicatori di performance specifici del framework. Le metriche disponibili dipendono dal framework di servizio del modello:

Dimensioni metriche

Tutte le metriche di inferenza includono etichette complete che consentono il filtraggio e l'analisi dettagliati in tutte le implementazioni:

Configura le metriche nella distribuzione YAML

Amazon SageMaker HyperPod abilita le metriche di inferenza per impostazione predefinita per tutte le implementazioni di modelli, fornendo un'osservabilità immediata senza configurazioni aggiuntive. Puoi personalizzare il comportamento dei parametri modificando la configurazione YAML di distribuzione per abilitare o disabilitare la raccolta dei parametri in base ai tuoi requisiti specifici.

Implementa un modello da JumpStart

Utilizza la seguente configurazione YAML per distribuire un JuJumpStartmpStart modello con le metriche abilitate:

apiVersion: inference.sagemaker.aws.amazon.com/v1alpha1
kind: JumpStartModel
metadata:
  name:mistral-model
  namespace: ns-team-a
spec:
  model:
    modelId: "huggingface-llm-mistral-7b-instruct"
    modelVersion: "3.19.0"
  metrics:
    enabled:true # Default: true (can be set to false to disable)
  replicas: 2
  sageMakerEndpoint:
    name: "mistral-model-sm-endpoint"
  server:
    instanceType: "ml.g5.12xlarge"
    executionRole: "arn:aws:iam::123456789:role/SagemakerRole"
  tlsConfig:
    tlsCertificateOutputS3Uri: s3://hyperpod/mistral-model/certs/

Distribuisci modelli personalizzati e ottimizzati da Amazon S3 o Amazon FSx

Configura endpoint di inferenza personalizzati con impostazioni dettagliate delle metriche utilizzando il seguente YAML:

apiVersion: inference.sagemaker.aws.amazon.com/v1alpha1
kind: JumpStartModel
metadata:
  name:mistral-model
  namespace: ns-team-a
spec:
  model:
    modelId: "huggingface-llm-mistral-7b-instruct"
    modelVersion: "3.19.0"
  metrics:
    enabled:true # Default: true (can be set to false to disable)
  replicas: 2
  sageMakerEndpoint:
    name: "mistral-model-sm-endpoint"
  server:
    instanceType: "ml.g5.12xlarge"
    executionRole: "arn:aws:iam::123456789:role/SagemakerRole"
  tlsConfig:
    tlsCertificateOutputS3Uri: s3://hyperpod/mistral-model/certs/

Deploy a custom inference endpoint

Configure custom inference endpoints with detailed metrics settings using the following YAML:

apiVersion: inference.sagemaker.aws.amazon.com/v1alpha1
kind: InferenceEndpointConfig
metadata:
  name: inferenceendpoint-deepseeks
  namespace: ns-team-a
spec:
  modelName: deepseeks
  modelVersion: 1.0.1
  metrics:
    enabled: true # Default: true (can be set to false to disable)
    metricsScrapeIntervalSeconds: 30 # Optional: if overriding the default 15s
    modelMetricsConfig:
        port: 8000 # Optional: if overriding, it defaults to the WorkerConfig.ModelInvocationPort.ContainerPort within the InferenceEndpointConfig spec 8080
        path: "/custom-metrics" # Optional: if overriding the default "/metrics"
  endpointName: deepseek-sm-endpoint
  instanceType: ml.g5.12xlarge
  modelSourceConfig:
    modelSourceType: s3
    s3Storage:
      bucketName: model-weights
      region: us-west-2
    modelLocation: deepseek
    prefetchEnabled: true
  invocationEndpoint: invocations
  worker:
    resources:
      limits:
        nvidia.com/gpu: 1
      requests:
        nvidia.com/gpu: 1
        cpu: 25600m
        memory: 102Gi
    image: 763104351884.dkr.ecr.us-west-2.amazonaws.com/djl-inference:0.32.0-lmi14.0.0-cu124
    modelInvocationPort:
      containerPort: 8080
      name: http
    modelVolumeMount:
      name: model-weights
      mountPath: /opt/ml/model
    environmentVariables: ...
  tlsConfig:
    tlsCertificateOutputS3Uri: s3://hyperpod/inferenceendpoint-deepseeks4/certs/

Monitora e risolvi i carichi di lavoro di inferenza per ruolo

Amazon SageMaker HyperPod offre funzionalità di osservabilità complete che supportano diversi flussi di lavoro degli utenti, dalla configurazione iniziale del cluster alla risoluzione avanzata dei problemi delle prestazioni. Utilizza le seguenti linee guida in base al tuo ruolo e ai requisiti di monitoraggio.

HyperPod amministratore

La tua responsabilità: abilita l'infrastruttura di osservabilità e garantisci l'integrità del sistema nell'intero cluster.

Cosa devi sapere:

Cosa devi fare:

Questa singola azione implementa automaticamente il componente aggiuntivo EKS, configura gli operatori di osservabilità e fornisce dashboard predefiniti a Grafana.

Scienziato dei dati

La tua responsabilità: implementa i modelli in modo efficiente e monitora le loro prestazioni di base.

Cosa devi sapere:

Cosa devi fare:

Al termine, avrai una visibilità immediata sulle prestazioni del modello senza configurazioni aggiuntive, consentendo una rapida identificazione dei problemi di implementazione o delle modifiche alle prestazioni.

Ingegnere dell'apprendimento automatico (MLE)

La tua responsabilità: mantenere le prestazioni del modello di produzione e risolvere problemi di prestazioni complessi.

Cosa devi sapere:

Scenario ipotetico: il modello di chat di un cliente presenta risposte lente e intermittenti. Gli utenti lamentano ritardi di 5-10 secondi. Il MLE può sfruttare l'osservabilità dell'inferenza per un'indagine sistematica delle prestazioni.

Cosa devi fare:

È possibile diagnosticare sistematicamente problemi di prestazioni complessi utilizzando metriche complete, implementare correzioni mirate e stabilire misure preventive per mantenere prestazioni costanti del modello di produzione.

Implementa la tua integrazione di osservabilità

Amazon SageMaker HyperPod espone i parametri di inferenza tramite endpoint Prometheus standard del settore, abilitando l'integrazione con l'infrastruttura di osservabilità esistente. Utilizza questo approccio quando preferisci implementare soluzioni di monitoraggio personalizzate o integrarle con piattaforme di osservabilità di terze parti invece di utilizzare lo stack Grafana e Prometheus integrato.

Accedi agli endpoint delle metriche di inferenza

Cosa devi sapere:

Configurazione degli endpoint delle metriche di inferenza:

Metriche di inferenza disponibili:

Accedi alle metriche del contenitore del modello

Cosa devi sapere:

Per le implementazioni di JumpStart modelli che utilizzano contenitori Text Generation Inference (TGI):

Per le implementazioni di JumpStart modelli che utilizzano contenitori Large Model Inference (LMI):

Per endpoint di inferenza personalizzati (BYOD):

Implementa l'integrazione personalizzata dell'osservabilità

Con un'integrazione di osservabilità personalizzata, sei responsabile di:

Risolvi i problemi di osservabilità dell'inferenza

La dashboard non mostra dati

Se la dashboard Grafana è vuota e tutti i pannelli mostrano «Nessun dato», esegui i seguenti passaggi per indagare:

Altri problemi comuni