Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Implementazione dell'osservabilità inferenziale sui cluster HyperPod

Amazon SageMaker HyperPod offre funzionalità complete di osservabilità dell'inferenza che consentono ai data scientist e agli ingegneri di machine learning di monitorare e ottimizzare i modelli distribuiti. Questa soluzione è abilitata tramite SageMaker HyperPod Observability e raccoglie automaticamente le metriche delle prestazioni per i carichi di lavoro di inferenza, offrendo un monitoraggio pronto per la produzione tramite dashboard Prometheus e Grafana integrati.

Con le metriche abilitate per impostazione predefinita, la piattaforma acquisisce i dati essenziali sulle prestazioni del modello, tra cui latenza di invocazione, richieste simultanee, tassi di errore e metriche a livello di token, fornendo al contempo endpoint Prometheus standard per i clienti che preferiscono implementare soluzioni di osservabilità personalizzate.

Questa guida fornisce step-by-step istruzioni per implementare e utilizzare l'osservabilità inferenziale sui cluster. HyperPod Scoprirai come configurare le metriche nei file YAML di implementazione, accedere alle dashboard di monitoraggio in base al tuo ruolo (amministratore, Data Scientist o ingegnere di machine learning), integrarti con soluzioni di osservabilità personalizzate che utilizzano gli endpoint Prometheus e risolvere i problemi di monitoraggio più comuni.

Metriche di inferenza supportate

Parametri di invocazione

Queste metriche acquisiscono i dati di richiesta e risposta per l’inferenza del modello, fornendo una visibilità universale indipendentemente dal tipo di modello o dal framework di servizio. Quando le metriche di inferenza sono abilitate, queste metriche vengono calcolate al momento dell’invocazione ed esportate nell’infrastruttura di monitoraggio.

Metriche del container del modello

Queste metriche forniscono informazioni approfondite sulle operazioni interne dei container del modello, tra cui l’elaborazione dei token, la gestione delle code e gli indicatori di prestazione specifici del framework. Le metriche disponibili dipendono dal framework di servizio del modello:

Dimensioni metrica

Tutte le metriche di inferenza includono etichette complete che consentono di filtrare e analizzare in dettaglio tutte le implementazioni:

Configurazione delle metriche nel file YAML di implementazione

Amazon SageMaker HyperPod abilita le metriche di inferenza per impostazione predefinita per tutte le implementazioni di modelli, fornendo un'osservabilità immediata senza configurazioni aggiuntive. Puoi personalizzare il comportamento delle metriche modificando la configurazione YAML di implementazione per abilitare o disabilitare la raccolta delle metriche in base ai tuoi requisiti specifici.

Implementa un modello da JumpStart

Utilizza la seguente configurazione YAML per distribuire un JuJumpStartmpStart modello con le metriche abilitate:

apiVersion: inference.sagemaker.aws.amazon.com/v1
kind: JumpStartModel
metadata:
  name:mistral-model
  namespace: ns-team-a
spec:
  model:
    modelId: "huggingface-llm-mistral-7b-instruct"
    modelVersion: "3.19.0"
  metrics:
    enabled:true # Default: true (can be set to false to disable)
  replicas: 2
  sageMakerEndpoint:
    name: "mistral-model-sm-endpoint"
  server:
    instanceType: "ml.g5.12xlarge"
    executionRole: "arn:aws:iam::123456789:role/SagemakerRole"
  tlsConfig:
    tlsCertificateOutputS3Uri: s3://hyperpod/mistral-model/certs/

Distribuisci modelli personalizzati e ottimizzati da Amazon S3 o Amazon FSx

Configura endpoint di inferenza personalizzati con impostazioni delle metriche dettagliate utilizzando il file YAML seguente:

apiVersion: inference.sagemaker.aws.amazon.com/v1
kind: JumpStartModel
metadata:
  name:mistral-model
  namespace: ns-team-a
spec:
  model:
    modelId: "huggingface-llm-mistral-7b-instruct"
    modelVersion: "3.19.0"
  metrics:
    enabled:true # Default: true (can be set to false to disable)
  replicas: 2
  sageMakerEndpoint:
    name: "mistral-model-sm-endpoint"
  server:
    instanceType: "ml.g5.12xlarge"
    executionRole: "arn:aws:iam::123456789:role/SagemakerRole"
  tlsConfig:
    tlsCertificateOutputS3Uri: s3://hyperpod/mistral-model/certs/

Deploy a custom inference endpoint

Configure custom inference endpoints with detailed metrics settings using the following YAML:

apiVersion: inference.sagemaker.aws.amazon.com/v1
kind: InferenceEndpointConfig
metadata:
  name: inferenceendpoint-deepseeks
  namespace: ns-team-a
spec:
  modelName: deepseeks
  modelVersion: 1.0.1
  metrics:
    enabled: true # Default: true (can be set to false to disable)
    metricsScrapeIntervalSeconds: 30 # Optional: if overriding the default 15s
    modelMetricsConfig:
        port: 8000 # Optional: if overriding, it defaults to the WorkerConfig.ModelInvocationPort.ContainerPort within the InferenceEndpointConfig spec 8080
        path: "/custom-metrics" # Optional: if overriding the default "/metrics"
  endpointName: deepseek-sm-endpoint
  instanceType: ml.g5.12xlarge
  modelSourceConfig:
    modelSourceType: s3
    s3Storage:
      bucketName: model-weights
      region: us-west-2
    modelLocation: deepseek
    prefetchEnabled: true
  invocationEndpoint: invocations
  worker:
    resources:
      limits:
        nvidia.com/gpu: 1
      requests:
        nvidia.com/gpu: 1
        cpu: 25600m
        memory: 102Gi
    image: 763104351884.dkr.ecr.us-west-2.amazonaws.com/djl-inference:0.32.0-lmi14.0.0-cu124
    modelInvocationPort:
      containerPort: 8080
      name: http
    modelVolumeMount:
      name: model-weights
      mountPath: /opt/ml/model
    environmentVariables: ...
  tlsConfig:
    tlsCertificateOutputS3Uri: s3://hyperpod/inferenceendpoint-deepseeks4/certs/

Monitoraggio e risoluzione dei problemi relativi ai carichi di lavoro di inferenza per ruolo

Amazon SageMaker HyperPod offre funzionalità di osservabilità complete che supportano diversi flussi di lavoro degli utenti, dalla configurazione iniziale del cluster alla risoluzione avanzata dei problemi delle prestazioni. Utilizza le indicazioni seguenti in base al tuo ruolo e ai requisiti di monitoraggio.

HyperPod amministratore

Responsabilità: abilita l’infrastruttura di osservabilità e garantisci l’integrità del sistema nell’intero cluster.

Cosa devi sapere:

Cosa devi fare:

Questa singola azione implementa automaticamente il componente aggiuntivo EKS, configura gli operatori di osservabilità e alloca dashboard predefinite in Grafana.

Data Scientist

Responsabilità: implementa i modelli in modo efficiente e monitora le loro prestazioni di base.

Cosa devi sapere:

Cosa devi fare:

Al termine, avrai una visibilità immediata sulle prestazioni del modello senza configurazioni aggiuntive, che ti consente di identificare rapidamente i problemi di implementazione o le modifiche alle prestazioni.

Ingegnere di machine learning engineer

Responsabilità: mantieni le prestazioni del modello di produzione e risolvi i problemi di prestazioni complessi.

Cosa devi sapere:

Scenario ipotetico: il modello di chat di un cliente dà risposte lente e intermittenti. Gli utenti lamentano ritardi di 5-10 secondi. MLE può sfruttare l’osservabilità dell’inferenza per un’indagine sistematica delle prestazioni.

Cosa devi fare:

Puoi diagnosticare sistematicamente problemi complessi relativi alle prestazioni utilizzando metriche complete, implementare correzioni mirate e stabilire misure preventive per garantire prestazioni costanti del modello di produzione.

Implementazione della tua integrazione dell’osservabilità

Amazon SageMaker HyperPod espone i parametri di inferenza tramite endpoint Prometheus standard del settore, abilitando l'integrazione con l'infrastruttura di osservabilità esistente. Utilizza questo approccio quando preferisci implementare soluzioni di monitoraggio personalizzate o integrare piattaforme di osservabilità di terze parti invece di utilizzare lo stack Grafana e Prometheus integrato.

Accesso agli endpoint delle metriche di inferenza

Cosa devi sapere:

Configurazione degli endpoint per le metriche di inferenza:

Metriche di inferenza disponibili:

Accesso alle metriche del container del modello

Cosa devi sapere:

Per JumpStart le implementazioni di modelli utilizzando contenitori Text Generation Inference (TGI):

Per le implementazioni di JumpStart modelli che utilizzano contenitori Large Model Inference (LMI):

Per gli endpoint di inferenza personalizzati (BYOD):

Implementazione dell’integrazione personalizzata dell’osservabilità

Con un’integrazione dell’osservabilità personalizzata, sei responsabile di:

Risoluzione dei problemi di osservabilità dell’inferenza

La dashboard non mostra dati

Se la dashboard Grafana è vuota e tutti i pannelli mostrano il messaggio “Nessun dato”, procedi come segue per indagare:

Altri problemi comuni