As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Implementando a observabilidade de inferência em clusters HyperPod

SageMaker HyperPod A Amazon fornece recursos abrangentes de observabilidade de inferência que permitem que cientistas de dados e engenheiros de aprendizado de máquina monitorem e otimizem seus modelos implantados. Essa solução é habilitada por meio do SageMaker HyperPod Observability e coleta automaticamente métricas de desempenho para cargas de trabalho de inferência, oferecendo monitoramento pronto para a produção por meio de painéis integrados do Prometheus e do Grafana.

Com as métricas habilitadas por padrão, a plataforma captura dados essenciais de desempenho do modelo, como latência de invocação, solicitações simultâneas, taxas de erro e métricas em nível de token, ao mesmo tempo em que fornece endpoints padrão do Prometheus para clientes que preferem implementar soluções de observabilidade personalizadas.

Este guia fornece step-by-step instruções para implementar e usar a observabilidade por inferência em seus HyperPod clusters. Você aprenderá a configurar métricas em seus arquivos YAML de implantação, acessar painéis de monitoramento com base em sua função (administrador, cientista de dados ou engenheiro de machine learning), integrar-se a soluções personalizadas de observabilidade usando endpoints do Prometheus e solucionar problemas comuns de monitoramento.

Métricas de inferência compatíveis

Métricas de invocação

Essas métricas capturam dados de solicitação e resposta de inferência do modelo, oferecendo visibilidade ilimitada, independentemente do tipo de modelo ou do framework de serviço. Quando as métricas de inferência estão habilitadas, elas são calculadas no momento da invocação e exportadas para sua infraestrutura de monitoramento.

Métricas de contêiner do modelo

Essas métricas fornecem informações sobre as operações internas dos contêineres do modelo, como processamento de tokens, gerenciamento de filas e indicadores de desempenho específicos do framework. As métricas disponíveis dependem do framework de serviço:

Dimensões métricas

Todas as métricas de inferência incluem rótulos abrangentes que permitem filtragem e análise detalhadas em suas implantações:

Configurar métricas no YAML de implantação

A Amazon SageMaker HyperPod habilita métricas de inferência por padrão para todas as implantações de modelos, fornecendo observabilidade imediata sem configuração adicional. Você pode personalizar o comportamento das métricas modificando a configuração YAML de implantação para habilitar ou desabilitar a coleta de métricas com base em seus requisitos específicos.

Implemente um modelo a partir de JumpStart

Use a seguinte configuração YAML para implantar um JuJumpStartmpStart modelo com métricas ativadas:

apiVersion: inference.sagemaker.aws.amazon.com/v1
kind: JumpStartModel
metadata:
  name:mistral-model
  namespace: ns-team-a
spec:
  model:
    modelId: "huggingface-llm-mistral-7b-instruct"
    modelVersion: "3.19.0"
  metrics:
    enabled:true # Default: true (can be set to false to disable)
  replicas: 2
  sageMakerEndpoint:
    name: "mistral-model-sm-endpoint"
  server:
    instanceType: "ml.g5.12xlarge"
    executionRole: "arn:aws:iam::123456789:role/SagemakerRole"
  tlsConfig:
    tlsCertificateOutputS3Uri: s3://hyperpod/mistral-model/certs/

Implemente modelos personalizados e ajustados do Amazon S3 ou da Amazon FSx

Configure endpoints de inferência personalizados com configurações de métricas detalhadas usando o seguinte YAML:

apiVersion: inference.sagemaker.aws.amazon.com/v1
kind: JumpStartModel
metadata:
  name:mistral-model
  namespace: ns-team-a
spec:
  model:
    modelId: "huggingface-llm-mistral-7b-instruct"
    modelVersion: "3.19.0"
  metrics:
    enabled:true # Default: true (can be set to false to disable)
  replicas: 2
  sageMakerEndpoint:
    name: "mistral-model-sm-endpoint"
  server:
    instanceType: "ml.g5.12xlarge"
    executionRole: "arn:aws:iam::123456789:role/SagemakerRole"
  tlsConfig:
    tlsCertificateOutputS3Uri: s3://hyperpod/mistral-model/certs/

Deploy a custom inference endpoint

Configure custom inference endpoints with detailed metrics settings using the following YAML:

apiVersion: inference.sagemaker.aws.amazon.com/v1
kind: InferenceEndpointConfig
metadata:
  name: inferenceendpoint-deepseeks
  namespace: ns-team-a
spec:
  modelName: deepseeks
  modelVersion: 1.0.1
  metrics:
    enabled: true # Default: true (can be set to false to disable)
    metricsScrapeIntervalSeconds: 30 # Optional: if overriding the default 15s
    modelMetricsConfig:
        port: 8000 # Optional: if overriding, it defaults to the WorkerConfig.ModelInvocationPort.ContainerPort within the InferenceEndpointConfig spec 8080
        path: "/custom-metrics" # Optional: if overriding the default "/metrics"
  endpointName: deepseek-sm-endpoint
  instanceType: ml.g5.12xlarge
  modelSourceConfig:
    modelSourceType: s3
    s3Storage:
      bucketName: model-weights
      region: us-west-2
    modelLocation: deepseek
    prefetchEnabled: true
  invocationEndpoint: invocations
  worker:
    resources:
      limits:
        nvidia.com/gpu: 1
      requests:
        nvidia.com/gpu: 1
        cpu: 25600m
        memory: 102Gi
    image: 763104351884.dkr.ecr.us-west-2.amazonaws.com/djl-inference:0.32.0-lmi14.0.0-cu124
    modelInvocationPort:
      containerPort: 8080
      name: http
    modelVolumeMount:
      name: model-weights
      mountPath: /opt/ml/model
    environmentVariables: ...
  tlsConfig:
    tlsCertificateOutputS3Uri: s3://hyperpod/inferenceendpoint-deepseeks4/certs/

Monitorar e solucionar problemas de workload de inferência por perfil

SageMaker HyperPod A Amazon fornece recursos abrangentes de observabilidade que oferecem suporte a diferentes fluxos de trabalho de usuários, desde a configuração inicial do cluster até a solução avançada de problemas de desempenho. Use a orientação a seguir com base em seu perfil e requisitos de monitoramento.

HyperPod administrador

Sua responsabilidade: habilitar a infraestrutura de observabilidade e garantir a integridade do sistema em todo o cluster.

O que você precisa saber:

O que você precisa fazer:

Essa ação única implanta automaticamente o complemento do EKS, configura operadores de observabilidade e provisiona painéis predefinidos no Grafana.

Cientista de dados

Sua responsabilidade: implantar modelos com eficiência e monitorar o desempenho básico.

O que você precisa saber:

O que você precisa fazer:

Depois que isso for concluído, você terá visibilidade imediata do desempenho do modelo sem configuração adicional, permitindo a identificação rápida de problemas de implantação ou alterações de desempenho.

Engenheiro de machine learning (MLE)

Sua responsabilidade: manter o desempenho do modelo de produção e resolver problemas complexos de desempenho.

O que você precisa saber:

Cenário hipotético: o modelo de chat de um cliente experimenta respostas lentas e intermitentes. Os usuários estão reclamando de atrasos de 5 a 10 segundos. O MLE pode alavancar a observabilidade da inferência para uma investigação sistemática do desempenho.

O que você precisa fazer:

Você pode diagnosticar sistematicamente problemas complexos de desempenho usando métricas abrangentes, implementar correções específicas e estabelecer medidas preventivas para manter um desempenho consistente do modelo de produção.

Implementar sua própria integração de observabilidade

A Amazon SageMaker HyperPod expõe métricas de inferência por meio de endpoints Prometheus padrão do setor, permitindo a integração com sua infraestrutura de observabilidade existente. Use essa abordagem quando preferir implementar soluções de monitoramento personalizadas ou integrar-se a plataformas de observabilidade de terceiros em vez de usar a pilha integrada do Grafana e Prometheus.

Acessar endpoints de métricas de inferência

O que você precisa saber:

Configuração do endpoint de métricas de inferência:

Métricas de instância disponíveis:

Acessar as métricas de contêiner do modelo

O que você precisa saber:

Para implantações de JumpStart modelos usando contêineres de inferência de geração de texto (TGI):

Para implantações de JumpStart modelos usando contêineres de inferência de modelos grandes (LMI):

Para endpoints de inferência personalizados (BYOD):

Implementar integração de observabilidade personalizada

Com uma integração de observabilidade personalizada, você é responsável pelo seguinte:

Solucionar problemas de observabilidade de inferência

O painel não mostra dados

Se o painel do Grafana estiver vazio e todos os painéis mostrarem “Sem dados”, execute as seguintes etapas para investigar:

Outros problemas comuns