As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Implementando a observabilidade de inferência em clusters HyperPod

SageMaker HyperPod A Amazon fornece recursos abrangentes de observabilidade de inferência que permitem que cientistas de dados e engenheiros de aprendizado de máquina monitorem e otimizem seus modelos implantados. Essa solução é habilitada por meio do SageMaker HyperPod Observability e coleta automaticamente métricas de desempenho para cargas de trabalho de inferência, oferecendo monitoramento pronto para a produção por meio de painéis integrados do Prometheus e do Grafana.

Com as métricas habilitadas por padrão, a plataforma captura dados essenciais de desempenho do modelo, incluindo latência de invocação, solicitações simultâneas, taxas de erro e métricas em nível de token, ao mesmo tempo em que fornece endpoints padrão do Prometheus para clientes que preferem implementar soluções personalizadas de observabilidade.

Este guia fornece step-by-step instruções para implementar e usar a observabilidade por inferência em seus HyperPod clusters. Você aprenderá a configurar métricas em seus arquivos YAML de implantação, acessar painéis de monitoramento com base em sua função (administrador, cientista de dados ou engenheiro de aprendizado de máquina), integrar-se a soluções personalizadas de observabilidade usando endpoints Prometheus e solucionar problemas comuns de monitoramento.

Métricas de inferência suportadas

Métricas de invocação

Essas métricas capturam dados de solicitação e resposta de inferência do modelo, fornecendo visibilidade universal, independentemente do tipo de modelo ou da estrutura de atendimento. Quando as métricas de inferência estão habilitadas, essas métricas são calculadas no momento da invocação e exportadas para sua infraestrutura de monitoramento.

Modele métricas de contêineres

Essas métricas fornecem informações sobre as operações internas de seus contêineres de modelo, incluindo processamento de tokens, gerenciamento de filas e indicadores de desempenho específicos da estrutura. As métricas disponíveis dependem da sua estrutura de fornecimento de modelos:

Dimensões métricas

Todas as métricas de inferência incluem rótulos abrangentes que permitem filtragem e análise detalhadas em suas implantações:

Configurar métricas no YAML de implantação

A Amazon SageMaker HyperPod habilita métricas de inferência por padrão para todas as implantações de modelos, fornecendo observabilidade imediata sem configuração adicional. Você pode personalizar o comportamento das métricas modificando a configuração YAML de implantação para ativar ou desativar a coleta de métricas com base em seus requisitos específicos.

Implemente um modelo a partir de JumpStart

Use a seguinte configuração YAML para implantar um JuJumpStartmpStart modelo com métricas ativadas:

apiVersion: inference.sagemaker.aws.amazon.com/v1alpha1
kind: JumpStartModel
metadata:
  name:mistral-model
  namespace: ns-team-a
spec:
  model:
    modelId: "huggingface-llm-mistral-7b-instruct"
    modelVersion: "3.19.0"
  metrics:
    enabled:true # Default: true (can be set to false to disable)
  replicas: 2
  sageMakerEndpoint:
    name: "mistral-model-sm-endpoint"
  server:
    instanceType: "ml.g5.12xlarge"
    executionRole: "arn:aws:iam::123456789:role/SagemakerRole"
  tlsConfig:
    tlsCertificateOutputS3Uri: s3://hyperpod/mistral-model/certs/

Implemente modelos personalizados e ajustados do Amazon S3 ou da Amazon FSx

Configure endpoints de inferência personalizados com configurações de métricas detalhadas usando o seguinte YAML:

apiVersion: inference.sagemaker.aws.amazon.com/v1alpha1
kind: JumpStartModel
metadata:
  name:mistral-model
  namespace: ns-team-a
spec:
  model:
    modelId: "huggingface-llm-mistral-7b-instruct"
    modelVersion: "3.19.0"
  metrics:
    enabled:true # Default: true (can be set to false to disable)
  replicas: 2
  sageMakerEndpoint:
    name: "mistral-model-sm-endpoint"
  server:
    instanceType: "ml.g5.12xlarge"
    executionRole: "arn:aws:iam::123456789:role/SagemakerRole"
  tlsConfig:
    tlsCertificateOutputS3Uri: s3://hyperpod/mistral-model/certs/

Deploy a custom inference endpoint

Configure custom inference endpoints with detailed metrics settings using the following YAML:

apiVersion: inference.sagemaker.aws.amazon.com/v1alpha1
kind: InferenceEndpointConfig
metadata:
  name: inferenceendpoint-deepseeks
  namespace: ns-team-a
spec:
  modelName: deepseeks
  modelVersion: 1.0.1
  metrics:
    enabled: true # Default: true (can be set to false to disable)
    metricsScrapeIntervalSeconds: 30 # Optional: if overriding the default 15s
    modelMetricsConfig:
        port: 8000 # Optional: if overriding, it defaults to the WorkerConfig.ModelInvocationPort.ContainerPort within the InferenceEndpointConfig spec 8080
        path: "/custom-metrics" # Optional: if overriding the default "/metrics"
  endpointName: deepseek-sm-endpoint
  instanceType: ml.g5.12xlarge
  modelSourceConfig:
    modelSourceType: s3
    s3Storage:
      bucketName: model-weights
      region: us-west-2
    modelLocation: deepseek
    prefetchEnabled: true
  invocationEndpoint: invocations
  worker:
    resources:
      limits:
        nvidia.com/gpu: 1
      requests:
        nvidia.com/gpu: 1
        cpu: 25600m
        memory: 102Gi
    image: 763104351884.dkr.ecr.us-west-2.amazonaws.com/djl-inference:0.32.0-lmi14.0.0-cu124
    modelInvocationPort:
      containerPort: 8080
      name: http
    modelVolumeMount:
      name: model-weights
      mountPath: /opt/ml/model
    environmentVariables: ...
  tlsConfig:
    tlsCertificateOutputS3Uri: s3://hyperpod/inferenceendpoint-deepseeks4/certs/

Monitore e solucione problemas de cargas de trabalho de inferência por função

SageMaker HyperPod A Amazon fornece recursos abrangentes de observabilidade que oferecem suporte a diferentes fluxos de trabalho de usuários, desde a configuração inicial do cluster até a solução avançada de problemas de desempenho. Use a orientação a seguir com base em sua função e requisitos de monitoramento.

HyperPod administrador

Sua responsabilidade: habilitar a infraestrutura de observabilidade e garantir a integridade do sistema em todo o cluster.

O que você precisa saber:

O que você precisa fazer:

Essa ação única implanta automaticamente o complemento EKS, configura operadores de observabilidade e provisiona painéis pré-construídos no Grafana.

Cientista de dados

Sua responsabilidade: implante modelos com eficiência e monitore seu desempenho básico.

O que você precisa saber:

O que você precisa fazer:

Depois que isso for concluído, você terá visibilidade imediata do desempenho do seu modelo sem configuração adicional, permitindo a identificação rápida de problemas de implantação ou alterações de desempenho.

Engenheiro de aprendizado de máquina (MLE)

Sua responsabilidade: manter o desempenho do modelo de produção e resolver problemas complexos de desempenho.

O que você precisa saber:

Cenário hipotético: o modelo de chat de um cliente experimenta respostas lentas e intermitentes. Os usuários estão reclamando de atrasos de 5 a 10 segundos. O MLE pode alavancar a observabilidade da inferência para uma investigação sistemática do desempenho.

O que você precisa fazer:

Você pode diagnosticar sistematicamente problemas complexos de desempenho usando métricas abrangentes, implementar correções específicas e estabelecer medidas preventivas para manter o desempenho consistente do modelo de produção.

Implemente sua própria integração de observabilidade

A Amazon SageMaker HyperPod expõe métricas de inferência por meio de endpoints Prometheus padrão do setor, permitindo a integração com sua infraestrutura de observabilidade existente. Use essa abordagem quando preferir implementar soluções de monitoramento personalizadas ou integrar-se a plataformas de observabilidade de terceiros em vez de usar a pilha integrada Grafana e Prometheus.

Acesse endpoints de métricas de inferência

O que você precisa saber:

Configuração do endpoint de métricas de inferência:

Métricas de inferência disponíveis:

Acesse as métricas de contêiner do modelo

O que você precisa saber:

Para implantações de JumpStart modelos usando contêineres de inferência de geração de texto (TGI):

Para implantações de JumpStart modelos usando contêineres de inferência de modelos grandes (LMI):

Para endpoints de inferência personalizados (BYOD):

Implemente a integração personalizada de observabilidade

Com uma integração personalizada de observabilidade, você é responsável por:

Solucionar problemas de observabilidade de inferência

O painel não mostra dados

Se o painel do Grafana estiver vazio e todos os painéis mostrarem “Sem dados”, execute as seguintes etapas para investigar:

Outros problemas comuns