本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

在集群上实现推理可观测性 HyperPod

Amazon SageMaker HyperPod 提供全面的推理可观测性功能，使数据科学家和机器学习工程师能够监控和优化其部署的模型。该解决方案通过 O SageMaker HyperPod bservability 启用，可自动收集推理工作负载的性能指标，通过集成的 Prometheus 和 Grafana 仪表板提供生产就绪监控。

利用默认启用的指标，该平台可以捕获关键模型性能数据，包括调用延迟、并发请求数、错误率和令牌级指标，同时为倾向于实施自定义可观测性解决方案的客户提供标准 Prometheus 端点。

本指南提供了在集群上实现和使用推理可观测性的 step-by-step说明。 HyperPod 您将了解如何在部署 YAML 文件中配置指标、如何基于您的角色（管理员、数据科学家或机器学习工程师）访问监控控制面板、如何使用 Prometheus 端点与自定义可观测性解决方案集成，以及如何解决常见的监控问题。

支持的推理指标

调用指标

这些指标会捕获模型推理请求与响应数据，无论您的模型类型或服务框架如何，都能提供通用的可见性。在启用推理指标后，这些指标会在调用时进行计算，并导出至您的监控基础设施中。

模型容器指标

这些指标可让您深入了解模型容器的内部操作，包括令牌处理、队列管理以及框架特定的性能指标。可用指标取决于模型服务框架：

指标维度

所有推理指标都包含完整的标签，这些标签支持在您的各个部署中进行详细的筛选和分析：

在部署 YAML 中配置指标

默认情况下，Amazon 为所有模型部署 SageMaker HyperPod 启用推理指标，无需额外配置即可立即提供可观察性。您可以根据自己的具体要求修改部署 YAML 配置来启用或禁用指标收集，从而自定义指标行为。

从中部署模型 JumpStart

使用以下 YAML 配置部署启用指标的 JuJumpStartmpStart 模型：

apiVersion: inference.sagemaker.aws.amazon.com/v1
kind: JumpStartModel
metadata:
  name:mistral-model
  namespace: ns-team-a
spec:
  model:
    modelId: "huggingface-llm-mistral-7b-instruct"
    modelVersion: "3.19.0"
  metrics:
    enabled:true # Default: true (can be set to false to disable)
  replicas: 2
  sageMakerEndpoint:
    name: "mistral-model-sm-endpoint"
  server:
    instanceType: "ml.g5.12xlarge"
    executionRole: "arn:aws:iam::123456789:role/SagemakerRole"
  tlsConfig:
    tlsCertificateOutputS3Uri: s3://hyperpod/mistral-model/certs/

从 Amazon S3 或亚马逊部署经过微调的自定义模型 FSx

使用以下 YAML 配置自定义推理端点，并设定详细的指标设置：

apiVersion: inference.sagemaker.aws.amazon.com/v1
kind: JumpStartModel
metadata:
  name:mistral-model
  namespace: ns-team-a
spec:
  model:
    modelId: "huggingface-llm-mistral-7b-instruct"
    modelVersion: "3.19.0"
  metrics:
    enabled:true # Default: true (can be set to false to disable)
  replicas: 2
  sageMakerEndpoint:
    name: "mistral-model-sm-endpoint"
  server:
    instanceType: "ml.g5.12xlarge"
    executionRole: "arn:aws:iam::123456789:role/SagemakerRole"
  tlsConfig:
    tlsCertificateOutputS3Uri: s3://hyperpod/mistral-model/certs/

Deploy a custom inference endpoint

Configure custom inference endpoints with detailed metrics settings using the following YAML:

apiVersion: inference.sagemaker.aws.amazon.com/v1
kind: InferenceEndpointConfig
metadata:
  name: inferenceendpoint-deepseeks
  namespace: ns-team-a
spec:
  modelName: deepseeks
  modelVersion: 1.0.1
  metrics:
    enabled: true # Default: true (can be set to false to disable)
    metricsScrapeIntervalSeconds: 30 # Optional: if overriding the default 15s
    modelMetricsConfig:
        port: 8000 # Optional: if overriding, it defaults to the WorkerConfig.ModelInvocationPort.ContainerPort within the InferenceEndpointConfig spec 8080
        path: "/custom-metrics" # Optional: if overriding the default "/metrics"
  endpointName: deepseek-sm-endpoint
  instanceType: ml.g5.12xlarge
  modelSourceConfig:
    modelSourceType: s3
    s3Storage:
      bucketName: model-weights
      region: us-west-2
    modelLocation: deepseek
    prefetchEnabled: true
  invocationEndpoint: invocations
  worker:
    resources:
      limits:
        nvidia.com/gpu: 1
      requests:
        nvidia.com/gpu: 1
        cpu: 25600m
        memory: 102Gi
    image: 763104351884.dkr.ecr.us-west-2.amazonaws.com/djl-inference:0.32.0-lmi14.0.0-cu124
    modelInvocationPort:
      containerPort: 8080
      name: http
    modelVolumeMount:
      name: model-weights
      mountPath: /opt/ml/model
    environmentVariables: ...
  tlsConfig:
    tlsCertificateOutputS3Uri: s3://hyperpod/inferenceendpoint-deepseeks4/certs/

按角色监控推理工作负载并进行故障排除

Amazon SageMaker HyperPod 提供全面的可观察性功能，支持不同的用户工作流程，从初始集群设置到高级性能故障排除。根据您的角色和监控要求遵循以下指南。

HyperPod 管理员

您的责任：启用可观测性基础设施，并确保整个集群的系统正常运行。

您需要了解的内容：

您需要了解的内容：

这一操作会自动部署 EKS 加载项，配置可观测性运算符，并在 Grafana 中预调配预先构建的控制面板。

数据科学家

您的责任：高效部署模型并监控其基本性能。

您需要了解的内容：

您需要了解的内容：

完成此操作后，您无需进行额外配置即可立即查看模型性能，从而快速识别部署问题或性能变化。

机器学习工程师（MLE）

您的责任：维护生产模型性能并解决复杂的性能问题。

您需要了解的内容：

假设场景：一个客户的聊天模型出现间歇性响应缓慢问题。用户反馈存在 5 到 10 秒的延迟。MLE 可利用推理可观测性功能开展系统性的性能调查。

您需要了解的内容：

您可以借助全面的指标来系统性地诊断复杂的性能问题，进行有针对性的修复，并制定预防措施以保持生产模型性能的稳定性。

实现您自己的可观测性集成

Amazon 通过行业标准的 Prometheus 终端节点 SageMaker HyperPod 公开推理指标，从而实现与您现有的可观测性基础设施的集成。如果您倾向于实现自定义监控解决方案或与第三方可观测性平台集成，而不是使用内置的 Grafana 和 Prometheus 堆栈，请使用此方法。

访问推理指标端点

您需要了解的内容：

推理指标端点配置：

可用的推理指标：

访问模型容器指标

您需要了解的内容：

对于使用文本生成推理 (TGI) 容器的 JumpStart 模型部署：

对于使用大型 JumpStart 模型推理 (LMI) 容器的模型部署：

对于自定义推理端点（BYOD）：

实现自定义可观测性集成

对于自定义可观测性集成，您负责：

排查推理可观测性问题

控制面板不显示任何数据

如果 Grafana 控制面板为空且所有面板都显示“无数据”，请执行以下步骤进行调查：

其他常见问题