本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

在集群上实现推理可观测性 HyperPod

Amazon SageMaker HyperPod 提供全面的推理可观测性功能，使数据科学家和机器学习工程师能够监控和优化其部署的模型。该解决方案通过 O SageMaker HyperPod bservability 启用，可自动收集推理工作负载的性能指标，通过集成的 Prometheus 和 Grafana 仪表板提供生产就绪监控。

默认启用指标后，该平台可以捕获基本的模型性能数据，包括调用延迟、并发请求、错误率和令牌级指标，同时为喜欢实施自定义可观测性解决方案的客户提供标准的 Prometheus 端点。

本指南提供了在集群上实现和使用推理可观测性的 step-by-step说明。 HyperPod 您将学习如何在部署 YAML 文件中配置指标，如何根据您的角色（管理员、数据科学家或机器学习工程师）访问监控仪表板，如何使用 Prometheus 端点与自定义可观测性解决方案集成，以及如何解决常见的监控问题。

支持的推理指标

调用指标

这些指标捕获模型推理请求和响应数据，无论您的模型类型或服务框架如何，都能提供普遍的可见性。启用推理指标后，将在调用时计算这些指标并导出到您的监控基础架构。

对容器指标进行建模

这些指标可以深入了解模型容器的内部操作，包括令牌处理、队列管理和特定于框架的性能指标。可用的指标取决于您的模型服务框架：

指标维度

所有推理指标都包含全面的标签，可以对您的部署进行详细的筛选和分析：

在部署 YAML 中配置指标

默认情况下，Amazon 为所有模型部署 SageMaker HyperPod 启用推理指标，无需额外配置即可立即提供可观察性。您可以根据自己的特定要求修改部署 YAML 配置来启用或禁用指标收集，从而自定义指标行为。

从中部署模型 JumpStart

使用以下 YAML 配置部署启用指标的 JuJumpStartmpStart 模型：

apiVersion: inference.sagemaker.aws.amazon.com/v1alpha1
kind: JumpStartModel
metadata:
  name:mistral-model
  namespace: ns-team-a
spec:
  model:
    modelId: "huggingface-llm-mistral-7b-instruct"
    modelVersion: "3.19.0"
  metrics:
    enabled:true # Default: true (can be set to false to disable)
  replicas: 2
  sageMakerEndpoint:
    name: "mistral-model-sm-endpoint"
  server:
    instanceType: "ml.g5.12xlarge"
    executionRole: "arn:aws:iam::123456789:role/SagemakerRole"
  tlsConfig:
    tlsCertificateOutputS3Uri: s3://hyperpod/mistral-model/certs/

从 Amazon S3 或亚马逊部署经过微调的自定义模型 FSx

使用以下 YAML 配置带有详细指标设置的自定义推理端点：

apiVersion: inference.sagemaker.aws.amazon.com/v1alpha1
kind: JumpStartModel
metadata:
  name:mistral-model
  namespace: ns-team-a
spec:
  model:
    modelId: "huggingface-llm-mistral-7b-instruct"
    modelVersion: "3.19.0"
  metrics:
    enabled:true # Default: true (can be set to false to disable)
  replicas: 2
  sageMakerEndpoint:
    name: "mistral-model-sm-endpoint"
  server:
    instanceType: "ml.g5.12xlarge"
    executionRole: "arn:aws:iam::123456789:role/SagemakerRole"
  tlsConfig:
    tlsCertificateOutputS3Uri: s3://hyperpod/mistral-model/certs/

Deploy a custom inference endpoint

Configure custom inference endpoints with detailed metrics settings using the following YAML:

apiVersion: inference.sagemaker.aws.amazon.com/v1alpha1
kind: InferenceEndpointConfig
metadata:
  name: inferenceendpoint-deepseeks
  namespace: ns-team-a
spec:
  modelName: deepseeks
  modelVersion: 1.0.1
  metrics:
    enabled: true # Default: true (can be set to false to disable)
    metricsScrapeIntervalSeconds: 30 # Optional: if overriding the default 15s
    modelMetricsConfig:
        port: 8000 # Optional: if overriding, it defaults to the WorkerConfig.ModelInvocationPort.ContainerPort within the InferenceEndpointConfig spec 8080
        path: "/custom-metrics" # Optional: if overriding the default "/metrics"
  endpointName: deepseek-sm-endpoint
  instanceType: ml.g5.12xlarge
  modelSourceConfig:
    modelSourceType: s3
    s3Storage:
      bucketName: model-weights
      region: us-west-2
    modelLocation: deepseek
    prefetchEnabled: true
  invocationEndpoint: invocations
  worker:
    resources:
      limits:
        nvidia.com/gpu: 1
      requests:
        nvidia.com/gpu: 1
        cpu: 25600m
        memory: 102Gi
    image: 763104351884.dkr.ecr.us-west-2.amazonaws.com/djl-inference:0.32.0-lmi14.0.0-cu124
    modelInvocationPort:
      containerPort: 8080
      name: http
    modelVolumeMount:
      name: model-weights
      mountPath: /opt/ml/model
    environmentVariables: ...
  tlsConfig:
    tlsCertificateOutputS3Uri: s3://hyperpod/inferenceendpoint-deepseeks4/certs/

按角色监控推理工作负载并对其进行故障排除

Amazon SageMaker HyperPod 提供全面的可观察性功能，支持不同的用户工作流程，从初始集群设置到高级性能故障排除。根据您的角色和监控要求使用以下指南。

HyperPod 管理员

您的责任：启用可观测性基础设施并确保整个集群的系统运行状况。

你需要知道的：

你需要做什么：

此单个操作可自动部署 EKS 插件，配置可观察性运算符，并在 Grafana 中配置预先构建的仪表板。

数据科学家

您的责任：高效部署模型并监控其基本性能。

你需要知道的：

你需要做什么：

完成此操作后，您无需进行额外配置即可立即查看模型的性能，从而可以快速识别部署问题或性能变化。

机器学习工程师 (MLE)

您的责任：维护生产模型的性能并解决复杂的性能问题。

你需要知道的：

假设情景：客户的聊天模式会出现间歇性的缓慢响应。用户抱怨延迟 5-10 秒。MLE 可以利用推理可观察性进行系统的性能调查。

你需要做什么：

您可以使用全面的指标系统地诊断复杂的性能问题，实施有针对性的修复，并制定预防措施以保持稳定的生产模型性能。

实现您自己的可观测性集成

Amazon 通过行业标准的 Prometheus 终端节点 SageMaker HyperPod 公开推理指标，从而实现与您现有的可观测性基础设施的集成。如果您更喜欢实现自定义监控解决方案或与第三方可观测性平台集成，而不是使用内置的 Grafana 和 Prometheus 堆栈，请使用这种方法。

访问推理指标端点

你需要知道的：

推理指标端点配置：

可用的推理指标：

访问模型容器指标

你需要知道的：

对于使用文本生成推理 (TGI) 容器的 JumpStart 模型部署：

对于使用大型 JumpStart 模型推理 (LMI) 容器的模型部署：

对于自定义推理终端节点 (BYOD)：

实现自定义可观测性集成

使用自定义可观测性集成，您负责：

对推理可观测性问题进行故障排除

仪表板不显示任何数据

如果 Grafana 控制面板为空且所有面板都显示 “无数据”，请执行以下步骤进行调查：

其他常见问题