本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

在 HyperPod 叢集上實作推論可觀測性

Amazon SageMaker HyperPod 提供全面的推論可觀測性功能，可讓資料科學家和機器學習工程師監控和最佳化其部署的模型。此解決方案透過 SageMaker HyperPod 可觀測性啟用，並自動收集推論工作負載的效能指標，透過整合的 Prometheus 和 Grafana 儀表板提供生產就緒監控。

使用預設啟用的指標，平台會擷取必要的模型效能資料，包括調用延遲、並行請求、錯誤率和字符層級指標，同時為偏好實作自訂可觀測性解決方案的客戶提供標準 Prometheus 端點。

本指南提供step-by-step說明。 HyperPod 您將了解如何在部署 YAML 檔案中設定指標、根據您的角色 （管理員、資料科學家或機器學習工程師） 存取監控儀表板、使用 Prometheus 端點與自訂可觀測性解決方案整合，以及疑難排解常見的監控問題。

支援的推論指標

呼叫指標

這些指標會擷取模型推論請求和回應資料，無論您的模型類型或服務架構為何，都能提供全域可見性。啟用推論指標時，這些指標會在調用時計算，並匯出到您的監控基礎設施。

模型容器指標

這些指標可讓您深入了解模型容器的內部操作，包括權杖處理、佇列管理和架構特定的效能指標。可用的指標取決於您的模型服務架構：

指標維度

所有推論指標都包含全面的標籤，可啟用部署的詳細篩選和分析：

在部署 YAML 中設定指標

Amazon SageMaker HyperPod 預設為所有模型部署啟用推論指標，提供立即可觀測性，無需額外設定。您可以修改部署 YAML 組態來自訂指標行為，以根據您的特定需求啟用或停用指標集合。

從 JumpStart 部署模型

使用下列 YAML 組態來部署已啟用指標的 JuJumpStartmpStart 模型：

apiVersion: inference.sagemaker.aws.amazon.com/v1alpha1
kind: JumpStartModel
metadata:
  name:mistral-model
  namespace: ns-team-a
spec:
  model:
    modelId: "huggingface-llm-mistral-7b-instruct"
    modelVersion: "3.19.0"
  metrics:
    enabled:true # Default: true (can be set to false to disable)
  replicas: 2
  sageMakerEndpoint:
    name: "mistral-model-sm-endpoint"
  server:
    instanceType: "ml.g5.12xlarge"
    executionRole: "arn:aws:iam::123456789:role/SagemakerRole"
  tlsConfig:
    tlsCertificateOutputS3Uri: s3://hyperpod/mistral-model/certs/

從 Amazon S3 或 Amazon FSx 部署自訂和微調的模型

使用下列 YAML 設定具有詳細指標設定的自訂推論端點：

apiVersion: inference.sagemaker.aws.amazon.com/v1alpha1
kind: JumpStartModel
metadata:
  name:mistral-model
  namespace: ns-team-a
spec:
  model:
    modelId: "huggingface-llm-mistral-7b-instruct"
    modelVersion: "3.19.0"
  metrics:
    enabled:true # Default: true (can be set to false to disable)
  replicas: 2
  sageMakerEndpoint:
    name: "mistral-model-sm-endpoint"
  server:
    instanceType: "ml.g5.12xlarge"
    executionRole: "arn:aws:iam::123456789:role/SagemakerRole"
  tlsConfig:
    tlsCertificateOutputS3Uri: s3://hyperpod/mistral-model/certs/

Deploy a custom inference endpoint

Configure custom inference endpoints with detailed metrics settings using the following YAML:

apiVersion: inference.sagemaker.aws.amazon.com/v1alpha1
kind: InferenceEndpointConfig
metadata:
  name: inferenceendpoint-deepseeks
  namespace: ns-team-a
spec:
  modelName: deepseeks
  modelVersion: 1.0.1
  metrics:
    enabled: true # Default: true (can be set to false to disable)
    metricsScrapeIntervalSeconds: 30 # Optional: if overriding the default 15s
    modelMetricsConfig:
        port: 8000 # Optional: if overriding, it defaults to the WorkerConfig.ModelInvocationPort.ContainerPort within the InferenceEndpointConfig spec 8080
        path: "/custom-metrics" # Optional: if overriding the default "/metrics"
  endpointName: deepseek-sm-endpoint
  instanceType: ml.g5.12xlarge
  modelSourceConfig:
    modelSourceType: s3
    s3Storage:
      bucketName: model-weights
      region: us-west-2
    modelLocation: deepseek
    prefetchEnabled: true
  invocationEndpoint: invocations
  worker:
    resources:
      limits:
        nvidia.com/gpu: 1
      requests:
        nvidia.com/gpu: 1
        cpu: 25600m
        memory: 102Gi
    image: 763104351884.dkr.ecr.us-west-2.amazonaws.com/djl-inference:0.32.0-lmi14.0.0-cu124
    modelInvocationPort:
      containerPort: 8080
      name: http
    modelVolumeMount:
      name: model-weights
      mountPath: /opt/ml/model
    environmentVariables: ...
  tlsConfig:
    tlsCertificateOutputS3Uri: s3://hyperpod/inferenceendpoint-deepseeks4/certs/

依角色監控推論工作負載並進行疑難排解

Amazon SageMaker HyperPod 提供全方位的可觀測性功能，可支援從初始叢集設定到進階效能疑難排解的不同使用者工作流程。根據您的角色和監控需求，使用以下指引。

HyperPod 管理員

您的責任：啟用可觀測性基礎設施，並確保整個叢集的系統運作狀態。

您需要知道的事項：

您需要執行的動作：

此單一動作會自動部署 EKS 附加元件、設定可觀測性運算子，以及在 Grafana 中佈建預先建置的儀表板。

資料科學家

您的責任：有效率地部署模型並監控其基本效能。

您需要知道的事項：

您需要執行的動作：

完成後，您將立即了解模型的效能，而無需額外的組態，以便快速識別部署問題或效能變更。

機器學習工程師 (MLE)

您的責任：維護生產模型效能並解決複雜的效能問題。

您需要知道的事項：

假設案例：客戶的聊天模型會遇到間歇性慢速回應。使用者抱怨 5-10 秒的延遲。MLE 可以利用推論可觀測性進行系統效能調查。

您需要執行的動作：

您可以使用全方位指標有系統地診斷複雜的效能問題、實作目標性修正，並建立預防措施來維持一致的生產模型效能。

實作您自己的可觀測性整合

Amazon SageMaker HyperPod 透過業界標準的 Prometheus 端點公開推論指標，讓您與現有的可觀測性基礎設施整合。當您偏好實作自訂監控解決方案，或與第三方可觀測性平台整合，而不是使用內建的 Grafana 和 Prometheus 堆疊時，請使用此方法。

存取推論指標端點

您需要知道的事項：

推論指標端點組態：

可用的推論指標：

存取模型容器指標

您需要知道的事項：

對於使用文字產生推論 (TGI) 容器的 JumpStart 模型部署：

對於使用大型模型推論 (LMI) 容器的 JumpStart 模型部署：

對於自訂推論端點 (BYOD)：

實作自訂可觀測性整合

透過自訂可觀測性整合，您需負責：

對推論可觀測性問題進行故障診斷

儀表板未顯示任何資料

如果 Grafana 儀表板是空的，且所有面板都顯示「無資料」，請執行下列步驟來調查：

其他常見問題