翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

HyperPod クラスターでの推論オブザーバビリティの実装

Amazon SageMaker HyperPod は、データサイエンティストと機械学習エンジニアがデプロイされたモデルをモニタリングおよび最適化できるようにする包括的な推論オブザーバビリティ機能を提供します。このソリューションは SageMaker HyperPod Observability を通じて有効になり、推論ワークロードのパフォーマンスメトリクスを自動的に収集し、統合された Prometheus と Grafana ダッシュボードを通じて本番環境に対応したモニタリングを提供します。

メトリクスをデフォルトで有効にすると、プラットフォームは呼び出しレイテンシー、同時リクエスト、エラー率、トークンレベルのメトリクスなどの重要なモデルパフォーマンスデータをキャプチャし、カスタムオブザーバビリティソリューションの実装を希望するお客様に標準の Prometheus エンドポイントを提供します。

このガイドでは、HyperPod クラスターで推論オブザーバビリティを実装して使用するstep-by-stepについて説明します。デプロイ YAML ファイルでメトリクスを設定する方法、ロール (管理者、データサイエンティスト、または機械学習エンジニア) に基づいてモニタリングダッシュボードにアクセスする方法、Prometheus エンドポイントを使用してカスタムオブザーバビリティソリューションと統合する方法、一般的なモニタリングの問題をトラブルシューティングする方法について説明します。

サポートされている推論メトリクス

呼び出しメトリクス

これらのメトリクスは、モデル推論のリクエストとレスポンスのデータをキャプチャし、モデルタイプやサービングフレームワークに関係なく、普遍的な可視性を提供します。推論メトリクスを有効にすると、これらのメトリクスは呼び出し時に計算され、モニタリングインフラストラクチャにエクスポートされます。

モデルコンテナメトリクス

これらのメトリクスは、トークン処理、キュー管理、フレームワーク固有のパフォーマンス指標など、モデルコンテナの内部オペレーションに関するインサイトを提供します。使用可能なメトリクスは、モデル提供フレームワークによって異なります。

メトリクスディメンション

すべての推論メトリクスには、デプロイ全体で詳細なフィルタリングと分析を可能にする包括的なラベルが含まれています。

デプロイ YAML でメトリクスを設定する

Amazon SageMaker HyperPod は、すべてのモデルデプロイでデフォルトで推論メトリクスを有効にし、追加の設定なしですぐにオブザーバビリティを提供します。デプロイ YAML 設定を変更して、特定の要件に基づいてメトリクス収集を有効または無効にすることで、メトリクスの動作をカスタマイズできます。

JumpStart からモデルをデプロイする

次の YAML 設定を使用して、メトリクスを有効にした JuJumpStartmpStart モデルをデプロイします。

apiVersion: inference.sagemaker.aws.amazon.com/v1alpha1
kind: JumpStartModel
metadata:
  name:mistral-model
  namespace: ns-team-a
spec:
  model:
    modelId: "huggingface-llm-mistral-7b-instruct"
    modelVersion: "3.19.0"
  metrics:
    enabled:true # Default: true (can be set to false to disable)
  replicas: 2
  sageMakerEndpoint:
    name: "mistral-model-sm-endpoint"
  server:
    instanceType: "ml.g5.12xlarge"
    executionRole: "arn:aws:iam::123456789:role/SagemakerRole"
  tlsConfig:
    tlsCertificateOutputS3Uri: s3://hyperpod/mistral-model/certs/

Amazon S3 または Amazon FSx からカスタムモデルとファインチューニングされたモデルをデプロイする

次の YAML を使用して、詳細なメトリクス設定でカスタム推論エンドポイントを設定します。

apiVersion: inference.sagemaker.aws.amazon.com/v1alpha1
kind: JumpStartModel
metadata:
  name:mistral-model
  namespace: ns-team-a
spec:
  model:
    modelId: "huggingface-llm-mistral-7b-instruct"
    modelVersion: "3.19.0"
  metrics:
    enabled:true # Default: true (can be set to false to disable)
  replicas: 2
  sageMakerEndpoint:
    name: "mistral-model-sm-endpoint"
  server:
    instanceType: "ml.g5.12xlarge"
    executionRole: "arn:aws:iam::123456789:role/SagemakerRole"
  tlsConfig:
    tlsCertificateOutputS3Uri: s3://hyperpod/mistral-model/certs/

Deploy a custom inference endpoint

Configure custom inference endpoints with detailed metrics settings using the following YAML:

apiVersion: inference.sagemaker.aws.amazon.com/v1alpha1
kind: InferenceEndpointConfig
metadata:
  name: inferenceendpoint-deepseeks
  namespace: ns-team-a
spec:
  modelName: deepseeks
  modelVersion: 1.0.1
  metrics:
    enabled: true # Default: true (can be set to false to disable)
    metricsScrapeIntervalSeconds: 30 # Optional: if overriding the default 15s
    modelMetricsConfig:
        port: 8000 # Optional: if overriding, it defaults to the WorkerConfig.ModelInvocationPort.ContainerPort within the InferenceEndpointConfig spec 8080
        path: "/custom-metrics" # Optional: if overriding the default "/metrics"
  endpointName: deepseek-sm-endpoint
  instanceType: ml.g5.12xlarge
  modelSourceConfig:
    modelSourceType: s3
    s3Storage:
      bucketName: model-weights
      region: us-west-2
    modelLocation: deepseek
    prefetchEnabled: true
  invocationEndpoint: invocations
  worker:
    resources:
      limits:
        nvidia.com/gpu: 1
      requests:
        nvidia.com/gpu: 1
        cpu: 25600m
        memory: 102Gi
    image: 763104351884.dkr.ecr.us-west-2.amazonaws.com/djl-inference:0.32.0-lmi14.0.0-cu124
    modelInvocationPort:
      containerPort: 8080
      name: http
    modelVolumeMount:
      name: model-weights
      mountPath: /opt/ml/model
    environmentVariables: ...
  tlsConfig:
    tlsCertificateOutputS3Uri: s3://hyperpod/inferenceendpoint-deepseeks4/certs/

ロール別の推論ワークロードのモニタリングとトラブルシューティング

Amazon SageMaker HyperPod は、初期クラスターのセットアップから高度なパフォーマンスのトラブルシューティングまで、さまざまなユーザーワークフローをサポートする包括的なオブザーバビリティ機能を提供します。ロールとモニタリング要件に基づいて、次のガイダンスを使用します。

HyperPod 管理者

お客様の責任： オブザーバビリティインフラストラクチャを有効にし、クラスター全体のシステムヘルスを確保します。

知っておくべきこと：

実行する必要があること：

この 1 つのアクションは、EKS アドオンを自動的にデプロイし、オブザーバビリティ演算子を設定し、Grafana で構築済みのダッシュボードをプロビジョニングします。

データサイエンティスト

お客様の責任： モデルを効率的にデプロイし、基本的なパフォーマンスをモニタリングします。

知っておくべきこと：

実行する必要があること：

これが完了すると、追加の設定なしでモデルのパフォーマンスをすぐに可視化できるため、デプロイの問題やパフォーマンスの変化をすばやく特定できます。

機械学習エンジニア (MLE)

お客様の責任： 本番モデルのパフォーマンスを維持し、複雑なパフォーマンスの問題を解決します。

知っておくべきこと：

仮定シナリオ： 顧客のチャットモデルで断続的な応答が遅くなります。ユーザーは約 5～10 秒の遅延を苦情しています。MLE は、推論オブザーバビリティを活用して、体系的なパフォーマンス調査を行うことができます。

実行する必要があること：

包括的なメトリクスを使用して複雑なパフォーマンス問題を体系的に診断し、的を絞った修正を実装し、一貫した本番モデルのパフォーマンスを維持するための予防策を確立できます。

独自のオブザーバビリティ統合を実装する

Amazon SageMaker HyperPod は、業界標準の Prometheus エンドポイントを介して推論メトリクスを公開し、既存のオブザーバビリティインフラストラクチャとの統合を可能にします。組み込みの Grafana および Prometheus スタックを使用する代わりに、カスタムモニタリングソリューションを実装したり、サードパーティーのオブザーバビリティプラットフォームと統合したりする場合は、このアプローチを使用します。

推論メトリクスエンドポイントにアクセスする

知っておくべきこと：

推論メトリクスのエンドポイント設定：

使用可能な推論メトリクス：

モデルコンテナメトリクスにアクセスする

知っておくべきこと：

Text Generation Inference (TGI) コンテナを使用した JumpStart モデルデプロイの場合：

Large Model Inference (LMI) コンテナを使用した JumpStart モデルデプロイの場合：

カスタム推論エンドポイント (BYOD) の場合：

カスタムオブザーバビリティ統合を実装する

カスタムオブザーバビリティ統合では、以下の責任があります。

推論オブザーバビリティの問題のトラブルシューティング

ダッシュボードにデータが表示されない

Grafana ダッシュボードが空で、すべてのパネルに「データなし」と表示されている場合は、次の手順を実行して調査します。

その他の一般的な問題