翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

HyperPod クラスターでの推論オブザーバビリティの実装

Amazon SageMaker HyperPod は、データサイエンティストと機械学習エンジニアがデプロイされたモデルをモニタリングして最適化できるようにする包括的な推論オブザーバビリティ機能を提供します。このソリューションは SageMaker HyperPod Observability を介して実現し、推論ワークロードのパフォーマンスメトリクスを自動的に収集して、統合された Prometheus と Grafana ダッシュボードで本番環境に対応するモニタリングを提供します。

メトリクスをデフォルトで有効にすると、プラットフォームは呼び出し遅延、同時リクエスト数、エラー率、トークンレベルのメトリクスなどの重要なモデルパフォーマンスデータをキャプチャし、カスタムオブザーバビリティソリューションの実装を希望するお客様に標準の Prometheus エンドポイントを提供します。

このガイドでは、HyperPod クラスターで推論のオブザーバビリティを実装して使用するためのステップバイステップの手順を説明します。デプロイ YAML ファイルでメトリクスを設定して、ロール (管理者、データサイエンティスト、または機械学習エンジニア) に基づいてモニタリングダッシュボードにアクセスし、Prometheus エンドポイントを使用してカスタムオブザーバビリティソリューションと統合して、一般的なモニタリングの問題をトラブルシューティングする方法について説明します。

サポートされている推論メトリクス

呼び出しメトリクス

これらのメトリクスは、モデル推論のリクエストとレスポンスデータをキャプチャし、モデルタイプやサービングフレームワークを問わず、普遍的な可視性を提供します。推論メトリクスを有効にすると、これらのメトリクスは呼び出し時に計算され、モニタリングインフラストラクチャにエクスポートされます。

モデルコンテナのメトリクス

これらのメトリクスは、トークン処理、キュー管理、フレームワーク固有のパフォーマンス指標など、モデルコンテナの内部オペレーションに関するインサイトを提供します。使用可能なメトリクスは、モデルのフレームワークによって異なります。

メトリクスのディメンション

すべての推論メトリクスには、デプロイ全体にわたる詳細なフィルタリングと分析を可能にする包括的なラベルが含まれています。

デプロイ YAML でメトリクスを設定する

Amazon SageMaker HyperPod を使用すると、すべてのモデルデプロイでデフォルトで推論メトリクスを有効にして、追加の設定なしですぐにオブザーバビリティを取得できます。デプロイ YAML 設定を変更し、特定の要件に基づいてメトリクス収集を有効または無効にすることで、メトリクスの動作をカスタマイズできます。

JumpStart からモデルをデプロイする

次の YAML 設定を使用して、メトリクスを有効にした JuJumpStartmpStart モデルをデプロイします。

apiVersion: inference.sagemaker.aws.amazon.com/v1
kind: JumpStartModel
metadata:
  name:mistral-model
  namespace: ns-team-a
spec:
  model:
    modelId: "huggingface-llm-mistral-7b-instruct"
    modelVersion: "3.19.0"
  metrics:
    enabled:true # Default: true (can be set to false to disable)
  replicas: 2
  sageMakerEndpoint:
    name: "mistral-model-sm-endpoint"
  server:
    instanceType: "ml.g5.12xlarge"
    executionRole: "arn:aws:iam::123456789:role/SagemakerRole"
  tlsConfig:
    tlsCertificateOutputS3Uri: s3://hyperpod/mistral-model/certs/

Amazon S3 または Amazon FSx からカスタムモデルとファインチューニングされたモデルをデプロイする

次の YAML を使用して、詳細なメトリクス設定でカスタム推論エンドポイントを設定します。

apiVersion: inference.sagemaker.aws.amazon.com/v1
kind: JumpStartModel
metadata:
  name:mistral-model
  namespace: ns-team-a
spec:
  model:
    modelId: "huggingface-llm-mistral-7b-instruct"
    modelVersion: "3.19.0"
  metrics:
    enabled:true # Default: true (can be set to false to disable)
  replicas: 2
  sageMakerEndpoint:
    name: "mistral-model-sm-endpoint"
  server:
    instanceType: "ml.g5.12xlarge"
    executionRole: "arn:aws:iam::123456789:role/SagemakerRole"
  tlsConfig:
    tlsCertificateOutputS3Uri: s3://hyperpod/mistral-model/certs/

Deploy a custom inference endpoint

Configure custom inference endpoints with detailed metrics settings using the following YAML:

apiVersion: inference.sagemaker.aws.amazon.com/v1
kind: InferenceEndpointConfig
metadata:
  name: inferenceendpoint-deepseeks
  namespace: ns-team-a
spec:
  modelName: deepseeks
  modelVersion: 1.0.1
  metrics:
    enabled: true # Default: true (can be set to false to disable)
    metricsScrapeIntervalSeconds: 30 # Optional: if overriding the default 15s
    modelMetricsConfig:
        port: 8000 # Optional: if overriding, it defaults to the WorkerConfig.ModelInvocationPort.ContainerPort within the InferenceEndpointConfig spec 8080
        path: "/custom-metrics" # Optional: if overriding the default "/metrics"
  endpointName: deepseek-sm-endpoint
  instanceType: ml.g5.12xlarge
  modelSourceConfig:
    modelSourceType: s3
    s3Storage:
      bucketName: model-weights
      region: us-west-2
    modelLocation: deepseek
    prefetchEnabled: true
  invocationEndpoint: invocations
  worker:
    resources:
      limits:
        nvidia.com/gpu: 1
      requests:
        nvidia.com/gpu: 1
        cpu: 25600m
        memory: 102Gi
    image: 763104351884.dkr.ecr.us-west-2.amazonaws.com/djl-inference:0.32.0-lmi14.0.0-cu124
    modelInvocationPort:
      containerPort: 8080
      name: http
    modelVolumeMount:
      name: model-weights
      mountPath: /opt/ml/model
    environmentVariables: ...
  tlsConfig:
    tlsCertificateOutputS3Uri: s3://hyperpod/inferenceendpoint-deepseeks4/certs/

ロール別の推論ワークロードのモニタリングとトラブルシューティング

Amazon SageMaker HyperPod は、初期クラスターのセットアップから高度なパフォーマンスのトラブルシューティングまで、さまざまなユーザーワークフローをサポートする包括的なオブザーバビリティ機能を提供します。ロールとモニタリング要件に基づいて、次のガイダンスを使用します。

HyperPod 管理者

責任範囲: オブザーバビリティインフラストラクチャを有効にして、クラスター全体にわたってシステムヘルスを確保します。

注意事項:

必須事項:

このように、単一のアクションで、EKS アドオンを自動的にデプロイし、オブザーバビリティ演算子を設定して、Grafana で構築済みのダッシュボードをプロビジョンできます。

データサイエンティスト

責任範囲: モデルを効率的にデプロイし、基本的なパフォーマンスをモニタリングします。

注意事項:

必須事項:

これが完了すると、追加の設定なしでモデルのパフォーマンスをすぐに可視化できるため、デプロイの問題やパフォーマンスの変化を迅速に特定できます。

機械学習エンジニア (MLE)

責任範囲: 本番稼働用モデルのパフォーマンスを維持し、複雑なパフォーマンスの問題を解決します。

注意事項:

架空のシナリオ: 顧客のチャットモデルで断続的に応答が遅くなります。約 5～10 秒の遅延についての苦情がユーザーから寄せられています。MLE は、推論オブザーバビリティを活用して、体系的なパフォーマンス調査を行うことができます。

必須事項:

包括的なメトリクスを使用して複雑なパフォーマンス問題を体系的に診断し、的を絞った修正を実装することで、一貫した本番稼働用モデルのパフォーマンスを維持するための予防策を確立できます。

独自のオブザーバビリティ統合を実装する

Amazon SageMaker HyperPod は、業界標準の Prometheus エンドポイントを介して推論メトリクスを公開するため、既存のオブザーバビリティインフラストラクチャと統合できます。組み込みの Grafana および Prometheus スタックを使用する代わりに、カスタムモニタリングソリューションを実装したり、サードパーティーのオブザーバビリティプラットフォームと統合したりする場合は、このアプローチを使用します。

推論メトリクスエンドポイントにアクセスする

注意事項:

推論メトリクスのエンドポイント設定:

利用可能な推論メトリクス:

モデルコンテナのメトリクスへのアクセス

注意事項:

Text Generation Inference (TGI) コンテナを使用した JumpStart モデルデプロイの場合:

Large Model Inference (LMI) コンテナを使用した JumpStart モデルデプロイの場合:

カスタム推論エンドポイント (BYOD) の場合:

カスタムオブザーバビリティ統合を実装する

カスタムオブザーバビリティ統合でお客様が担う責任は、以下のとおりです。

推論オブザーバビリティの問題のトラブルシューティング

ダッシュボードにデータが表示されません

Grafana ダッシュボードが空で、すべてのパネルに「データなし」と表示されている場合は、次の手順を実行して調査します。

その他の一般的な問題