翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

HyperPod での推論のためのデータキャプチャ

Amazon SageMaker HyperPod 推論データキャプチャを使用すると、モデルのモニタリング、デバッグ、モデルの改善のために推論のリクエストとレスポンスのデータを記録できます。推論リクエストは、SageMaker AI エンドポイントから Application Load Balancer に、次にモデルポッドに流れます。キャプチャは、最も外側のレイヤー (階層 1、SageMaker AI エンドポイント) から最も深いレイヤー (階層 3、モデルポッド) まで、各レベルで個別に有効にできます。

階層 1 は、SageMaker AI ランタイム API 境界で完全なペイロードをキャプチャし、エンドポイント登録が必要です。SageMaker AI Model Monitor との互換性が必要な場合は、Tier 1 を使用します。階層 3 は、設定可能なバッファリング、サンプリング、ペイロード制限を使用して推論コンテナで完全なペイロードをキャプチャし、SageMaker AI エンドポイント登録なしで動作します。モデルに最も近い最も深い可視性が必要な場合は、階層 3 を使用します。任意の組み合わせを有効にする — 各階層は、リクエストフローの異なるポイントでキャプチャします。

すべての階層は Amazon S3 バケットに書き込みます。を指定しない場合s3Uri、データはデフォルトで TLS 証明書バケットの/data-capture/プレフィックスに保存されます。バケット内では、各デプロイはクラスター ARN、名前空間、CRD タイプ、デプロイ名から派生したハッシュに基づいて一意のパスを取得します。同じデプロイでは常に同じプレフィックスが生成されるため、同じデプロイフローをターゲットとする複数の CRD 送信から同じ Amazon S3 サブフォルダへのデータキャプチャアーティファクトが生成されます。

階層のデータキャプチャを無効にするには、そのenabledフィールドを に設定するfalseか、CRD から階層セクションを削除します。すべてのデータキャプチャを無効にするには、 dataCaptureセクションを完全に削除します。

データキャプチャの設定

InferenceEndpointConfig または JumpStartModel CRD に dataCaptureセクションを追加して、データキャプチャを有効にします。dataCapture ブロックには、1 つの s3Uri (オプション) 階層設定と 1 つ以上の階層設定が含まれています。次の例は、3 つの階層すべてを有効にした全体的な構造を示しています。

  dataCapture:
    s3Uri: s3://my-capture-bucket/captures/   # Optional. Defaults to TLS bucket.
    sagemakerEndpoint:
      enabled: true
      # Tier 1 fields...
    loadBalancer:
      enabled: true
    modelPod:
      enabled: true
      # Tier 3 fields...

階層 1: SageMaker AI エンドポイントキャプチャ

階層 1 は、SageMaker AI のネイティブ DataCaptureConfig を使用して、エンドポイントレベルで推論入出力ペイロードをキャプチャします。これは最も外側のキャプチャポイントであり、自動データ品質モニタリングのために SageMaker AI Model Monitor と互換性があります。SageMaker AI データキャプチャの詳細については、「リアルタイムエンドポイントからのデータのキャプチャ」を参照してください。

    sagemakerEndpoint:
      enabled: true
      initialSamplingPercentage: 100
      kmsKeyId: arn:aws:kms:us-east-2:123456789012:key/my-key-id
      captureOptions:
        - captureMode: Input
        - captureMode: Output
      captureContentTypeHeader:
        jsonContentTypes:
          - application/json

階層 2: ロードバランサーのキャプチャ

階層 2 では、ALB アクセスログが有効になり、クライアント IPs、レイテンシーなどのリクエストメタデータがキャプチャされます。

    loadBalancer:
      enabled: true

階層 3: モデルポッドキャプチャ

階層 3 は、モデルポッドレベルで推論入出力ペイロードをキャプチャし、推論トラフィックを最も深く可視化します。この階層は、バッファリング、ペイロードサイズ制限、モデルに最も近いキャプチャをきめ細かく制御する必要がある場合に使用します。

    modelPod:
      enabled: true
      initialSamplingPercentage: 100
      kmsKeyId: arn:aws:kms:us-east-2:123456789012:key/my-key-id
      captureOptions:
        - captureMode: Input
        - captureMode: Output
      bufferConfig:
        batchSize: 100
        flushIntervalSeconds: 60
      payloadConfig:
        maxPayloadSizeKB: 1024

アドオンの更新

前提条件: EKS クラスターを認証して接続する

AWS アカウントに対して認証します。接続する前に、EKS クラスター名、リージョン、HyperPod クラスター ARN を収集します。

CLUSTER=EKS_CLUSTER_NAME
REGION=REGION
HP_ARN=HYPERPOD_CLUSTER_ARN

EKS クラスターに接続します。

aws eks update-kubeconfig --region REGION --name EKS_CLUSTER_NAME

アドオン設定を更新します。

VERSION=$(aws eks describe-addon --cluster-name $CLUSTER --addon-name amazon-sagemaker-hyperpod-inference --region $REGION --query 'addon.addonVersion' --output text)
CURRENT_CONFIG=$(aws eks describe-addon --cluster-name $CLUSTER --addon-name amazon-sagemaker-hyperpod-inference --region $REGION --query 'addon.configurationValues' --output text)
NEW_CONFIG=$(echo "$CURRENT_CONFIG" | jq --arg arn "$HP_ARN" '. + {hyperpodClusterArn: $arn}')

aws eks update-addon \
--cluster-name $CLUSTER \
--addon-name amazon-sagemaker-hyperpod-inference \
--addon-version "$VERSION" \
--configuration-values "$NEW_CONFIG" \
--resolve-conflicts OVERWRITE \
--region $REGION

アドオンがアクティブになるまで待ってから、モデルをデプロイします。

既存のクラスターのアクセス許可の更新

HyperPod Inference デプロイでデータキャプチャを有効にするには、次の IAM アクセス許可を設定します。

ベストプラクティス