Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Datenerfassung als Rückschluss auf HyperPod

Mit Amazon SageMaker HyperPod Inference Data Capture können Sie Inferenzanforderungs- und Antwortdaten für die Modellüberwachung, das Debugging und die Modellverbesserung aufzeichnen. Inferenzanfragen fließen vom SageMaker KI-Endpunkt zum Application Load Balancer und dann zum Modell-Pod. Sie können die Erfassung auf jeder Ebene unabhängig aktivieren, von der äußersten Ebene (Tier 1, SageMaker KI-Endpunkt) bis zur tiefsten Ebene (Tier 3, Modell-Pod):

Tier 1 erfasst vollständige Payloads an der Grenze der SageMaker AI Runtime API und erfordert eine Endpunktregistrierung. Verwenden Sie Tier 1, wenn Sie Kompatibilität mit SageMaker AI Model Monitor benötigen. Tier 3 erfasst vollständige Nutzlasten im Inferenzcontainer mit konfigurierbaren Puffer-, Sampling- und Nutzlastgrenzen und funktioniert ohne SageMaker KI-Endpunktregistrierung. Verwenden Sie Tier 3, wenn Sie die tiefste Transparenz benötigen, die dem Modell am nächsten kommt. Aktivieren Sie eine beliebige Kombination — jede Stufe erfasst an einem anderen Punkt im Anforderungsablauf.

Alle Stufen schreiben in Ihren Amazon S3 S3-Bucket. Wenn Sie kein angebens3Uri, werden Daten standardmäßig im TLS-Zertifikats-Bucket unter einem /data-capture/ Präfix gespeichert. Innerhalb des Buckets erhält jede Bereitstellung einen eindeutigen Pfad, der auf einem Hash basiert, der aus dem Cluster-ARN, dem Namespace, dem CRD-Typ und dem Bereitstellungsnamen abgeleitet wird. Dieselbe Bereitstellung generiert immer dasselbe Präfix, d. h. Datenerfassungsartefakte aus mehreren CRD-Einsendungen, die auf denselben Bereitstellungsablauf in denselben Amazon S3 S3-Unterordner abzielen.

Um die Datenerfassung für eine Stufe zu deaktivieren, setzen Sie das entsprechende enabled Feld auf false oder entfernen Sie den Abschnitt Stufe aus Ihrer CRD. Um die gesamte Datenerfassung zu deaktivieren, entfernen Sie den dataCapture Abschnitt vollständig.

Konfiguration der Datenerfassung

Aktivieren Sie die Datenerfassung, indem Sie Ihrer InferenceEndpointConfig oder Ihrer JumpStartModel CRD einen dataCapture Abschnitt hinzufügen. Der dataCapture Block enthält eine einzelne s3Uri (optionale) und eine oder mehrere Ebenenkonfigurationen. Das folgende Beispiel zeigt die Gesamtstruktur mit aktivierten drei Stufen:

  dataCapture:
    s3Uri: s3://my-capture-bucket/captures/   # Optional. Defaults to TLS bucket.
    sagemakerEndpoint:
      enabled: true
      # Tier 1 fields...
    loadBalancer:
      enabled: true
    modelPod:
      enabled: true
      # Tier 3 fields...

Stufe 1: SageMaker KI-Endpunkterfassung

Tier 1 verwendet native SageMaker KI, DataCaptureConfig um Inferenzeingabe- und Output-Payloads auf Endpunktebene zu erfassen. Dies ist der äußerste Erfassungspunkt und mit SageMaker AI Model Monitor zur automatisierten Überwachung der Datenqualität kompatibel. Weitere Informationen zur SageMaker KI-Datenerfassung finden Sie unter Erfassen von Daten vom Echtzeit-Endpunkt aus.

    sagemakerEndpoint:
      enabled: true
      initialSamplingPercentage: 100
      kmsKeyId: arn:aws:kms:us-east-2:123456789012:key/my-key-id
      captureOptions:
        - captureMode: Input
        - captureMode: Output
      captureContentTypeHeader:
        jsonContentTypes:
          - application/json

Stufe 2: Erfassung durch den Load Balancer

Tier 2 ermöglicht ALB-Zugriffsprotokolle, die Anforderungsmetadaten wie Client-IPs, Anforderungspfade und Latenzen erfassen.

    loadBalancer:
      enabled: true

Stufe 3: Erfassung von Modell-Pods

Stufe 3 erfasst Nutzlasten für Inferenzeingabe und -ausgabe auf Modell-Pod-Ebene und bietet so den umfassendsten Einblick in den Inferenzdatenverkehr. Verwenden Sie diese Stufe, wenn Sie eine genaue Kontrolle über die Pufferung, die Größenbeschränkungen für die Nutzlast und die Erfassung benötigen, die dem Modell am nächsten kommt.

    modelPod:
      enabled: true
      initialSamplingPercentage: 100
      kmsKeyId: arn:aws:kms:us-east-2:123456789012:key/my-key-id
      captureOptions:
        - captureMode: Input
        - captureMode: Output
      bufferConfig:
        batchSize: 100
        flushIntervalSeconds: 60
      payloadConfig:
        maxPayloadSizeKB: 1024

Addon aktualisieren

Voraussetzungen: Authentifizieren Sie sich und stellen Sie eine Verbindung zu Ihrem EKS-Cluster her

Authentifizieren Sie sich mit Ihrem AWS Konto. Erfassen Sie vor dem Herstellen der Verbindung den Namen, die Region und den HyperPod Cluster-ARN des EKS-Clusters:

CLUSTER=EKS_CLUSTER_NAME
REGION=REGION
HP_ARN=HYPERPOD_CLUSTER_ARN

Connect zu Ihrem EKS-Cluster her:

aws eks update-kubeconfig --region REGION --name EKS_CLUSTER_NAME

Aktualisieren Sie die Addon-Konfiguration:

VERSION=$(aws eks describe-addon --cluster-name $CLUSTER --addon-name amazon-sagemaker-hyperpod-inference --region $REGION --query 'addon.addonVersion' --output text)
CURRENT_CONFIG=$(aws eks describe-addon --cluster-name $CLUSTER --addon-name amazon-sagemaker-hyperpod-inference --region $REGION --query 'addon.configurationValues' --output text)
NEW_CONFIG=$(echo "$CURRENT_CONFIG" | jq --arg arn "$HP_ARN" '. + {hyperpodClusterArn: $arn}')

aws eks update-addon \
--cluster-name $CLUSTER \
--addon-name amazon-sagemaker-hyperpod-inference \
--addon-version "$VERSION" \
--configuration-values "$NEW_CONFIG" \
--resolve-conflicts OVERWRITE \
--region $REGION

Warten Sie, bis das Addon aktiv ist, und stellen Sie dann die Modelle bereit

Aktualisierung der Berechtigungen für bestehende Cluster

Um die Datenerfassung HyperPod in Ihren Inference-Bereitstellungen zu aktivieren, konfigurieren Sie die folgenden IAM-Berechtigungen.

Best Practices