Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Acquisizione di dati per inferenza su HyperPod

Amazon SageMaker HyperPod Inference Data Capture ti consente di registrare i dati di richiesta e risposta di inferenza per il monitoraggio, il debug e il miglioramento del modello. Le richieste di inferenza fluiscono dall'endpoint SageMaker AI all'Application Load Balancer e quindi al pod del modello. Puoi abilitare l'acquisizione in modo indipendente a ogni livello, dal livello più esterno (Tier 1, endpoint SageMaker AI) al livello più profondo (Tier 3, model pod):

Il livello 1 acquisisce i payload completi al confine dell'API SageMaker AI Runtime e richiede la registrazione degli endpoint. Usa Tier 1 quando hai bisogno di compatibilità con SageMaker AI Model Monitor. Il livello 3 acquisisce i payload completi nel contenitore di inferenza con limiti configurabili di buffering, campionamento e payload e funziona senza la registrazione degli endpoint AI. SageMaker Usa Tier 3 quando hai bisogno della visibilità più profonda e più vicina al modello. Abilita qualsiasi combinazione: ogni livello esegue l'acquisizione in un punto diverso del flusso di richieste.

Tutti i livelli scrivono nel tuo bucket Amazon S3. Se non ne specifichi unos3Uri, per impostazione predefinita, i dati vengono archiviati nel bucket del certificato TLS con un prefisso. /data-capture/ All'interno del bucket, ogni implementazione ottiene un percorso univoco basato su un hash derivato dall'ARN del cluster, dallo spazio dei nomi, dal tipo CRD e dal nome della distribuzione. La stessa distribuzione genera sempre lo stesso prefisso, quindi gli artefatti di acquisizione dei dati da più invii CRD destinati alla stessa distribuzione fluiscono nella stessa sottocartella Amazon S3.

Per disabilitare l'acquisizione dei dati per un livello, imposta il relativo enabled campo su false o rimuovi la sezione relativa al livello dal tuo CRD. Per disabilitare l'acquisizione di tutti i dati, rimuovete completamente la dataCapture sezione.

Configurazione dell'acquisizione dei dati

Abilita l'acquisizione dei dati aggiungendo una dataCapture sezione al tuo InferenceEndpointConfig o JumpStartModel CRD. Il dataCapture blocco contiene una configurazione a livello singolo s3Uri (opzionale) e uno o più livelli. L'esempio seguente mostra la struttura generale con tutti e tre i livelli abilitati:

  dataCapture:
    s3Uri: s3://my-capture-bucket/captures/   # Optional. Defaults to TLS bucket.
    sagemakerEndpoint:
      enabled: true
      # Tier 1 fields...
    loadBalancer:
      enabled: true
    modelPod:
      enabled: true
      # Tier 3 fields...

Livello 1: acquisizione degli endpoint SageMaker AI

Il livello 1 utilizza l' SageMaker intelligenza artificiale nativa DataCaptureConfig per acquisire i payload di input e output di inferenza a livello di endpoint. Questo è il punto di acquisizione più esterno ed è compatibile con SageMaker AI Model Monitor per il monitoraggio automatizzato della qualità dei dati. Per ulteriori informazioni sull'acquisizione dei dati SageMaker AI, consulta Acquisire dati da endpoint in tempo reale.

    sagemakerEndpoint:
      enabled: true
      initialSamplingPercentage: 100
      kmsKeyId: arn:aws:kms:us-east-2:123456789012:key/my-key-id
      captureOptions:
        - captureMode: Input
        - captureMode: Output
      captureContentTypeHeader:
        jsonContentTypes:
          - application/json

Livello 2: acquisizione del sistema di bilanciamento del carico

Il livello 2 abilita i log di accesso ALB, acquisendo i metadati delle richieste come gli IP dei client, i percorsi delle richieste e le latenze.

    loadBalancer:
      enabled: true

Livello 3: acquisizione del modello pod

Il livello 3 acquisisce i payload di input e output di inferenza a livello di pod del modello, fornendo la massima visibilità sul traffico di inferenza. Utilizzate questo livello quando avete bisogno di un controllo preciso sul buffering, sui limiti delle dimensioni del payload e sull'acquisizione più vicina al modello.

    modelPod:
      enabled: true
      initialSamplingPercentage: 100
      kmsKeyId: arn:aws:kms:us-east-2:123456789012:key/my-key-id
      captureOptions:
        - captureMode: Input
        - captureMode: Output
      bufferConfig:
        batchSize: 100
        flushIntervalSeconds: 60
      payloadConfig:
        maxPayloadSizeKB: 1024

Aggiorna Addon

Prerequisiti: autentica e connettiti al tuo cluster EKS

Effettua l'autenticazione sul tuo account. AWS Prima di connetterti, raccogli il nome del cluster EKS, la regione e l' HyperPod ARN del cluster:

CLUSTER=EKS_CLUSTER_NAME
REGION=REGION
HP_ARN=HYPERPOD_CLUSTER_ARN

Connect al cluster EKS:

aws eks update-kubeconfig --region REGION --name EKS_CLUSTER_NAME

Aggiorna la configurazione del componente aggiuntivo:

VERSION=$(aws eks describe-addon --cluster-name $CLUSTER --addon-name amazon-sagemaker-hyperpod-inference --region $REGION --query 'addon.addonVersion' --output text)
CURRENT_CONFIG=$(aws eks describe-addon --cluster-name $CLUSTER --addon-name amazon-sagemaker-hyperpod-inference --region $REGION --query 'addon.configurationValues' --output text)
NEW_CONFIG=$(echo "$CURRENT_CONFIG" | jq --arg arn "$HP_ARN" '. + {hyperpodClusterArn: $arn}')

aws eks update-addon \
--cluster-name $CLUSTER \
--addon-name amazon-sagemaker-hyperpod-inference \
--addon-version "$VERSION" \
--configuration-values "$NEW_CONFIG" \
--resolve-conflicts OVERWRITE \
--region $REGION

Attendi che l'addon sia attivo, quindi distribuisci i modelli

Aggiornamento delle autorizzazioni per i cluster esistenti

Per abilitare l'acquisizione dei dati sulle tue distribuzioni HyperPod Inference, configura le seguenti autorizzazioni IAM.

Best practice