Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Acquisizione di dati per inferenza su HyperPod

Amazon SageMaker HyperPod Inference Data Capture ti consente di registrare i dati di richiesta e risposta di inferenza per il monitoraggio, il debug e il miglioramento dei modelli. Le richieste di inferenza fluiscono dall'endpoint SageMaker AI all'Application Load Balancer e quindi al pod del modello. È possibile abilitare l'acquisizione in modo indipendente a ogni livello, dal livello più esterno (Tier 1, endpoint SageMaker AI) al livello più profondo (Tier 3, pod del modello):

Il livello 1 acquisisce i payload completi al limite dell'API SageMaker AI Runtime e richiede la registrazione degli endpoint. Usa Tier 1 quando hai bisogno di compatibilità con SageMaker AI Model Monitor. Il livello 3 acquisisce i payload completi nel contenitore di inferenza con limiti di buffering, campionamento e payload configurabili e funziona senza registrazione degli endpoint AI. SageMaker Usa il livello 3 quando hai bisogno della visibilità più profonda più vicina al modello. Abilita qualsiasi combinazione: ogni livello viene acquisito in un punto diverso del flusso di richieste.

Tutti i livelli vengono scritti nel tuo bucket Amazon S3. Se non ne specifichi unos3Uri, i dati vengono archiviati nel bucket dei certificati TLS con un prefisso per impostazione predefinita. /data-capture/ All'interno del bucket, ogni distribuzione ottiene un percorso univoco basato su un hash derivato dall'ARN, dallo spazio dei nomi, dal tipo CRD e dal nome della distribuzione del cluster. La stessa distribuzione genera sempre lo stesso prefisso, quindi gli artefatti di acquisizione dei dati provenienti da più invii CRD destinati allo stesso flusso di distribuzione verso la stessa sottocartella Amazon S3.

Per disabilitare l'acquisizione dei dati per un livello, imposta il relativo enabled campo su o rimuovi la sezione del livello dal tuo CRD. false Per disattivare l'acquisizione di tutti i dati, rimuovi completamente la dataCapture sezione.

Configurazione dell'acquisizione dei dati

Abilita l'acquisizione dei dati aggiungendo una dataCapture sezione al tuo InferenceEndpointConfig o al tuo JumpStartModel CRD. Il dataCapture blocco contiene una configurazione singola s3Uri (opzionale) e una o più configurazioni a più livelli. L'esempio seguente mostra la struttura generale con tutti e tre i livelli abilitati:

  dataCapture:
    s3Uri: s3://my-capture-bucket/captures/   # Optional. Defaults to TLS bucket.
    sagemakerEndpoint:
      enabled: true
      # Tier 1 fields...
    loadBalancer:
      enabled: true
    modelPod:
      enabled: true
      # Tier 3 fields...

Livello 1: acquisizione degli endpoint SageMaker AI

Il livello 1 utilizza l' SageMaker intelligenza artificiale nativa DataCaptureConfig per acquisire i payload di input e output di inferenza a livello di endpoint. Questo è il punto di acquisizione più esterno ed è compatibile con SageMaker AI Model Monitor per il monitoraggio automatico della qualità dei dati. Per ulteriori informazioni sull'acquisizione dei dati SageMaker AI, consulta Acquisizione di dati da endpoint in tempo reale.

    sagemakerEndpoint:
      enabled: true
      initialSamplingPercentage: 100
      kmsKeyId: arn:aws:kms:us-east-2:123456789012:key/my-key-id
      captureOptions:
        - captureMode: Input
        - captureMode: Output
      captureContentTypeHeader:
        jsonContentTypes:
          - application/json

Livello 2: acquisizione tramite Load Balancer

Il livello 2 abilita i log di accesso ALB, acquisendo i metadati delle richieste come IP dei client, percorsi di richiesta e latenze.

    loadBalancer:
      enabled: true

Livello 3: Model pod capture

Il livello 3 acquisisce i payload di input e output di inferenza a livello di pod del modello, fornendo la massima visibilità sul traffico di inferenza. Utilizzate questo livello quando avete bisogno di un controllo dettagliato sul buffering, sui limiti di dimensione del payload e sull'acquisizione più vicina al modello.

    modelPod:
      enabled: true
      initialSamplingPercentage: 100
      kmsKeyId: arn:aws:kms:us-east-2:123456789012:key/my-key-id
      captureOptions:
        - captureMode: Input
        - captureMode: Output
      bufferConfig:
        batchSize: 100
        flushIntervalSeconds: 60
      payloadConfig:
        maxPayloadSizeKB: 1024

Aggiorna componente aggiuntivo

Prerequisiti: autenticarsi e connettersi al cluster EKS

Effettua l'autenticazione sul tuo account. AWS Prima di connetterti, raccogli il nome del cluster EKS, la regione e l'ARN HyperPod del cluster:

CLUSTER=EKS_CLUSTER_NAME
REGION=REGION
HP_ARN=HYPERPOD_CLUSTER_ARN

Connettiti al tuo cluster EKS:

aws eks update-kubeconfig --region REGION --name EKS_CLUSTER_NAME

Aggiorna la configurazione dell'addon:

VERSION=$(aws eks describe-addon --cluster-name $CLUSTER --addon-name amazon-sagemaker-hyperpod-inference --region $REGION --query 'addon.addonVersion' --output text)
CURRENT_CONFIG=$(aws eks describe-addon --cluster-name $CLUSTER --addon-name amazon-sagemaker-hyperpod-inference --region $REGION --query 'addon.configurationValues' --output text)
NEW_CONFIG=$(echo "$CURRENT_CONFIG" | jq --arg arn "$HP_ARN" '. + {hyperpodClusterArn: $arn}')

aws eks update-addon \
--cluster-name $CLUSTER \
--addon-name amazon-sagemaker-hyperpod-inference \
--addon-version "$VERSION" \
--configuration-values "$NEW_CONFIG" \
--resolve-conflicts OVERWRITE \
--region $REGION

Attendi che l'Addon sia attivo e quindi distribuisci i modelli

Aggiornamento delle autorizzazioni per i cluster esistenti

Per abilitare l'acquisizione dei dati sulle tue implementazioni HyperPod Inference, configura le seguenti autorizzazioni IAM.

Best practice