Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Capture de données pour inférence sur HyperPod

La capture des données d' SageMaker HyperPod inférence Amazon vous permet d'enregistrer les demandes d'inférence et les données de réponse à des fins de surveillance, de débogage et d'amélioration des modèles. Les demandes d'inférence circulent du point de terminaison SageMaker AI vers l'Application Load Balancer, puis vers le model pod. Vous pouvez activer la capture indépendamment à chaque niveau, de la couche la plus externe (niveau 1, point de terminaison SageMaker AI) à la couche la plus profonde (niveau 3, model pod) :

Le niveau 1 capture les charges utiles complètes à la limite de l'API SageMaker AI Runtime et nécessite l'enregistrement du point de terminaison. Utilisez le niveau 1 lorsque vous avez besoin d'une compatibilité avec SageMaker AI Model Monitor. Le niveau 3 capture les charges utiles complètes dans le conteneur d'inférence avec des limites de mémoire tampon, d'échantillonnage et de charge utile configurables, et fonctionne sans SageMaker enregistrement des points de terminaison IA. Utilisez le niveau 3 lorsque vous avez besoin de la visibilité la plus profonde au plus près du modèle. Activez n'importe quelle combinaison : chaque niveau capture à un point différent du flux de demandes.

Tous les niveaux écrivent dans votre compartiment Amazon S3. Si vous ne spécifiez pas des3Uri, les données sont stockées dans le compartiment de certificats TLS sous un /data-capture/ préfixe par défaut. Dans le compartiment, chaque déploiement obtient un chemin unique basé sur un hachage dérivé de l'ARN du cluster, de l'espace de noms, du type CRD et du nom du déploiement. Le même déploiement génère toujours le même préfixe, de sorte que les données capturent des artefacts provenant de plusieurs soumissions CRD ciblant le même flux de déploiement vers le même sous-dossier Amazon S3.

Pour désactiver la capture de données pour un niveau, définissez son enabled champ sur false ou supprimez la section du niveau de votre CRD. Pour désactiver toute capture de données, supprimez complètement la dataCapture section.

Configuration de la capture de données

Activez la capture de données en ajoutant une dataCapture section à votre CRD InferenceEndpointConfig ou à votre JumpStartModel CRD. Le dataCapture bloc contient une configuration à un seul niveau s3Uri (facultatif) et une ou plusieurs configurations à un ou plusieurs niveaux. L'exemple suivant montre la structure globale avec les trois niveaux activés :

  dataCapture:
    s3Uri: s3://my-capture-bucket/captures/   # Optional. Defaults to TLS bucket.
    sagemakerEndpoint:
      enabled: true
      # Tier 1 fields...
    loadBalancer:
      enabled: true
    modelPod:
      enabled: true
      # Tier 3 fields...

Niveau 1 : capture des terminaux par SageMaker IA

Le niveau 1 utilise la technologie native de l' SageMaker IA DataCaptureConfig pour capturer les charges utiles d'inférence en entrée et en sortie au niveau du terminal. Il s'agit du point de capture le plus externe et il est compatible avec SageMaker AI Model Monitor pour une surveillance automatisée de la qualité des données. Pour plus d'informations sur la capture de données par SageMaker IA, consultez Capture de données à partir d'un point de terminaison en temps réel.

    sagemakerEndpoint:
      enabled: true
      initialSamplingPercentage: 100
      kmsKeyId: arn:aws:kms:us-east-2:123456789012:key/my-key-id
      captureOptions:
        - captureMode: Input
        - captureMode: Output
      captureContentTypeHeader:
        jsonContentTypes:
          - application/json

Niveau 2 : capture de l'équilibreur de charge

Le niveau 2 active les journaux d'accès ALB, capturant les métadonnées des demandes telles que les adresses IP des clients, les chemins de demande et les latences.

    loadBalancer:
      enabled: true

Niveau 3 : capture du modèle par pod

Le niveau 3 capture les charges utiles d'inférence en entrée et en sortie au niveau du module de modélisation, offrant ainsi une visibilité optimale sur le trafic d'inférence. Utilisez ce niveau lorsque vous avez besoin d'un contrôle précis de la mise en mémoire tampon, des limites de charge utile et de la capture la plus proche du modèle.

    modelPod:
      enabled: true
      initialSamplingPercentage: 100
      kmsKeyId: arn:aws:kms:us-east-2:123456789012:key/my-key-id
      captureOptions:
        - captureMode: Input
        - captureMode: Output
      bufferConfig:
        batchSize: 100
        flushIntervalSeconds: 60
      payloadConfig:
        maxPayloadSizeKB: 1024

Mettre à jour l'addon

Conditions préalables : Authentifiez-vous et connectez-vous à votre cluster EKS

Authentifiez-vous sur votre AWS compte. Avant de vous connecter, collectez le nom du cluster EKS, la région et l'ARN HyperPod du cluster :

CLUSTER=EKS_CLUSTER_NAME
REGION=REGION
HP_ARN=HYPERPOD_CLUSTER_ARN

Connectez-vous à votre cluster EKS :

aws eks update-kubeconfig --region REGION --name EKS_CLUSTER_NAME

Mettez à jour la configuration de l'addon :

VERSION=$(aws eks describe-addon --cluster-name $CLUSTER --addon-name amazon-sagemaker-hyperpod-inference --region $REGION --query 'addon.addonVersion' --output text)
CURRENT_CONFIG=$(aws eks describe-addon --cluster-name $CLUSTER --addon-name amazon-sagemaker-hyperpod-inference --region $REGION --query 'addon.configurationValues' --output text)
NEW_CONFIG=$(echo "$CURRENT_CONFIG" | jq --arg arn "$HP_ARN" '. + {hyperpodClusterArn: $arn}')

aws eks update-addon \
--cluster-name $CLUSTER \
--addon-name amazon-sagemaker-hyperpod-inference \
--addon-version "$VERSION" \
--configuration-values "$NEW_CONFIG" \
--resolve-conflicts OVERWRITE \
--region $REGION

Attendez que l'addon soit actif, puis déployez les modèles

Mise à jour des autorisations pour les clusters existants

Pour activer la capture de données sur vos déploiements HyperPod d'inférence, configurez les autorisations IAM suivantes.

Bonnes pratiques