Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Captura de datos para hacer inferencias sobre HyperPod

La captura de datos de SageMaker HyperPod inferencia de Amazon le permite registrar los datos de solicitudes y respuestas de inferencia para la supervisión, la depuración y la mejora del modelo. Las solicitudes de inferencia fluyen desde el punto final de la SageMaker IA al Application Load Balancer y, después, al pod del modelo. Puede habilitar la captura de forma independiente en cada nivel, desde la capa más externa (nivel 1, punto final de la SageMaker IA) hasta la capa más profunda (nivel 3, módulo del modelo):

El nivel 1 captura todas las cargas útiles en el límite de la API SageMaker AI Runtime y requiere el registro de los puntos finales. Usa el nivel 1 cuando necesites compatibilidad con SageMaker AI Model Monitor. El nivel 3 captura todas las cargas útiles en el contenedor de inferencia con límites configurables de almacenamiento en búfer, muestreo y carga útil, y funciona sin necesidad de registrar los puntos finales de IA. SageMaker Utilice el nivel 3 cuando necesite la visibilidad más profunda más cercana al modelo. Habilite cualquier combinación: cada nivel captura en un punto diferente del flujo de solicitudes.

Todos los niveles se escriben en tu bucket de Amazon S3. Si no especificas ningunos3Uri, los datos se almacenan en el depósito de certificados TLS con un /data-capture/ prefijo de forma predeterminada. Dentro del bucket, cada implementación recibe una ruta única basada en un hash derivado del ARN del clúster, el espacio de nombres, el tipo de CRD y el nombre de la implementación. La misma implementación siempre genera el mismo prefijo, por lo que los artefactos de captura de datos de varios envíos de CRD dirigidos a la misma implementación fluyen a la misma subcarpeta de Amazon S3.

Para deshabilitar la captura de datos de un nivel, defina su enabled campo en false o elimine la sección de niveles de su CRD. Para deshabilitar toda la captura de datos, elimine la dataCapture sección por completo.

Configuración de la captura de datos

Habilite la captura de datos añadiendo una dataCapture sección a su InferenceEndpointConfig JumpStartModel CRD. El dataCapture bloque contiene una configuración de un solo nivel s3Uri (opcional) y uno o más niveles. El siguiente ejemplo muestra la estructura general con los tres niveles habilitados:

  dataCapture:
    s3Uri: s3://my-capture-bucket/captures/   # Optional. Defaults to TLS bucket.
    sagemakerEndpoint:
      enabled: true
      # Tier 1 fields...
    loadBalancer:
      enabled: true
    modelPod:
      enabled: true
      # Tier 3 fields...

Nivel 1: captura de puntos finales mediante SageMaker IA

El nivel 1 utiliza la SageMaker IA nativa DataCaptureConfig para capturar las cargas útiles de entrada y salida de inferencias a nivel de punto final. Este es el punto de captura más externo y es compatible con SageMaker AI Model Monitor para un monitoreo automatizado de la calidad de los datos. Para obtener más información sobre la captura de datos SageMaker mediante IA, consulte Capturar datos desde un punto final en tiempo real.

    sagemakerEndpoint:
      enabled: true
      initialSamplingPercentage: 100
      kmsKeyId: arn:aws:kms:us-east-2:123456789012:key/my-key-id
      captureOptions:
        - captureMode: Input
        - captureMode: Output
      captureContentTypeHeader:
        jsonContentTypes:
          - application/json

Nivel 2: captura del balanceador de carga

El nivel 2 habilita los registros de acceso de ALB y captura los metadatos de las solicitudes, como las IP de los clientes, las rutas de solicitud y las latencias.

    loadBalancer:
      enabled: true

Nivel 3: captura de módulos de modelos

El nivel 3 captura las cargas útiles de entrada y salida de la inferencia a nivel del módulo del modelo, lo que proporciona la mayor visibilidad del tráfico de inferencia. Utilice este nivel cuando necesite un control detallado del almacenamiento en búfer, los límites de tamaño de la carga útil y la captura más cercana al modelo.

    modelPod:
      enabled: true
      initialSamplingPercentage: 100
      kmsKeyId: arn:aws:kms:us-east-2:123456789012:key/my-key-id
      captureOptions:
        - captureMode: Input
        - captureMode: Output
      bufferConfig:
        batchSize: 100
        flushIntervalSeconds: 60
      payloadConfig:
        maxPayloadSizeKB: 1024

Actualizar el complemento

Requisitos previos: autentifíquese y conéctese a su clúster de EKS

Autenticate en tu cuenta. AWS Antes de conectarse, recopile el nombre, la región y el ARN HyperPod del clúster de EKS:

CLUSTER=EKS_CLUSTER_NAME
REGION=REGION
HP_ARN=HYPERPOD_CLUSTER_ARN

Conéctese a su clúster EKS:

aws eks update-kubeconfig --region REGION --name EKS_CLUSTER_NAME

Actualice la configuración del complemento:

VERSION=$(aws eks describe-addon --cluster-name $CLUSTER --addon-name amazon-sagemaker-hyperpod-inference --region $REGION --query 'addon.addonVersion' --output text)
CURRENT_CONFIG=$(aws eks describe-addon --cluster-name $CLUSTER --addon-name amazon-sagemaker-hyperpod-inference --region $REGION --query 'addon.configurationValues' --output text)
NEW_CONFIG=$(echo "$CURRENT_CONFIG" | jq --arg arn "$HP_ARN" '. + {hyperpodClusterArn: $arn}')

aws eks update-addon \
--cluster-name $CLUSTER \
--addon-name amazon-sagemaker-hyperpod-inference \
--addon-version "$VERSION" \
--configuration-values "$NEW_CONFIG" \
--resolve-conflicts OVERWRITE \
--region $REGION

Espere a que el complemento esté activo y, a continuación, implemente los modelos

Actualización de los permisos de los clústeres existentes

Para habilitar la captura de datos en las implementaciones de HyperPod Inference, configure los siguientes permisos de IAM.

Prácticas recomendadas