Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Politiques de mise à l'échelle automatique pour le déploiement de votre HyperPod modèle d'inférence

Les informations suivantes fournissent des exemples pratiques et des configurations pour la mise en œuvre de politiques de dimensionnement automatique sur les déploiements de modèles SageMaker HyperPod d'inférence Amazon.

Vous apprendrez à configurer le dimensionnement automatique à l'aide des fichiers YAML intégrés autoScalingSpec à votre déploiement, ainsi qu'à créer des ScaledObject configurations KEDA autonomes pour des scénarios de dimensionnement avancés. Les exemples couvrent le dimensionnement des déclencheurs en fonction CloudWatch des métriques, de la longueur des files d'attente Amazon SQS, des requêtes Prometheus et des métriques d'utilisation des ressources telles que le processeur et la mémoire.

Utilisation de autoScalingSpec YAML lors du déploiement

L'opérateur d' SageMaker HyperPod inférence Amazon fournit des fonctionnalités de mise à l'échelle automatique intégrées pour les déploiements de modèles à l'aide des métriques d'Amazon Managed Prometheus (AMP) et d' CloudWatch Amazon Managed Prometheus (AMP). L'exemple de déploiement YAML suivant inclut une autoScalingSpec section qui définit les valeurs de configuration pour dimensionner le déploiement de votre modèle.

apiVersion: inference.sagemaker.aws.amazon.com/v1alpha1
kind: JumpStartModel
metadata:
  name: deepseek-sample624
  namespace: ns-team-a
spec:
  sageMakerEndpoint:
    name: deepsek7bsme624
  model:
    modelHubName: SageMakerPublicHub
    modelId: deepseek-llm-r1-distill-qwen-1-5b
    modelVersion: 2.0.4
  server:
    instanceType: ml.g5.8xlarge
  metrics:
    enabled: true
  environmentVariables:
    - name: SAMPLE_ENV_VAR
      value: "sample_value"
  maxDeployTimeInSeconds: 1800
  tlsConfig:
    tlsCertificateOutputS3Uri: "s3://{USER}-tls-bucket-{REGION}/certificates"
  autoScalingSpec:
    minReplicaCount: 0
    maxReplicaCount: 5
    pollingInterval: 15
    initialCooldownPeriod: 60
    cooldownPeriod: 120
    scaleDownStabilizationTime: 60
    scaleUpStabilizationTime: 0
    cloudWatchTrigger:
        name: "SageMaker-Invocations"
        namespace: "AWS/SageMaker"
        useCachedMetrics: false
        metricName: "Invocations"
        targetValue: 10.5
        activationTargetValue: 5.0
        minValue: 0.0
        metricCollectionStartTime: 300
        metricCollectionPeriod: 30
        metricStat: "Sum"
        metricType: "Average"
        dimensions:
          - name: "EndpointName"
            value: "deepsek7bsme624"
          - name: "VariantName"
            value: "AllTraffic"
    prometheusTrigger: 
        name: "Prometheus-Trigger"
        useCachedMetrics: false
        serverAddress: http://<prometheus-host>:9090
        query: sum(rate(http_requests_total{deployment="my-deployment"}[2m]))
        targetValue: 10.0
        activationTargetValue: 5.0
        namespace: "namespace"
        customHeaders: "X-Client-Id=cid"
        metricType: "Value"

Explication des champs utilisés dans le déploiement YAML

Utilisation des définitions ScaledObject YAML de KEDA via kubectl

Outre la configuration de l'autoscaling dans la autoScalingSpec section de votre fichier YAML de déploiement, vous pouvez créer et appliquer des définitions KEDA ScaledObject YAML autonomes à l'aide de kubectl.

Cette approche offre une plus grande flexibilité pour les scénarios de dimensionnement complexes et vous permet de gérer les politiques de dimensionnement automatique indépendamment des déploiements de vos modèles. ScaledObjectLes configurations KEDA prennent en charge un large éventail de déclencheurs de dimensionnement, notamment CloudWatch les métriques, la longueur des files d'attente Amazon SQS, les requêtes Prometheus et les métriques basées sur les ressources telles que l'utilisation du processeur et de la mémoire. Vous pouvez appliquer ces configurations aux déploiements de modèles existants en référençant le nom du déploiement dans la scaleTargetRef section de la ScaledObject spécification.

CloudWatch métriques

La politique YAML de KEDA suivante utilise des CloudWatch métriques comme déclencheur pour effectuer un dimensionnement automatique sur un déploiement de Kubernetes. La politique demande le nombre d'appels pour un point de terminaison Sagemaker et adapte le nombre de modules de déploiement. La liste complète des paramètres supportés par KEDA pour le aws-cloudwatch déclencheur se trouve sur https://keda. sh/docs/2.17/scalers/aws-montre-cloud/.

apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:
  name: invocations-scaledobject # name of the scaled object that will be created by this
  namespace: ns-team-a # namespace that this scaled object targets
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: $DEPLOYMENT_NAME # name of the model deployment
  minReplicaCount: 1 # minimum number of pods to be maintained
  maxReplicaCount: 4 # maximum number of pods to scale to
  pollingInterval: 10
  triggers:
  - type: aws-cloudwatch
    metadata:
      namespace: AWS/SageMaker
      metricName: Invocations
      targetMetricValue: "1"
      minMetricValue: "1"
      awsRegion: "us-west-2"
      dimensionName: EndpointName;VariantName
      dimensionValue: $ENDPOINT_NAME;$VARIANT_NAME
      metricStatPeriod: "30" # seconds
      metricStat: "Sum"
      identityOwner: operator

Métriques Amazon SQS

La politique YAML KEDA suivante utilise les métriques Amazon SQS comme déclencheur pour effectuer le dimensionnement automatique lors d'un déploiement de Kubernetes. La politique demande le nombre d'appels pour un point de terminaison Sagemaker et adapte le nombre de modules de déploiement. La liste complète des paramètres supportés par KEDA pour le aws-cloudwatch déclencheur se trouve sur https://keda. sh/docs/2.17/scalers/aws-sqs/.

apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:
  name: invocations-scaledobject # name of the scaled object that will be created by this
  namespace: ns-team-a # namespace that this scaled object targets
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: $DEPLOYMENT_NAME # name of the model deployment
  minReplicaCount: 1 # minimum number of pods to be maintained
  maxReplicaCount: 4 # maximum number of pods to scale to
  pollingInterval: 10
  triggers:
  - type: aws-sqs-queue
    metadata:
      queueURL: https://sqs.eu-west-1.amazonaws.com/account_id/QueueName
      queueLength: "5"  # Default: "5"
      awsRegion: "us-west-1"
      scaleOnInFlight: true
      identityOwner: operator

Métriques Prometheus

La politique YAML de KEDA suivante utilise les métriques Prometheus comme déclencheur pour effectuer le dimensionnement automatique lors d'un déploiement de Kubernetes. La politique demande le nombre d'appels pour un point de terminaison Sagemaker et adapte le nombre de modules de déploiement. La liste complète des paramètres supportés par KEDA pour le aws-cloudwatch déclencheur se trouve sur https://keda. sh/docs/2.17/scalers/prometheus/.

apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:
  name: invocations-scaledobject # name of the scaled object that will be created by this
  namespace: ns-team-a # namespace that this scaled object targets
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: $DEPLOYMENT_NAME # name of the model deployment
  minReplicaCount: 1 # minimum number of pods to be maintained
  maxReplicaCount: 4 # maximum number of pods to scale to
  pollingInterval: 10
  triggers:
  - type: prometheus
    metadata:
      serverAddress: http://<prometheus-host>:9090
      query: avg(rate(http_requests_total{deployment="$DEPLOYMENT_NAME"}[2m])) # Note: query must return a vector/scalar single element response
      threshold: '100.50'
      namespace: example-namespace  # for namespaced queries, eg. Thanos
      customHeaders: X-Client-Id=cid,X-Tenant-Id=tid,X-Organization-Id=oid # Optional. Custom headers to include in query. In case of auth header, use the custom authentication or relevant authModes.
      unsafeSsl: "false" #  Default is `false`, Used for skipping certificate check when having self-signed certs for Prometheus endpoint    
      timeout: 1000 # Custom timeout for the HTTP client used in this scaler
      identityOwner: operator

Métriques de processeur

La politique YAML KEDA suivante utilise la métrique du processeur comme déclencheur pour effectuer le dimensionnement automatique lors d'un déploiement de Kubernetes. La politique demande le nombre d'appels pour un point de terminaison Sagemaker et adapte le nombre de modules de déploiement. La liste complète des paramètres supportés par KEDA pour le aws-cloudwatch déclencheur se trouve sur https://keda. sh/docs/2.17/scalers/prometheus/.

apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:
  name: invocations-scaledobject # name of the scaled object that will be created by this
  namespace: ns-team-a # namespace that this scaled object targets
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: $DEPLOYMENT_NAME # name of the model deployment
  minReplicaCount: 1 # minimum number of pods to be maintained
  maxReplicaCount: 4 # maximum number of pods to scale to
  pollingInterval: 10
  triggers:
  - type: cpu
    metricType: Utilization # Allowed types are 'Utilization' or 'AverageValue'
    metadata:
        value: "60"
        containerName: "" # Optional. You can use this to target a specific container

Métrique de mémoire

La politique YAML KEDA suivante utilise la requête Prometheus metrics comme déclencheur pour effectuer un dimensionnement automatique sur un déploiement de Kubernetes. La politique demande le nombre d'appels pour un point de terminaison Sagemaker et adapte le nombre de modules de déploiement. La liste complète des paramètres supportés par KEDA pour le aws-cloudwatch déclencheur se trouve sur https://keda. sh/docs/2.17/scalers/prometheus/.

apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:
  name: invocations-scaledobject # name of the scaled object that will be created by this
  namespace: ns-team-a # namespace that this scaled object targets
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: $DEPLOYMENT_NAME # name of the model deployment
  minReplicaCount: 1 # minimum number of pods to be maintained
  maxReplicaCount: 4 # maximum number of pods to scale to
  pollingInterval: 10
  triggers:
  - type: memory
    metricType: Utilization # Allowed types are 'Utilization' or 'AverageValue'
    metadata:
        value: "60"
        containerName: "" # Optional. You can use this to target a specific container in a pod

Exemple de politique de Prometheus concernant la réduction à 0 capsules

La politique YAML KEDA suivante utilise la requête Prometheus Metrics comme déclencheur pour effectuer un dimensionnement automatique sur un déploiement de Kubernetes. Cette politique utilise une valeur minReplicaCount de 0, ce qui permet à KEDA de réduire le déploiement à 0 pods. Lorsqu'il minReplicaCount est défini sur 0, vous devez fournir un critère d'activation afin de faire apparaître le premier module, une fois les modules réduits à 0. Pour le déclencheur Prometheus, cette valeur est fournie par. activationThreshold Pour la file d'attente SQS, elle provient deactivationQueueLength.

apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:
  name: invocations-scaledobject # name of the scaled object that will be created by this
  namespace: ns-team-a # namespace that this scaled object targets
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: $DEPLOYMENT_NAME # name of the model deployment
  minReplicaCount: 0 # minimum number of pods to be maintained
  maxReplicaCount: 4 # maximum number of pods to scale to
  pollingInterval: 10
  cooldownPeriod:  30
  initialCooldownPeriod:  180 # time before scaling down the pods after initial deployment
  triggers:
  - type: prometheus
    metadata:
      serverAddress: http://<prometheus-host>:9090
      query: sum(rate(http_requests_total{deployment="my-deployment"}[2m])) # Note: query must return a vector/scalar single element response
      threshold: '100.50'
      activationThreshold: '5.5' # Required if minReplicaCount is 0 for initial scaling
      namespace: example-namespace
      timeout: 1000
      identityOwner: operator