Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Kebijakan penskalaan otomatis untuk penerapan model inferensi Anda HyperPod

Informasi berikut ini memberikan contoh dan konfigurasi praktis untuk menerapkan kebijakan penskalaan otomatis pada penerapan model inferensi Amazon SageMaker HyperPod .

Anda akan mempelajari cara mengonfigurasi penskalaan otomatis menggunakan file autoScalingSpec YAMAL bawaan dalam penerapan Anda, serta cara membuat ScaledObject konfigurasi KEDA mandiri untuk skenario penskalaan lanjutan. Contohnya mencakup pemicu penskalaan berdasarkan CloudWatch metrik, panjang antrian Amazon SQS, kueri Prometheus, dan metrik pemanfaatan sumber daya seperti CPU dan memori.

Menggunakan autoScalingSpec dalam penerapan YAMAL

Operator SageMaker HyperPod inferensi Amazon menyediakan kemampuan penskalaan otomatis bawaan untuk penerapan model menggunakan metrik dari dan CloudWatch Amazon Managed Prometheus (AMP). Contoh YAMAL penerapan berikut mencakup autoScalingSpec bagian yang menentukan nilai konfigurasi untuk penskalaan penerapan model Anda.

apiVersion: inference.sagemaker.aws.amazon.com/v1alpha1
kind: JumpStartModel
metadata:
  name: deepseek-sample624
  namespace: ns-team-a
spec:
  sageMakerEndpoint:
    name: deepsek7bsme624
  model:
    modelHubName: SageMakerPublicHub
    modelId: deepseek-llm-r1-distill-qwen-1-5b
    modelVersion: 2.0.4
  server:
    instanceType: ml.g5.8xlarge
  metrics:
    enabled: true
  environmentVariables:
    - name: SAMPLE_ENV_VAR
      value: "sample_value"
  maxDeployTimeInSeconds: 1800
  tlsConfig:
    tlsCertificateOutputS3Uri: "s3://{USER}-tls-bucket-{REGION}/certificates"
  autoScalingSpec:
    minReplicaCount: 0
    maxReplicaCount: 5
    pollingInterval: 15
    initialCooldownPeriod: 60
    cooldownPeriod: 120
    scaleDownStabilizationTime: 60
    scaleUpStabilizationTime: 0
    cloudWatchTrigger:
        name: "SageMaker-Invocations"
        namespace: "AWS/SageMaker"
        useCachedMetrics: false
        metricName: "Invocations"
        targetValue: 10.5
        activationTargetValue: 5.0
        minValue: 0.0
        metricCollectionStartTime: 300
        metricCollectionPeriod: 30
        metricStat: "Sum"
        metricType: "Average"
        dimensions:
          - name: "EndpointName"
            value: "deepsek7bsme624"
          - name: "VariantName"
            value: "AllTraffic"
    prometheusTrigger: 
        name: "Prometheus-Trigger"
        useCachedMetrics: false
        serverAddress: http://<prometheus-host>:9090
        query: sum(rate(http_requests_total{deployment="my-deployment"}[2m]))
        targetValue: 10.0
        activationTargetValue: 5.0
        namespace: "namespace"
        customHeaders: "X-Client-Id=cid"
        metricType: "Value"

Penjelasan bidang yang digunakan dalam penerapan YAMM

Menggunakan definisi ScaledObject yaml KEDA melalui kubectl

Selain mengonfigurasi penskalaan otomatis melalui autoScalingSpec bagian dalam penerapan YAMB, Anda dapat membuat dan menerapkan definisi YAMG KEDA mandiri menggunakan kubectl. ScaledObject

Pendekatan ini memberikan fleksibilitas yang lebih besar untuk skenario penskalaan yang kompleks dan memungkinkan Anda mengelola kebijakan penskalaan otomatis secara independen dari penerapan model Anda. ScaledObjectKonfigurasi KEDA mendukung berbagai pemicu penskalaan termasuk metrik, panjang antrian Amazon SQS CloudWatch , kueri Prometheus, dan metrik berbasis sumber daya seperti CPU dan pemanfaatan memori. Anda dapat menerapkan konfigurasi ini ke penerapan model yang ada dengan mereferensikan nama penerapan di bagian scaleTargetRef spesifikasi. ScaledObject

CloudWatch metrik

Kebijakan yaml KEDA berikut menggunakan CloudWatch metrik sebagai pemicu untuk melakukan penskalaan otomatis pada penerapan kubernetes. Kebijakan tersebut menanyakan jumlah pemanggilan untuk titik akhir Sagemaker dan menskalakan jumlah pod penerapan. Daftar lengkap parameter yang didukung oleh KEDA untuk aws-cloudwatch pemicu dapat ditemukan di https://keda. sh/docs/2.17/scalers/aws-cloudwatch/.

apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:
  name: invocations-scaledobject # name of the scaled object that will be created by this
  namespace: ns-team-a # namespace that this scaled object targets
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: $DEPLOYMENT_NAME # name of the model deployment
  minReplicaCount: 1 # minimum number of pods to be maintained
  maxReplicaCount: 4 # maximum number of pods to scale to
  pollingInterval: 10
  triggers:
  - type: aws-cloudwatch
    metadata:
      namespace: AWS/SageMaker
      metricName: Invocations
      targetMetricValue: "1"
      minMetricValue: "1"
      awsRegion: "us-west-2"
      dimensionName: EndpointName;VariantName
      dimensionValue: $ENDPOINT_NAME;$VARIANT_NAME
      metricStatPeriod: "30" # seconds
      metricStat: "Sum"
      identityOwner: operator

Metrik Amazon SQS

Kebijakan yaml KEDA berikut menggunakan metrik Amazon SQS sebagai pemicu untuk melakukan penskalaan otomatis pada penerapan kubernetes. Kebijakan tersebut menanyakan jumlah pemanggilan untuk titik akhir Sagemaker dan menskalakan jumlah pod penerapan. Daftar lengkap parameter yang didukung oleh KEDA untuk aws-cloudwatch pemicu dapat ditemukan di https://keda. sh/docs/2.17/scalers/aws-sqs/.

apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:
  name: invocations-scaledobject # name of the scaled object that will be created by this
  namespace: ns-team-a # namespace that this scaled object targets
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: $DEPLOYMENT_NAME # name of the model deployment
  minReplicaCount: 1 # minimum number of pods to be maintained
  maxReplicaCount: 4 # maximum number of pods to scale to
  pollingInterval: 10
  triggers:
  - type: aws-sqs-queue
    metadata:
      queueURL: https://sqs.eu-west-1.amazonaws.com/account_id/QueueName
      queueLength: "5"  # Default: "5"
      awsRegion: "us-west-1"
      scaleOnInFlight: true
      identityOwner: operator

Metrik Prometheus

Kebijakan yaml KEDA berikut menggunakan metrik Prometheus sebagai pemicu untuk melakukan penskalaan otomatis pada penerapan kubernetes. Kebijakan tersebut menanyakan jumlah pemanggilan untuk titik akhir Sagemaker dan menskalakan jumlah pod penerapan. Daftar lengkap parameter yang didukung oleh KEDA untuk aws-cloudwatch pemicu dapat ditemukan di https://keda. sh/docs/2.17/scalers/prometheus/.

apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:
  name: invocations-scaledobject # name of the scaled object that will be created by this
  namespace: ns-team-a # namespace that this scaled object targets
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: $DEPLOYMENT_NAME # name of the model deployment
  minReplicaCount: 1 # minimum number of pods to be maintained
  maxReplicaCount: 4 # maximum number of pods to scale to
  pollingInterval: 10
  triggers:
  - type: prometheus
    metadata:
      serverAddress: http://<prometheus-host>:9090
      query: avg(rate(http_requests_total{deployment="$DEPLOYMENT_NAME"}[2m])) # Note: query must return a vector/scalar single element response
      threshold: '100.50'
      namespace: example-namespace  # for namespaced queries, eg. Thanos
      customHeaders: X-Client-Id=cid,X-Tenant-Id=tid,X-Organization-Id=oid # Optional. Custom headers to include in query. In case of auth header, use the custom authentication or relevant authModes.
      unsafeSsl: "false" #  Default is `false`, Used for skipping certificate check when having self-signed certs for Prometheus endpoint    
      timeout: 1000 # Custom timeout for the HTTP client used in this scaler
      identityOwner: operator

Metrik CPU

Kebijakan yaml KEDA berikut menggunakan metrik cpu sebagai pemicu untuk melakukan penskalaan otomatis pada penerapan kubernetes. Kebijakan tersebut menanyakan jumlah pemanggilan untuk titik akhir Sagemaker dan menskalakan jumlah pod penerapan. Daftar lengkap parameter yang didukung oleh KEDA untuk aws-cloudwatch pemicu dapat ditemukan di https://keda. sh/docs/2.17/scalers/prometheus/.

apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:
  name: invocations-scaledobject # name of the scaled object that will be created by this
  namespace: ns-team-a # namespace that this scaled object targets
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: $DEPLOYMENT_NAME # name of the model deployment
  minReplicaCount: 1 # minimum number of pods to be maintained
  maxReplicaCount: 4 # maximum number of pods to scale to
  pollingInterval: 10
  triggers:
  - type: cpu
    metricType: Utilization # Allowed types are 'Utilization' or 'AverageValue'
    metadata:
        value: "60"
        containerName: "" # Optional. You can use this to target a specific container

Metrik memori

Kebijakan yaml KEDA berikut menggunakan kueri metrik Prometheus sebagai pemicu untuk melakukan penskalaan otomatis pada penerapan kubernetes. Kebijakan tersebut menanyakan jumlah pemanggilan untuk titik akhir Sagemaker dan menskalakan jumlah pod penerapan. Daftar lengkap parameter yang didukung oleh KEDA untuk aws-cloudwatch pemicu dapat ditemukan di https://keda. sh/docs/2.17/scalers/prometheus/.

apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:
  name: invocations-scaledobject # name of the scaled object that will be created by this
  namespace: ns-team-a # namespace that this scaled object targets
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: $DEPLOYMENT_NAME # name of the model deployment
  minReplicaCount: 1 # minimum number of pods to be maintained
  maxReplicaCount: 4 # maximum number of pods to scale to
  pollingInterval: 10
  triggers:
  - type: memory
    metricType: Utilization # Allowed types are 'Utilization' or 'AverageValue'
    metadata:
        value: "60"
        containerName: "" # Optional. You can use this to target a specific container in a pod

Contoh kebijakan Prometheus untuk menurunkan skala ke 0 pod

Kebijakan yaml KEDA berikut menggunakan kueri metrik prometheus sebagai pemicu untuk melakukan penskalaan otomatis pada penerapan kubernetes. Kebijakan ini menggunakan 0 minReplicaCount yang memungkinkan KEDA untuk menskalakan penerapan ke 0 pod. Ketika minReplicaCount diatur ke 0, Anda perlu memberikan kriteria aktivasi untuk memunculkan pod pertama, setelah pod diturunkan ke 0. Untuk pemicu Prometheus, nilai ini disediakan oleh. activationThreshold Untuk antrian SQS, itu berasal dari. activationQueueLength

apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:
  name: invocations-scaledobject # name of the scaled object that will be created by this
  namespace: ns-team-a # namespace that this scaled object targets
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: $DEPLOYMENT_NAME # name of the model deployment
  minReplicaCount: 0 # minimum number of pods to be maintained
  maxReplicaCount: 4 # maximum number of pods to scale to
  pollingInterval: 10
  cooldownPeriod:  30
  initialCooldownPeriod:  180 # time before scaling down the pods after initial deployment
  triggers:
  - type: prometheus
    metadata:
      serverAddress: http://<prometheus-host>:9090
      query: sum(rate(http_requests_total{deployment="my-deployment"}[2m])) # Note: query must return a vector/scalar single element response
      threshold: '100.50'
      activationThreshold: '5.5' # Required if minReplicaCount is 0 for initial scaling
      namespace: example-namespace
      timeout: 1000
      identityOwner: operator