기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

HyperPod 추론 모델 배포를 위한 Autoscaling 정책

다음 정보는 Amazon SageMaker HyperPod 추론 모델 배포에 오토 스케일링 정책을 구현하기 위한 실제 예제와 구성을 제공합니다.

autoScalingSpec 배포 YAML 파일에 내장된를 사용하여 자동 조정을 구성하는 방법과 고급 조정 시나리오를 위한 독립 실행형 KEDA ScaledObject 구성을 생성하는 방법을 알아봅니다. 이 예제에서는 CloudWatch 지표, Amazon SQS 대기열 길이, Prometheus 쿼리, CPU 및 메모리와 같은 리소스 사용률 지표를 기반으로 하는 조정 트리거를 다룹니다.

배포 YAML에서 autoScalingSpec 사용

Amazon SageMaker HyperPod 추론 운영자는 CloudWatch 및 Amazon Managed Prometheus(AMP)의 지표를 사용하여 모델 배포를 위한 기본 Auto Scaling 기능을 제공합니다. 다음 배포 YAML 예제에는 모델 배포 규모 조정을 위한 구성 값을 정의하는 autoScalingSpec 섹션이 포함되어 있습니다.

apiVersion: inference.sagemaker.aws.amazon.com/v1alpha1
kind: JumpStartModel
metadata:
  name: deepseek-sample624
  namespace: ns-team-a
spec:
  sageMakerEndpoint:
    name: deepsek7bsme624
  model:
    modelHubName: SageMakerPublicHub
    modelId: deepseek-llm-r1-distill-qwen-1-5b
    modelVersion: 2.0.4
  server:
    instanceType: ml.g5.8xlarge
  metrics:
    enabled: true
  environmentVariables:
    - name: SAMPLE_ENV_VAR
      value: "sample_value"
  maxDeployTimeInSeconds: 1800
  tlsConfig:
    tlsCertificateOutputS3Uri: "s3://{USER}-tls-bucket-{REGION}/certificates"
  autoScalingSpec:
    minReplicaCount: 0
    maxReplicaCount: 5
    pollingInterval: 15
    initialCooldownPeriod: 60
    cooldownPeriod: 120
    scaleDownStabilizationTime: 60
    scaleUpStabilizationTime: 0
    cloudWatchTrigger:
        name: "SageMaker-Invocations"
        namespace: "AWS/SageMaker"
        useCachedMetrics: false
        metricName: "Invocations"
        targetValue: 10.5
        activationTargetValue: 5.0
        minValue: 0.0
        metricCollectionStartTime: 300
        metricCollectionPeriod: 30
        metricStat: "Sum"
        metricType: "Average"
        dimensions:
          - name: "EndpointName"
            value: "deepsek7bsme624"
          - name: "VariantName"
            value: "AllTraffic"
    prometheusTrigger: 
        name: "Prometheus-Trigger"
        useCachedMetrics: false
        serverAddress: http://<prometheus-host>:9090
        query: sum(rate(http_requests_total{deployment="my-deployment"}[2m]))
        targetValue: 10.0
        activationTargetValue: 5.0
        namespace: "namespace"
        customHeaders: "X-Client-Id=cid"
        metricType: "Value"

배포 YAML에 사용되는 필드 설명

kubectl을 통해 KEDA ScaledObject yaml 정의 사용

배포 YAML의 autoScalingSpec 섹션을 통해 자동 크기 조정을 구성하는 것 외에도 kubectl을 사용하여 독립 실행형 KEDA ScaledObject YAML 정의를 생성하고 적용할 수 있습니다.

이 접근 방식은 복잡한 조정 시나리오에 대한 유연성을 높이고 모델 배포와 독립적으로 Auto Scaling 정책을 관리할 수 있습니다. KEDA ScaledObject 구성은 CloudWatch 지표, Amazon SQS 대기열 길이, Prometheus 쿼리, CPU 및 메모리 사용률과 같은 리소스 기반 지표를 포함한 다양한 조정 트리거를 지원합니다. ScaledObject 사양의 scaleTargetRef 섹션에서 배포 이름을 참조하여 이러한 구성을 기존 모델 배포에 적용할 수 있습니다.

CloudWatch 지표

다음 KEDA yaml 정책은 CloudWatch 지표를 트리거로 사용하여 kubernetes 배포에서 Auto Scaling을 수행합니다. 이 정책은 Sagemaker 엔드포인트에 대한 호출 수를 쿼리하고 배포 포드 수를 조정합니다. aws-cloudwatch 트리거에 대해 KEDA에서 지원하는 파라미터의 전체 목록은 https://keda.sh/docs/2.17/scalers/aws-cloudwatch/ 확인할 수 있습니다.

apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:
  name: invocations-scaledobject # name of the scaled object that will be created by this
  namespace: ns-team-a # namespace that this scaled object targets
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: $DEPLOYMENT_NAME # name of the model deployment
  minReplicaCount: 1 # minimum number of pods to be maintained
  maxReplicaCount: 4 # maximum number of pods to scale to
  pollingInterval: 10
  triggers:
  - type: aws-cloudwatch
    metadata:
      namespace: AWS/SageMaker
      metricName: Invocations
      targetMetricValue: "1"
      minMetricValue: "1"
      awsRegion: "us-west-2"
      dimensionName: EndpointName;VariantName
      dimensionValue: $ENDPOINT_NAME;$VARIANT_NAME
      metricStatPeriod: "30" # seconds
      metricStat: "Sum"
      identityOwner: operator

Amazon SQS 지표

다음 KEDA yaml 정책은 Amazon SQS 지표를 트리거로 사용하여 kubernetes 배포에서 자동 크기 조정을 수행합니다. 이 정책은 Sagemaker 엔드포인트에 대한 호출 수를 쿼리하고 배포 포드 수를 조정합니다. aws-cloudwatch 트리거에 대해 KEDA에서 지원하는 파라미터의 전체 목록은 https://keda.sh/docs/2.17/scalers/aws-sqs/ 확인할 수 있습니다.

apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:
  name: invocations-scaledobject # name of the scaled object that will be created by this
  namespace: ns-team-a # namespace that this scaled object targets
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: $DEPLOYMENT_NAME # name of the model deployment
  minReplicaCount: 1 # minimum number of pods to be maintained
  maxReplicaCount: 4 # maximum number of pods to scale to
  pollingInterval: 10
  triggers:
  - type: aws-sqs-queue
    metadata:
      queueURL: https://sqs.eu-west-1.amazonaws.com/account_id/QueueName
      queueLength: "5"  # Default: "5"
      awsRegion: "us-west-1"
      scaleOnInFlight: true
      identityOwner: operator

Prometheus 지표

다음 KEDA yaml 정책은 Prometheus 지표를 트리거로 사용하여 kubernetes 배포에서 자동 크기 조정을 수행합니다. 이 정책은 Sagemaker 엔드포인트에 대한 호출 수를 쿼리하고 배포 포드 수를 조정합니다. aws-cloudwatch 트리거에 대해 KEDA에서 지원하는 파라미터의 전체 목록은 https://keda.sh/docs/2.17/scalers/prometheus/ 확인할 수 있습니다.

apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:
  name: invocations-scaledobject # name of the scaled object that will be created by this
  namespace: ns-team-a # namespace that this scaled object targets
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: $DEPLOYMENT_NAME # name of the model deployment
  minReplicaCount: 1 # minimum number of pods to be maintained
  maxReplicaCount: 4 # maximum number of pods to scale to
  pollingInterval: 10
  triggers:
  - type: prometheus
    metadata:
      serverAddress: http://<prometheus-host>:9090
      query: avg(rate(http_requests_total{deployment="$DEPLOYMENT_NAME"}[2m])) # Note: query must return a vector/scalar single element response
      threshold: '100.50'
      namespace: example-namespace  # for namespaced queries, eg. Thanos
      customHeaders: X-Client-Id=cid,X-Tenant-Id=tid,X-Organization-Id=oid # Optional. Custom headers to include in query. In case of auth header, use the custom authentication or relevant authModes.
      unsafeSsl: "false" #  Default is `false`, Used for skipping certificate check when having self-signed certs for Prometheus endpoint    
      timeout: 1000 # Custom timeout for the HTTP client used in this scaler
      identityOwner: operator

CPU 지표

다음 KEDA yaml 정책은 cpu 지표를 트리거로 사용하여 kubernetes 배포에서 Auto Scaling을 수행합니다. 이 정책은 Sagemaker 엔드포인트에 대한 호출 수를 쿼리하고 배포 포드 수를 조정합니다. aws-cloudwatch 트리거에 대해 KEDA에서 지원하는 파라미터의 전체 목록은 https://keda.sh/docs/2.17/scalers/prometheus/ 확인할 수 있습니다.

apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:
  name: invocations-scaledobject # name of the scaled object that will be created by this
  namespace: ns-team-a # namespace that this scaled object targets
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: $DEPLOYMENT_NAME # name of the model deployment
  minReplicaCount: 1 # minimum number of pods to be maintained
  maxReplicaCount: 4 # maximum number of pods to scale to
  pollingInterval: 10
  triggers:
  - type: cpu
    metricType: Utilization # Allowed types are 'Utilization' or 'AverageValue'
    metadata:
        value: "60"
        containerName: "" # Optional. You can use this to target a specific container

메모리 지표

다음 KEDA yaml 정책은 Prometheus 지표 쿼리를 트리거로 사용하여 kubernetes 배포에서 자동 크기 조정을 수행합니다. 이 정책은 Sagemaker 엔드포인트에 대한 호출 수를 쿼리하고 배포 포드 수를 조정합니다. aws-cloudwatch 트리거에 대해 KEDA에서 지원하는 파라미터의 전체 목록은 https://keda.sh/docs/2.17/scalers/prometheus/ 확인할 수 있습니다.

apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:
  name: invocations-scaledobject # name of the scaled object that will be created by this
  namespace: ns-team-a # namespace that this scaled object targets
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: $DEPLOYMENT_NAME # name of the model deployment
  minReplicaCount: 1 # minimum number of pods to be maintained
  maxReplicaCount: 4 # maximum number of pods to scale to
  pollingInterval: 10
  triggers:
  - type: memory
    metricType: Utilization # Allowed types are 'Utilization' or 'AverageValue'
    metadata:
        value: "60"
        containerName: "" # Optional. You can use this to target a specific container in a pod

포드를 0개로 축소하기 위한 샘플 Prometheus 정책

다음 KEDA yaml 정책은 prometheus 지표 쿼리를 트리거로 사용하여 kubernetes 배포에서 자동 크기 조정을 수행합니다. 이 정책은 KEDA가 배포를 0개의 포드로 축소할 수 있는 0minReplicaCount의를 사용합니다. minReplicaCount가 0으로 설정된 경우 포드가 0으로 축소된 후 첫 번째 포드를 가져오려면 활성화 기준을 제공해야 합니다. Prometheus 트리거의 경우이 값은에서 제공합니다activationThreshold. SQS 대기열의 경우에서 가져옵니다activationQueueLength.

apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:
  name: invocations-scaledobject # name of the scaled object that will be created by this
  namespace: ns-team-a # namespace that this scaled object targets
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: $DEPLOYMENT_NAME # name of the model deployment
  minReplicaCount: 0 # minimum number of pods to be maintained
  maxReplicaCount: 4 # maximum number of pods to scale to
  pollingInterval: 10
  cooldownPeriod:  30
  initialCooldownPeriod:  180 # time before scaling down the pods after initial deployment
  triggers:
  - type: prometheus
    metadata:
      serverAddress: http://<prometheus-host>:9090
      query: sum(rate(http_requests_total{deployment="my-deployment"}[2m])) # Note: query must return a vector/scalar single element response
      threshold: '100.50'
      activationThreshold: '5.5' # Required if minReplicaCount is 0 for initial scaling
      namespace: example-namespace
      timeout: 1000
      identityOwner: operator