SageMaker HyperPod 클러스터 스케일 다운

Amazon SageMaker HyperPod 클러스터에서 실행 중인 인스턴스 수를 스케일 다운할 수 있습니다. 리소스 사용률 감소 또는 비용 최적화와 같은 다양한 이유로 클러스터를 스케일 다운할 수 있습니다.

다음 페이지에서는 스케일 다운에 대한 두 가지 주요 접근 방식을 간략하게 설명합니다.

중요 고려 사항

인스턴스 그룹 수준에서 스케일 다운

UpdateCluster 작업을 통해 인스턴스 그룹의 인스턴스 수를 스케일 다운하거나 전체 인스턴스 그룹을 제거하는 등 SageMaker HyperPod 클러스터의 구성을 변경할 수 있습니다. 이는 워크로드의 변경 사항에 따라 클러스터에 할당된 리소스를 조정하거나, 비용을 최적화하거나, 인스턴스 그룹의 인스턴스 유형을 변경하려는 경우에 유용할 수 있습니다.

인스턴스 그룹 스케일 다운

인스턴스 그룹 중에 유휴 상태이고 스케일 다운을 위해 인스턴스를 종료해도 안전한 것이 있는 경우 이 접근 방식을 사용합니다. 스케일 다운을 위한 UpdateCluster 요청을 제출하면 HyperPod는 종료할 인스턴스를 무작위로 선택하고 해당 인스턴스 그룹에 지정된 노드 수로 스케일 다운합니다.

다음은 UpdateCluster JSON 객체의 예입니다. 인스턴스 그룹에 현재 실행 중인 인스턴스가 두 개 있는 경우를 생각해 보세요. 예시와 같이 InstanceCount 필드를 1로 설정하면 HyperPod는 인스턴스 중 하나를 임의로 선택하고 종료합니다.

{
  "ClusterName": "name-of-cluster-to-update",
  "InstanceGroups": [
    {
      "InstanceGroupName": "training-instances",
      "InstanceType": "instance-type",
      "InstanceCount": 1,
      "LifeCycleConfig": {
        "SourceS3Uri": "s3://amzn-s3-demo-bucket/training-script.py",
        "OnCreate": "s3://amzn-s3-demo-bucket/setup-script.sh"
      },
      "ExecutionRole": "arn:aws:iam::123456789012:role/SageMakerRole",
      "ThreadsPerCore": number-of-threads,
      "OnStartDeepHealthChecks": [
        "InstanceStress",
        "InstanceConnectivity"
      ]
    }
  ],
  "NodeRecovery": "Automatic"
}

인스턴스 그룹 삭제

더 이상 필요하지 않은 경우 UpdateCluster 작업을 사용하여 SageMaker HyperPod 클러스터에서 전체 인스턴스 그룹을 제거할 수 있습니다. 이는 단순한 스케일 다운을 넘어 클러스터 구성에서 특정 인스턴스 그룹을 완전히 제거하는 작업입니다.

다음은 UpdateCluster JSON 객체의 예입니다. 클러스터에 현재 세 개의 인스턴스 그룹, 즉 training, prototype-training 및 inference-serving 그룹이 있는 경우를 생각해 보세요. prototype-training 그룹을 삭제하려고 합니다.

{
  "ClusterName": "name-of-cluster-to-update",
  "InstanceGroups": [
    {
      "InstanceGroupName": "training",
      "InstanceType": "instance-type",
      "InstanceCount": ,
      "LifeCycleConfig": {
        "SourceS3Uri": "s3://amzn-s3-demo-bucket/training-script.py",
        "OnCreate": "s3://amzn-s3-demo-bucket/setup-script.sh"
      },
      "ExecutionRole": "arn:aws:iam::123456789012:role/SageMakerRole",
      "ThreadsPerCore": number-of-threads,
      "OnStartDeepHealthChecks": [
        "InstanceStress",
        "InstanceConnectivity"
      ]
    },
    {
      "InstanceGroupName": "inference-serving",
      "InstanceType": "instance-type",
      "InstanceCount": 2,
      [...]
    },
  ],
  "InstanceGroupsToDelete": [ "prototype-training" ],
  "NodeRecovery": "Automatic"
}

인스턴스 수준에서 스케일 다운

BatchDeleteClusterNodes 작업을 사용하면 종료하려는 개별 노드를 지정하여 SageMaker HyperPod 클러스터를 스케일 다운할 수 있습니다. BatchDeleteClusterNodes는 대상 노드 제거 및 클러스터 최적화를 위한 보다 세분화된 제어를 제공합니다. 예를 들어 BatchDeleteClusterNodes를 사용하여 유지 관리, 롤링 업그레이드 또는 리소스의 지리적 재분배를 위해 대상 노드를 삭제할 수 있습니다.

API 요청 및 응답

BatchDeleteClusterNodes 요청을 제출하면 SageMaker HyperPod는 인스턴스 ID를 기준으로 노드를 삭제합니다. API는 클러스터 이름과 삭제할 노드 ID 목록이 포함된 요청을 수락합니다.

응답에는 다음 두 섹션이 포함됩니다.

검증 및 오류 처리

API는 다음과 같은 다양한 검증을 수행합니다.

API 응답 코드

예제

다음은 AWS CLI를 사용하여 인스턴스 수준에서 클러스터를 스케일 다운하는 예시입니다.

aws sagemaker batch-delete-cluster-nodes --cluster-name "cluster-name" --node-ids '["i-111112222233333", "i-111112222233333"]'