Amazon EKS에서 노드 그룹을 사용하여 AI/ML 워크로드용 컴퓨팅 리소스 관리

다음 콘텐츠를 가진 eks-capacity-block-lt.json이라는 파일을 생성합니다:

CapacityReservationId 및 InstanceType의 내용을 용량 블록의 값으로 바꿉니다. 추가 EC2 시작 템플릿 필드에 대한 자세한 내용은 시작 템플릿을 사용한 관리형 노드 사용자 지정 및 기계 학습 워크로드용 용량 블록 사용을 참조하세요.

{
  "LaunchTemplateData": {
    "InstanceMarketOptions": {
      "MarketType": "capacity-block"
    },
    "CapacityReservationSpecification": {
      "CapacityReservationTarget": {
        "CapacityReservationId": "cr-0123456789abcdef0"
      }
    },
    "InstanceType": "p5.48xlarge"
  }
}

시작 템플릿을 생성합니다.

aws ec2 create-launch-template \
    --launch-template-name EKS-Capacity-Block-Launch-Template \
    --launch-template-data file://eks-capacity-block-lt.json

시작 템플릿을 사용하여 EKS 관리형 노드 그룹을 생성합니다. 아래 명령의 자리 표시자를 환경에 적용되는 값으로 바꿉니다. 다음 명령은 --ami-type를 AL2023 EKS 최적화 NVIDIA AMI로 설정합니다. 사용 가능한 EKS 최적화 AMI에 대한 자세한 내용은 GPU 인스턴스에 대해 EKS 최적화 가속 AMI 사용 섹션을 참조하세요. EKS 관리형 노드 그룹에 사용자 지정 AMI를 사용하는 경우 시작 템플릿에서 AMI ID를 지정합니다.

용량 블록을 사용하는 EKS 관리형 노드 그룹을 생성하는 경우 다음을 수행합니다.

생성 시 desiredSize를 0으로 설정한 경우 다음 중 하나를 사용하여 예약이 활성화되면 노드 그룹을 스케일 업합니다.

스케일 업 후 노드가 클러스터에 조인하는지 확인합니다.

EKS는 예약 종료 전 Amazon EKS 노드 그룹 용량 스케일 다운이라는 예약된 규모 조정 정책을 자동으로 생성하여 예약 종료 40분 전에 노드 그룹을 0까지 축소합니다. 이렇게 하면 EC2가 30분 시점에 인스턴스 종료를 시작하기 전에 포드를 정상적으로 드레이닝할 수 있습니다. 이 예약된 작업을 편집하거나 삭제하지 마세요.

다음 콘텐츠를 가진 eks-capacity-block-lt.json이라는 파일을 생성합니다:

CapacityReservationId 및 InstanceType의 내용을 용량 블록의 값으로 바꿉니다. 추가 EC2 시작 템플릿 필드에 대한 자세한 내용은 시작 템플릿을 사용한 관리형 노드 사용자 지정 및 기계 학습 워크로드용 용량 블록 사용을 참조하세요.

IamInstanceProfile, ImageId, SecurityGroupIds, UserData, KeyName의 내용을 환경의 값으로 바꿉니다.

{
  "LaunchTemplateData": {
    "InstanceMarketOptions": {
      "MarketType": "capacity-block"
    },
    "CapacityReservationSpecification": {
      "CapacityReservationTarget": {
        "CapacityReservationId": "cr-0123456789abcdef0"
      }
    },
    "IamInstanceProfile": {
      "Arn": "arn:aws:iam::111122223333:role/myNodeRole"
    },
    "ImageId": "image-id",
    "InstanceType": "p5.48xlarge",
    "KeyName": "key-name",
    "SecurityGroupIds": "sg-05b1d815d1EXAMPLE"
    ],
    "UserData": "user-data"
  }
}

시작 템플릿을 생성합니다.

aws ec2 create-launch-template \
    --launch-template-name EKS-Capacity-Block-Launch-Template \
    --launch-template-data file://eks-capacity-block-lt.json

자체 관리형 Amazon Linux 노드 생성의 단계에 따라 시작 템플릿을 사용하여 Auto Scaling 그룹을 생성합니다. 예약이 아직 활성화되지 않은 경우 DesiredCapacity를 0으로 설정합니다. 서브넷을 용량 예약과 동일한 가용 영역에서만 지정합니다.

DesiredCapacity를 0으로 설정하여 자체 관리형 노드를 생성한 후 용량 블록 예약 시간에 맞춰 Auto Scaling 그룹에 대한 예약된 규모 조정 정책을 생성합니다. 자세한 설명은 Amazon EC2 Auto Scaling의 예약 조정을 참조하세요.

예약 종료 시간 30분 전까지 예약된 인스턴스를 사용할 수 있습니다. 포드 드레이닝 시간이 확보되도록 종료 시간 30분 이상 전에 scale-to-zero를 예약합니다.

수동으로 규모를 조정하려면 예약 시작 시간에 그리고 종료 시간 30분 이상 전에 ASG의 원하는 용량을 업데이트합니다.

정상적으로 포드를 드레이닝하려면 AWS 노드 종료 핸들러를 설정합니다. 이 핸들러는 EventBridge를 사용하여 Amazon EC2 Auto Scaling에서 ASG 스케일 인 수명 주기 이벤트를 감시하고 인스턴스를 사용할 수 없게 되기 전에 Kubernetes 컨트롤 플레인이 조치를 취하도록 합니다. 그렇지 않으면 포드 및 Kubernetes 객체가 보류 상태에서 멈추게 됩니다. 자세한 내용은 GitHub의 AWS 노드 종료 핸들러를 참조하세요.

노드 종료 핸들러를 설정하지 않은 경우 30분 전에 수동으로 포드를 드레인하여 정상적 드레이닝에 충분한 시간을 확보하세요.