View a markdown version of this page

SageMaker HyperPod EKS 클러스터 이벤트 - Amazon SageMaker AI
사전 조건이벤트 유형콘솔에서 이벤트 보기AWS CLI를 사용하여 이벤트 나열특정 이벤트 설명Amazon EventBridge를 사용한 응답 자동화관련 주제

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

SageMaker HyperPod EKS 클러스터 이벤트

Amazon SageMaker HyperPod는 클러스터, 인스턴스 그룹 및 인스턴스 수준에서 운영 변경 사항에 대한 가시성을 제공하는 구조화된 클러스터 이벤트를 내보냅니다. 이러한 이벤트를 사용하여 프로비저닝 활동을 모니터링하고, 조정 작업을 추적하고, 장애를 감지하고, 자동 알림 파이프라인을 구축할 수 있습니다.

클러스터 이벤트는가 로 NodeProvisioningMode 설정된 HyperPod EKS 클러스터에 사용할 수 있습니다Continuous. 이벤트는 ListClusterEvents 및 DescribeClusterEvent APIs, SageMaker AI 콘솔 및 Amazon EventBridge를 통해 액세스할 수 있습니다.

전체 이벤트 스키마, 심각도 수준, 전체 이벤트 카탈로그 및 EventBridge 통합 세부 정보는 섹션을 참조하세요SageMaker HyperPod 클러스터 이벤트 참조.

사전 조건

  • HyperPod EKS 클러스터는를 로 NodeProvisioningMode 설정해야 합니다Continuous. 레거시 프로비저닝 모드를 사용하는 클러스터는 구조화된 이벤트를 내보내지 않습니다.

  • API를 사용하려면 IAM 정책에 sagemaker:ListClusterEvents 및 sagemaker:DescribeClusterEvent 권한이 필요합니다.

이벤트 유형

HyperPod는 지속적 프로비저닝 시 EKS 클러스터에 대해 두 가지 범주의 이벤트, 즉 모든 오케스트레이터에 적용되는 공통 이벤트와 EKS 관련 이벤트를 내보냅니다.

일반적인 이벤트는 인스턴스 프로비저닝 및 종료, 인스턴스 그룹 조정, 용량 예약 처리, 수명 주기 스크립트 실행, ENI 관리, FSx 파일 시스템 수명 주기, 패치 워크플로와 같은 핵심 인프라 작업을 다룹니다. 전체 목록은 HyperPod 클러스터 이벤트 참조일반적인 이벤트(EKS 및 Slurm)의 섹션을 참조하세요.

EKS별 이벤트는 EKS 액세스 항목 관리, Kubernetes 구성 업데이트(레이블 및 테인트), Karpenter Autoscaling 수명 주기, 패치 적용 중 포드 제거 및 코드/비코드, 자동 롤백을 통한 베이크 시간 경보 모니터링과 같은 오케스트레이터별 작업을 다룹니다. 이러한 이벤트는 이전에는 CloudWatch 로그를 통해서만 관찰할 수 있었던 EKS별 수명 주기 단계에 대한 가시성을 제공합니다. 전체 목록은 HyperPod 클러스터 이벤트 참조EKS 관련 이벤트의 섹션을 참조하세요.

콘솔에서 이벤트 보기

  1. SageMaker AI 콘솔을 엽니다.

  2. 왼쪽 탐색 창에서 HyperPod 클러스터를 선택합니다.

  3. 클러스터 이름을 선택합니다.

  4. 이벤트 탭을 선택합니다.

이벤트 탭에는 이벤트 수준, 이벤트 ID, 리소스 이름, 리소스 유형, 설명 및 이벤트 시간에 대한 열과 함께 페이지가 매겨진 이벤트 목록이 표시됩니다. 검색 상자를 사용하여 속성을 기준으로 이벤트를 필터링하고, 이벤트 시간을 기준으로 정렬하고, 이벤트 ID를 선택하여 이벤트 메타데이터 및 전체 이벤트 레코드를 포함한 전체 이벤트 세부 정보를 볼 수 있습니다.

AWS CLI를 사용하여 이벤트 나열

list-cluster-events 명령을 사용하여 클러스터에 대한 이벤트를 검색합니다.

aws sagemaker list-cluster-events \
    --cluster-name my-eks-cluster \
    --sort-by EventTime \
    --sort-order Descending \
    --max-results 20

다음 필터를 사용하여 결과의 범위를 좁힐 수 있습니다.

  • --resource-type - Cluster, InstanceGroup또는를 기준으로 필터링합니다Instance.

  • --instance-group-name - 특정 인스턴스 그룹에 대한 이벤트를 필터링합니다.

  • --node-id - 특정 EC2 인스턴스에 대한 이벤트를 필터링합니다.

  • --event-time-after 및 --event-time-before - 특정 기간으로 필터링합니다.

예를 들어 특정 instance-group-level 이벤트만 보려면

aws sagemaker list-cluster-events \
    --cluster-name my-eks-cluster \
    --resource-type InstanceGroup \
    --instance-group-name gpu-workers

특정 이벤트 설명

목록 출력의 이벤트 ID와 함께 describe-cluster-event 명령을 사용하여 , Description및 EventLevel를 포함한 전체 이벤트 세부 정보를 검색합니다EventMetadata.

aws sagemaker describe-cluster-event \
    --cluster-name my-eks-cluster \
    --event-id 83ea0bb5-be77-45e8-a458-0a87f778a205

반환된 이벤트 레코드의 구조와 각 필드에 대한 설명은 HyperPod 클러스터 이벤트 참조클러스터 이벤트 레코드의 섹션을 참조하세요.

Amazon EventBridge를 사용한 응답 자동화

HyperPod 클러스터 이벤트는 세부 정보 유형으로 Amazon EventBridge로 자동으로 전송되므로 LambdaSageMaker HyperPod Cluster Event, Amazon SNS, Step Functions 또는 Amazon SQS와 같은 대상으로 이벤트를 라우팅할 수 있습니다. EventLevel 필드를 필터링하여 Error 이벤트에 대한 알림만 트리거하거나 클러스터 ARN을 기준으로 필터링하여 규칙 범위를 특정 클러스터로 지정할 수 있습니다.

EventBridge 이벤트 패턴, 페이로드 예제, 관련 SageMaker HyperPod Cluster State Change 및 SageMaker HyperPod Cluster Node Health Event 세부 정보 유형은 HyperPod 클러스터 이벤트 참조EventBridge 통합의 섹션을 참조하세요.