Amazon EMR 클러스터에 작업을 제출하는 경우 단계 취소 - Amazon EMR

Amazon EMR 클러스터에 작업을 제출하는 경우 단계 취소

클러스터로 작업을 제출하는 경우 AWS Management 콘솔, AWS CLI 또는 Amazon EMR에서 보류 중 및 실행 중인 단계를 취소할 수 있습니다. API.

Console
콘솔을 사용하여 단계를 취소하는 방법

  1. AWS Management 콘솔에 로그인한 후 https://console.aws.amazon.com/emr에서 Amazon EMR 콘솔을 엽니다.

  2. 왼쪽 탐색 창의 EMR on EC2에서 클러스터를 선택하고 업데이트할 클러스터를 선택합니다.

  3. 클러스터 세부 정보 페이지의 단계 탭에서 취소하려는 단계 옆의 확인란을 선택합니다. 작업 드롭다운 메뉴를 선택한 다음 단계 취소를 선택합니다.

  4. 단계 취소 대화 상자에서 단계를 취소하고 종료될 때까지 기다리거나 단계를 취소하고 강제로 종료하도록 선택합니다. 그 다음 확인을 선택합니다.

  5. 단계 테이블의 단계 상태가 CANCELLED로 변경됩니다.

CLI
AWS CLI를 사용하여 취소하는 방법

  • 클러스터와 취소할 단계를 지정하여 [aws emr cancel-steps] 명령을 사용합니다. 다음 예제에서는 두 개의 단계를 취소하는 AWS CLI 명령을 보여줍니다.

    aws emr cancel-steps --cluster-id j-2QUAXXXXXXXXX \
--step-ids s-3M8DXXXXXXXXX s-3M8DXXXXXXXXX \
--step-cancellation-option SEND_INTERRUPT

Amazon EMR 버전 5.28.0에서는 단계를 취소할 때 StepCancellationOption 파라미터에 대해 다음 두 가지 취소 옵션 중 하나를 선택할 수 있습니다.

  • SEND_INTERRUPT - 기본 옵션입니다. 단계 취소 요청이 수신되면 EMR은 단계에 SIGTERM 신호를 보냅니다. SIGTERM 신호 처리기를 단계 로직에 추가하여 이 신호를 포착하고 하위 단계 프로세스를 종료하거나 완료될 때까지 기다립니다.

  • TERMINATE_PROCESS - 이 옵션을 선택하면 EMR은 해당 단계 및 모든 위 프로세스에 SIGKILL 신호를 보내고, 이 신호는 단계를 즉시 종료합니다.

단계 취소 고려 사항

  • 실행 중 또는 보류 중인 단계를 취소하면 활성 단계 계산에서 해당 단계가 제거됩니다.

  • 실행 중인 단계를 취소해도 보류 중인 단계는 실행을 시작할 수 없습니다. 이때 stepConcurrencyLevel에 대한 변경 사항이 없다고 가정합니다.

  • 실행 중인 단계를 취소해도 단계 ActionOnFailure가 트리거되지 않습니다.

  • EMR 5.32.0 이상에서 SEND_INTERRUPT StepCancellationOption은 단계 하위 프로세스에 SIGTERM 신호를 보냅니다. 이 신호에 주의하여 정리 작업을 수행하고 단계적으로 종료해야 합니다. TERMINATE_PROCESS StepCancellationOption은 단계 하위 프로세스 및 모든 하위 프로세스에 SIGKILL 신호를 보내지만 비동기 프로세스는 영향을 받지 않습니다.