AWS SDK를 사용하여 수명이 짧은 Amazon EMR 클러스터 생성 및 단계 실행 - AWS SDK 코드 예제

AWS SDK 예제 GitHub 리포지토리에 더 많은 AWS문서 SDK 예제가 있습니다.

AWS SDK를 사용하여 수명이 짧은 Amazon EMR 클러스터 생성 및 단계 실행

다음 코드 예제에서는 단일 단계를 실행하고 해당 단계가 완료되면 자동으로 종료되는 수명이 짧은 Amazon EMR 클러스터를 생성하는 방법을 보여줍니다.

Python
SDK for Python (Boto3)

Apache Spark를 사용하여 많은 수의 계산을 병렬화하여 pi의 값을 추정하는 수명이 짧은 Amazon EMR 클러스터를 생성합니다. 작업은 출력을 Amazon EMR 로그와 Amazon Simple Storage Service (Amazon S3) 버킷에 기록합니다. 클러스터는 작업을 완료한 후 자체적으로 종료됩니다.

  • Amazon S3 버킷을 생성하고 작업 스크립트를 업로드합니다.

  • AWS Identity and Access Management(IAM) 역할을 생성합니다.

  • Amazon Elastic Compute Cloud(Amazon EC2) 보안 그룹을 생성합니다.

  • 수명이 짧은 클러스터를 생성하고 단일 작업 단계를 실행합니다.

이 예제는 GitHub에서 가장 잘 볼 수 있습니다. 전체 소스 코드와 설정 및 실행 방법에 대한 지침은 GitHub에서 전체 예제를 참조하세요.

이 예시에서 사용되는 서비스

  • Amazon EMR