Criar um cluster do Amazon EMR de curta duração e executar uma etapa usando um AWS SDK - Exemplos de código do AWS SDK

Há mais exemplos do AWS SDK disponíveis no repositório do GitHub Documento de Exemplos do AWS SDK.

Criar um cluster do Amazon EMR de curta duração e executar uma etapa usando um AWS SDK

O exemplo de código a seguir mostra como criar um cluster do Amazon EMR de curta duração que executa uma etapa e termina automaticamente após a conclusão dessa etapa.

Python
SDK para Python (Boto3).

Crie um cluster do Amazon EMR de curta duração que estime o valor de pi usando o Apache Spark para paralelizar um grande número de cálculos. O trabalho grava a saída em logs do Amazon EMR e em um bucket do Amazon Simple Storage Service (Amazon S3). O cluster é encerrado automaticamente após a conclusão do trabalho.

  • Crie um bucket do Amazon S3 e carregue um script de trabalho.

  • Crie perfis do AWS Identity and Access Management (IAM).

  • Crie grupos de segurança do Amazon Elastic Compute Cloud (Amazon EC2).

  • Criar um cluster de curta duração e executar uma única etapa do trabalho.

Este exemplo é melhor visualizado no GitHub. Para obter o código-fonte completo e instruções sobre como configurar e executar o exemplo, consulte o exemplo completo no GitHub.

Serviços usados neste exemplo

  • Amazon EMR