Création d’un cluster Amazon EMR de courte durée et exécution d’une étape à l’aide d’un kit AWS SDK - Exemples de code de kit AWS SDK

D’autres exemples de kits AWS SDK sont disponibles dans le référentiel GitHub AWS Doc SDK Examples.

Création d’un cluster Amazon EMR de courte durée et exécution d’une étape à l’aide d’un kit AWS SDK

L’exemple de code suivant montre comment créer un cluster Amazon EMR de courte durée qui exécute une étape et se termine automatiquement une fois l’étape terminée.

Python
Kit SDK pour Python (Boto3)

Créez un cluster Amazon EMR de courte durée qui estime la valeur de pi à l’aide d’Apache Spark pour paralléliser un grand nombre de calculs. La tâche écrit la sortie dans les journaux Amazon EMR et dans un compartiment Amazon Simple Storage Service (Amazon S3). Le cluster se termine automatiquement une fois la tâche terminée.

  • Créez un compartiment Amazon S3 et chargez un script de tâche.

  • Créez des rôles Gestion des identités et des accès AWS (IAM).

  • Créez les groupes de sécurité Amazon Elastic Compute Cloud (Amazon EC2).

  • Créez un cluster de courte durée et exécuter une seule étape de tâche.

Cet exemple est mieux visualisé sur GitHub. Pour obtenir un code source complet et des instructions sur la configuration et l’exécution, consultez l’exemple complet sur GitHub.

Les services utilisés dans cet exemple

  • Amazon EMR