Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Configuration de spark-submit pour Amazon EMR on EKS
Effectuez les tâches suivantes pour vous préparer à exécuter une application en utilisant spark-submit sur Amazon EMR on EKS. Si vous êtes déjà inscrit à Amazon Web Services (AWS) et que vous avez utilisé Amazon EKS, vous êtes presque prêt à utiliser Amazon EMR on EKS. Si vous avez déjà rempli l'une des conditions préalables, vous pouvez l'ignorer et passer à la suivante.
-
Installation ou mise à jour vers la dernière version du AWS CLI — Si vous avez déjà installé le AWS CLI, vérifiez que vous disposez de la dernière version.
-
Configurer kubectl et eksctl — eksctl est un outil de ligne de commande que vous utilisez pour communiquer avec Amazon EKS.
-
Commencez avec Amazon EKS — eksctl — Suivez les étapes pour créer un nouveau cluster Kubernetes avec des nœuds dans Amazon EKS.
-
Sélectionner l'URI d'une image de base Amazon EMR (version 6.10.0 ou supérieure) – La commande
spark-submitest prise en charge par les versions 6.10.0 et supérieures d'Amazon EMR. -
Confirmez que le compte de service du pilote dispose des autorisations nécessaires pour créer et surveiller les pods d'exécuteurs. Pour de plus amples informations, veuillez consulter Vérifiez les exigences de sécurité du compte Spark Driver Service pour Spark-Submit.
-
Configurez votre profil d'informations d'identification AWS local.
-
Dans la console Amazon EKS, choisissez votre cluster EKS, puis recherchez le point de terminaison du cluster EKS, situé sous Vue d'ensemble, Détails, puis point de terminaison du serveur API.
