Les premiers pas avec spark-submit pour Amazon EMR on EKS - Amazon EMR
Exécution d'une application Spark

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Les premiers pas avec spark-submit pour Amazon EMR on EKS

Amazon EMR en version 6.10.0 et supérieure prend en charge spark-submit pour l'exécution d'applications Spark sur un cluster Amazon EKS. La section qui suit explique comment envoyer une commande pour une application Spark.

Exécution d'une application Spark

Pour exécuter l'application Spark, procédez comme suit :

  1. Pour pouvoir exécuter une application Spark à l'aide de la commande spark-submit, suivez les étapes indiquées dans Configuration de spark-submit pour Amazon EMR on EKS.

  2. Exécutez un conteneur avec une image de base Amazon EMR on EKS. Consultez Comment sélectionner un URI d'image de base pour plus d'informations.

    kubectl run -it containerName --image=EMRonEKSImage --command -n namespace /bin/bash

  3. Définissez les valeurs des variables d'environnement suivantes :

    export SPARK_HOME=spark-home
export MASTER_URL=k8s://Amazon EKS-cluster-endpoint

  4. Maintenant, soumettez l'application Spark avec la commande suivante :

    $SPARK_HOME/bin/spark-submit \
 --class org.apache.spark.examples.SparkPi \
 --master $MASTER_URL \
 --conf spark.kubernetes.container.image=895885662937.dkr.ecr.us-west-2.amazonaws.com/spark/emr-6.10.0:latest \
 --conf spark.kubernetes.authenticate.driver.serviceAccountName=spark \
 --deploy-mode cluster \
 --conf spark.kubernetes.namespace=spark-operator \
 local:///usr/lib/spark/examples/jars/spark-examples.jar 20

Pour plus d'informations sur la soumission des applications à Spark, consultez la rubrique Soumission d'applications dans la documentation Apache Spark.

Important

spark-submit prend uniquement en charge le mode cluster comme mécanisme de soumission.