Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Einrichten von spark-submit für Amazon EMR in EKS
Führen Sie die folgenden Aufgaben aus, um eine Anwendung mit spark-submit in Amazon EMR in EKS ausführen zu können. Wenn Sie bereits für Amazon Web Services (AWS) registriert sind und Amazon EKS schon verwendet haben, müssen Sie nur wenige Schritte ausführen, um Amazon EMR in EKS nutzen zu können. Wenn Sie bereits eine der Voraussetzungen erfüllt haben, können Sie diese überspringen und mit der nächsten fortfahren.
-
Installieren oder aktualisieren Sie auf die neueste Version von AWS CLI— Falls Sie die bereits installiert haben, vergewissern Sie sich AWS CLI, dass Sie über die neueste Version verfügen.
-
Richten Sie kubectl und eksctl ein — eksctl ist ein Befehlszeilentool, das Sie für die Kommunikation mit Amazon EKS verwenden.
-
Erste Schritte mit Amazon EKS — eksctl — Folgen Sie den Schritten, um einen neuen Kubernetes-Cluster mit Knoten in Amazon EKS zu erstellen.
-
Eine EMR-Basis-Image-URI von Amazon auswählen (Version 6.10.0 oder höher) aus – der
spark-submit-Befehl wird von Amazon-EMR-Versionen 6.10.0 und höher unterstützt. -
Bestätigen Sie, dass das Treiberservicekonto über die entsprechenden Berechtigungen zum Erstellen und Überwachen von Executor-Pods verfügt. Weitere Informationen finden Sie unter Überprüfen Sie die Sicherheitsanforderungen für das Spark-Treiberdienstkonto für Spark-Submit.
-
Richten Sie Ihr lokales AWS -Anmeldeinformationsprofil ein.
-
Wählen Sie in der Amazon EKS-Konsole Ihren EKS-Cluster aus und suchen Sie dann den EKS-Cluster-Endpunkt unter Übersicht, Details und dann API-Serverendpunkt.
