Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Was passiert, wenn Sie Arbeiten an einen virtuellen Amazon EMR on EKS-Cluster einreichen?
Durch die Registrierung von Amazon EMR mit einem Kubernetes-Namespace auf Amazon EKS wird ein virtueller Cluster erstellt. Amazon EMR kann dann Analytics-Workloads in diesem Namespace ausführen. Wenn Sie Amazon EMR in EKS verwenden, um Spark-Aufträge an den virtuellen Cluster zu senden, fordert Amazon EMR in EKS den Kubernetes-Planer auf Amazon EKS auf, Pods zu planen.
Die folgenden Schritte und das Diagramm veranschaulichen den Arbeitsablauf von Amazon EMR in EKS:
-
Verwenden Sie einen vorhandenen Amazon-EKS-Cluster oder erstellen Sie einen mit dem Befehlszeilenprogramm eksctl oder der Amazon-EKS-Konsole.
-
Erstellen Sie einen virtuellen Cluster, indem Sie Amazon EMR mit einem Namespace auf einem EKS-Cluster registrieren.
-
Senden Sie Ihren Auftrag mithilfe des SDK AWS CLI oder an den virtuellen Cluster.
Für jeden Auftrag, den Sie ausführen, erstellt Amazon EMR in EKS einen Container mit einem Amazon-Linux-2-Basis-Image, Apache Spark und zugehörigen Abhängigkeiten. Jeder Auftrag wird in einem Pod ausgeführt, der den Container herunterlädt und mit der Ausführung beginnt. Der Pod wird beendet, nachdem der Auftrag beendet wurde. Wenn das Image des Containers zuvor auf dem Knoten bereitgestellt wurde, wird ein zwischengespeichertes Image verwendet und der Download wird umgangen. Sidecar-Container, wie z. B. Protokoll- oder Metrik-Forwarder, können im Pod bereitgestellt werden. Nachdem der Auftrag beendet wurde, können Sie ihn immer noch mit der Benutzeroberfläche der Spark-Anwendung in der Amazon-EMR-Konsole debuggen.
