Grundlegendes zu den Konzepten und der Terminologie von Amazon EMR on EKS - Amazon EMR

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Grundlegendes zu den Konzepten und der Terminologie von Amazon EMR on EKS

Amazon EMR in EKS bietet eine Bereitstellungsoption für Amazon EMR, mit der Sie Open-Source-Big-Data-Frameworks auf Amazon Elastic Kubernetes Service (Amazon EKS) ausführen können. In diesem Thema erhalten Sie Hintergrundinformationen zu einigen gebräuchlichen Begriffen, darunter Namespaces, virtuelle Cluster und Auftragsausführungen, d. h. Arbeitseinheiten, die Sie zur Bearbeitung einreichen.

Kubernetes-Namespace

Amazon EKS verwendet Kubernetes-Namespaces, um Cluster-Ressourcen auf mehrere Benutzer und Anwendungen aufzuteilen. Diese Namespaces bilden die Grundlage für Multi-Tenant-Umgebungen. Ein Kubernetes-Namespace kann entweder Amazon EC2 oder AWS Fargate als Rechenanbieter haben. Diese Flexibilität bietet Ihnen verschiedene Leistungs- und Kostenoptionen für die Ausführung Ihrer Aufträge.

Virtueller Cluster

Ein virtueller Cluster ist ein Kubernetes-Namespace, bei dem Amazon EMR registriert ist. Amazon EMR verwendet virtuelle Cluster, um Aufträge auszuführen und Endpunkte zu hosten. Mehrere virtuelle Cluster können durch denselben physischen Cluster unterstützt werden. Jeder virtuelle Cluster ist jedoch einem Namespace auf einem EKS-Cluster zugeordnet. Virtuelle Cluster erzeugen keine aktiven Ressourcen, die zu Ihrer Rechnung beitragen oder für die ein Lebenszyklus-Management außerhalb des Services erforderlich ist.

Aufgabenausführung

Eine Auftragsausführung ist eine Arbeitseinheit, z. B. eine Spark-Jar-, PySpark Skript- oder SparkSQL-Abfrage, die Sie an Amazon EMR on EKS senden. Ein Auftrag kann mehrere Auftragsausführungen haben. Wenn Sie eine Aufgabenausführung einreichen, geben Sie die folgenden Informationen an:

  • Ein virtueller Cluster, in dem der Auftrag ausgeführt werden soll.

  • Ein Auftragsname zur Identifizierung des Aufträge.

  • Die Ausführungsrolle – eine bereichsbezogene IAM-Rolle, die den Auftrag ausführt und es Ihnen ermöglicht, anzugeben, auf welche Ressourcen der Auftrag zugreifen kann.

  • Das Amazon-EMR-Versions-Label, das die Version der zu verwendenden Open-Source-Anwendungen bestimmt.

  • Die Artefakte, die Sie beim Absenden Ihres Aufträge verwenden sollen, z. B. Spark-Submit-Parameter.

Standardmäßig werden Protokolle auf den Spark-History-Server hochgeladen und sind über AWS Management Console zugänglich. Sie können auch Ereignisprotokolle, Ausführungsprotokolle und Metriken an Amazon S3 und Amazon übertragen CloudWatch.

Amazon-EMR-Container

Amazon-EMR-Containers ist der API-Name für Amazon EMR in EKS. Das emr-containers-Präfix wird in den folgenden Szenarien verwendet:

  • Es ist das Präfix in den CLI-Befehlen für Amazon EMR in EKS. Beispiel, aws emr-containers start-job-run.

  • Es ist das Präfix vor IAM-Richtlinienaktionen für Amazon EMR in EKS. Beispiel, "Action": [ "emr-containers:StartJobRun"]. Weitere Informationen finden Sie unter Richtlinienaktionen für Amazon EMR in EKS.

  • Es ist das Präfix, das in Amazon EMR in EKS-Serviceendpunkten verwendet wird. Beispiel, emr-containers.us-east-1.amazonaws.com. Weitere Informationen finden Sie unter Service-Endpunkte für Amazon EMR in EKS.