Voraussetzungen für die Erstellung eines interaktiven Endpunkts auf Amazon EMR in EKS - Amazon EMR

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Voraussetzungen für die Erstellung eines interaktiven Endpunkts auf Amazon EMR in EKS

In diesem Abschnitt werden die Voraussetzungen für die Einrichtung eines interaktiven Endpunkts beschrieben, mit dem EMR Studio eine Verbindung zu einem Amazon EMR in EKS-Cluster herstellen und interaktive Workloads ausführen kann.

AWS CLI

Folgen Sie den Schritten unter Installation oder Aktualisierung auf die neueste Version von AWS CLI, um die neueste Version von AWS Command Line Interface ()AWS CLI zu installieren.

Installation von eksctl

Folgen Sie den Schritten unter Kubectl installieren, um die neueste Version von eksctl zu installieren. Wenn Sie Kubernetes-Version 1.22 oder höher für Ihren Amazon-EKS-Cluster verwenden, verwenden Sie eine eksctl-Version größer als 0.117.0.

Amazon-EKS-Cluster

Erstellen Sie einen Amazon-EKS-Cluster. Im folgenden Beispiel wird gezeigt, wie Sie einen Amazon EMR in EKS-Cluster erstellen. Nachfolgend werden Anforderungen und Überlegungen für diesen Cluster aufgeführt:

  • Der Cluster muss sich in derselben Amazon Virtual Private Cloud (VPC) befinden wie Ihr EMR Studio.

  • Der Cluster muss über mindestens ein privates Subnetz verfügen, um interaktive Endpunkte zu aktivieren, Git-basierte Repositorys zu verknüpfen und den Application Load Balancer im privaten Modus zu starten.

  • Es muss mindestens ein gemeinsames privates Subnetz zwischen Ihrem EMR Studio und dem Amazon-EKS-Cluster geben, den Sie für die Registrierung Ihres virtuellen Clusters verwenden. Dadurch wird sichergestellt, dass Ihr interaktiver Endpunkt als Option in Ihren Studio-Workspaces angezeigt wird, und die Konnektivität von Studio zum Application Load Balancer aktiviert.

    Sie können zwischen zwei Methoden wählen, um Ihr Studio und Ihren Amazon-EKS-Cluster zu verbinden:

    • Erstellen Sie einen Amazon-EKS-Cluster und verknüpfen Sie ihn mit den Subnetzen, die zu Ihrem EMR Studio gehören.

    • Alternativ können Sie ein EMR Studio erstellen und die privaten Subnetze für Ihren Amazon-EKS-Cluster angeben.

  • Amazon EKS-optimiertes ARM Amazon Linux AMIs wird für Amazon EMR auf interaktiven EKS-Endpunkten nicht unterstützt.

  • Interaktive Endpunkte funktionieren mit Amazon EKS-Clustern, die Kubernetes-Versionen bis 1.30 verwenden.

  • Es werden nur von Amazon EKS verwaltete Knotengruppen unterstützt.

Gewähren eines Clusterzugriff für Amazon EMR in EKS

Verwenden Sie die Schritte unter Clusterzugriff für Amazon EMR in EKS gewähren, um Amazon EMR in EKS Zugriff auf einen bestimmten Namespace in Ihrem Cluster zu gewähren.

IRSA im Amazon-EKS-Cluster aktivieren

Um IAM-Rollen für Servicekonten (IRSA) auf dem Amazon-EKS-Cluster zu aktivieren, folgen Sie den Schritten unter Aktivieren von IAM-Rollen für Servicekonten (IRSA).

Eine IAM-Auftragausführungsrolle erstellen

Sie müssen eine IAM-Rolle erstellen, um Workloads auf Amazon EMR auf interaktiven EKS-Endpunkten auszuführen. In dieser Dokumentation wird diese IAM-Rolle als Auftragsausausführungsrolle bezeichnet. Diese IAM-Rolle wird sowohl dem interaktiven Endpunkt-Container als auch den eigentlichen Ausführungscontainern zugewiesen, die erstellt werden, wenn Sie Aufträge mit EMR Studio einreichen. Sie benötigen den Amazon-Ressourcennamen (ARN) Ihrer Aufgabenausführungsrolle für Amazon EMR auf EKS. Dazu sind zwei Schritte erforderlich:

Gewähren Sie Benutzern Zugriff auf Amazon EMR in EKS

Die IAM-Entität (Benutzer oder Rolle), die die Anforderung zur Erstellung eines interaktiven Endpunkts stellt, muss außerdem über die folgenden Amazon EC2 - und emr-containers Berechtigungen verfügen. Folgen Sie den unter Gewähren Sie Benutzern Zugriff auf Amazon EMR in EKS beschriebenen Schritten, um diese Berechtigungen zu gewähren, die es Amazon EMR in EKS ermöglichen, die Sicherheitsgruppen zu erstellen, zu verwalten und zu löschen, die den eingehenden Datenverkehr auf den Load Balancer Ihres interaktiven Endpunkts beschränken.

Die folgenden emr-containers-Berechtigungen ermöglichen es dem Benutzer, grundlegende interaktive Endpunktoperationen durchzuführen:

"ec2:CreateSecurityGroup", "ec2:DeleteSecurityGroup", "ec2:AuthorizeSecurityGroupEgress", "ec2:AuthorizeSecurityGroupIngress", "ec2:RevokeSecurityGroupEgress", "ec2:RevokeSecurityGroupIngress" "emr-containers:CreateManagedEndpoint", "emr-containers:ListManagedEndpoints", "emr-containers:DescribeManagedEndpoint", "emr-containers:DeleteManagedEndpoint"

Den Amazon-EKS-Cluster mit Amazon EMR registrieren

Richten Sie einen virtuellen Cluster ein und ordnen Sie ihn dem Namespace im Amazon-EKS-Cluster zu, in dem Sie Ihre Aufträge ausführen möchten. Verwenden Sie für AWS Fargate reine Cluster denselben Namespace sowohl für den virtuellen Amazon EMR on EKS-Cluster als auch für das Fargate-Profil.

Informationen zur Einrichtung eines virtuellen Amazon EMR auf einem EKS-Cluster finden Sie unter Den Amazon-EKS-Cluster mit Amazon EMR registrieren.

Stellen Sie den AWS Load Balancer Controller auf dem Amazon EKS-Cluster bereit

Für Ihren Amazon EKS-Cluster ist ein AWS Application Load Balancer erforderlich. Sie müssen nur einen Application-Load-Balancer-Controller pro Amazon-EKS-Cluster einrichten. Informationen zur Einrichtung des AWS Application Load Balancer Balancer-Controllers finden Sie unter Installation des Load AWS Balancer Controller-Add-ons im Amazon EKS-Benutzerhandbuch.