Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Amazon EMR-Cluster-Hardware und -Netzwerke konfigurieren
Eine wichtige Überlegung beim Erstellen eines Amazon-EMR-Clusters ist die Art und Weise, wie Sie Amazon-EC2-Instances und Netzwerkoptionen konfigurieren. Dieses Kapitel behandelt diese Optionen im Detail und beschreibt entsprechende bewährte Methoden und Richtlinien.
-
Knotentypen – Amazon-EC2-Instances in einem EMR-Cluster sind in Knotentypen organisiert. Es gibt drei Knotentypen: Primärknoten, Core-Knoten und Aufgabenknoten. Jeder Knotentyp führt eine Reihe von Rollen aus, die durch die von Ihnen auf dem Cluster installierten verteilten Anwendungen definiert werden. Während eines Hadoop MapReduce - oder Spark-Jobs verarbeiten Komponenten auf Kern- und Taskknoten beispielsweise Daten, übertragen die Ausgabe an Amazon S3 oder HDFS und stellen Statusmetadaten zurück an den primären Knoten. Bei einem einzigen Knoten-Cluster werden alle Komponenten auf dem Primärknoten ausgeführt. Weitere Informationen finden Sie unter Verstehen Sie die Knotentypen in Amazon EMR: Primär-, Kern- und Task-Knoten.
-
EC2-Instances – Wenn Sie einen Cluster erstellen, treffen Sie Entscheidungen über die Amazon-EC2-Instances, auf denen jeder Knotentyp ausgeführt werden soll. Der EC2-Instance-Typ bestimmt das Verarbeitungs- und Speicherprofil des Knotens. Die Wahl der Amazon-EC2-Instance für Ihre Knoten ist wichtig, da sie das Leistungsprofil der einzelnen Knotentypen in Ihrem Cluster bestimmt. Weitere Informationen finden Sie unter Amazon EC2 EC2-Instance-Typen für die Verwendung mit Amazon EMR konfigurieren.
-
Netzwerk – Sie können Ihren Amazon-EMR-Cluster in einer VPC starten, indem Sie ein öffentliches Subnetz, ein privates Subnetz oder ein gemeinsam genutztes Subnetz verwenden. Ihre Netzwerkkonfiguration bestimmt, wie Kunden und Services Verbindungen zu Clustern herstellen können, um ihre Arbeit zu erledigen, wie Cluster mit Datenspeichern und anderen AWS -Ressourcen verbunden werden und welche Optionen Sie zur Steuerung des Datenverkehrs auf diesen Verbindungen haben. Weitere Informationen finden Sie unter Konfiguration von Netzwerken in einer VPC für Amazon EMR.
-
Instance-Gruppierung – Die Sammlung von EC2-Instances, die jeden Knotentyp hosten, wird entweder als Instance-Flotte oder als einheitliche Instance-Gruppe bezeichnet. Die Konfiguration der Instance-Gruppierung ist eine Auswahl, die Sie beim Erstellen eines Clusters treffen. Diese Auswahl bestimmt, wie Sie Ihrem Cluster Knoten hinzufügen können, während er läuft. Die Konfiguration gilt für alle Knotentypen. Er kann später nicht mehr geändert werden. Weitere Informationen finden Sie unter Erstellen Sie einen Amazon EMR-Cluster mit Instance-Flotten oder einheitlichen Instance-Gruppen.
Anmerkung
Die Konfiguration der Instance-Flotten ist nur in den Amazon-EMR-Versionen 4.8.0 und höher verfügbar, mit Ausnahme von 5.0.0 und 5.0.3.
