Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Amazon EMR-Clusterfehler: Block kann nicht repliziert werden, es konnte nur auf Nullknoten repliziert werden.
Der Fehler „Replizieren von Block nicht möglich, nur Replizieren auf null Knoten möglich“ tritt in der Regel auf, wenn ein Cluster nicht über genügend HDFS-Speicher verfügt. Dieser Fehler tritt auf, wenn Sie mehr Daten in Ihrem Cluster generieren als in HDFS gespeichert werden können. Sie sehen diesen Fehler nur, während der Cluster ausgeführt wird, da der HDFS-Speicherplatz nach dem Beenden des Auftrags freigegeben wird.
Die Menge des für einen Cluster verfügbaren HDFS-Speicherplatzes hängt von der Anzahl und Art der Amazon EC2 Instances ab, die als Core-Knoten verwendet werden. Für HDFS-Speicher werden keine Aufgabenknoten verwendet. Der gesamte Speicherplatz auf jeder Amazon-EC2-Instance, einschließlich angefügter EBS-Speichervolumen, ist für HDFS verfügbar. Weitere Informationen zur Größe des lokalen Speichers für jeden EC2-Instance-Typ finden Sie unter Instance-Typen und -Familien im Amazon EC2 EC2-Benutzerhandbuch.
Der zweite Faktor, der sich auf die Menge des verfügbaren HDFS Speicherplatzes auswirkt, ist der Replikationsfaktor. Dieser beschreibt die Anzahl von Kopien jedes Datenblocks, die in HDFS zu Redundanzzwecken gespeichert werden können. Der Replikationsfaktor steigt mit der Anzahl der Knoten im Cluster: Es gibt 3 Kopien jedes Datenblocks für einen Cluster mit 10 oder mehr Knoten, 2 Kopien jedes Blocks für einen Cluster mit 4 bis 9 Knoten und 1 Kopie (keine Redundanz) für Cluster mit 3 oder weniger Knoten. Der gesamte verfügbare HDFS-Speicherplatz wird durch den Replikationsfaktor dividiert. In einigen Fällen, z. B. bei Erhöhung der Anzahl von Knoten von 9 auf 10, kann der Anstieg des Replikationsfaktors dazu führen, dass der verfügbare HDFS-Speicherplatz verringert wird.
Beispielsweise kann ein Cluster mit 10 Core-Knoten vom Typ m1.large 2.833 GB Speicherplatz für HDFS zur Verfügung stellen ((10 Knoten X 850 GB pro Knoten)/Replikationsfaktor 3).
Wenn Ihr Cluster den HDFS zur Verfügung stehenden Speicherplatz überschreitet, können Sie Ihrem Cluster weitere Core-Knoten hinzufügen oder die Datenkomprimierung verwenden, um mehr HDFS-Speicherplatz zu erstellen. Wenn Ihr Cluster beendet und neu gestartet werden kann, können Sie ggf. Core-Knoten eines größeren Amazon EC2 Instance-Typs verwenden. Sie können auch den Replikationsfaktor anpassen. Beachten Sie, dass durch Verringern des Replikationsfaktors die Redundanz der HDFS-Daten sowie die Cluster-Funktion zur Wiederherstellung von verlorenen oder beschädigten HDFS-Blöcken beeinträchtigt wird.
