Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Amazon EMR-Clusterfehler: HDFS-Replikationsfaktorfehler
Wenn Sie einen Core-Knoten aus einer Core-Instance-Gruppe oder Instance-Flotte entfernen, tritt bei Amazon EMR möglicherweise ein HDFS-Replikationsfehler auf. Dieser Fehler tritt auf, wenn Sie Kernknoten entfernen und die Anzahl der Kernknoten unter den konfigurierten dfs.replication-Faktor für das Hadoop Distributed File System (HDFS) fällt. Daher kann Amazon EMR den Vorgang nicht sicher ausführen. Um den Standardwert der Konfiguration zu ermitteln, dfs.replication HDFS-Konfiguration.
Mögliche Ursachen
Im Folgenden finden Sie die möglichen Ursachen für einen HDFS-Replikationsfaktorfehler:
-
Wenn Sie die Größe einer Core-Instanzgruppe oder Instanzflotte manuell unter den konfigurierten
dfs.replicationFaktor ändern. -
Ihre Richtlinien für verwaltete Skalierung oder Autoscaling ermöglichen möglicherweise eine Skalierung, um die Anzahl der Kernknoten unter den Schwellenwert von zu reduzieren.
dfs.replication -
Dieser Fehler kann auch auftreten, wenn Amazon EMR versucht, einen fehlerhaften Kernknoten zu ersetzen, obwohl ein Cluster die minimale Anzahl von Kernknoten hat, die von definiert ist.
dfs.replication
Lösungen und bewährte Methoden
Im Folgenden finden Sie Lösungen und bewährte Verfahren:
-
Wenn Sie die Größe eines Amazon EMR-Clusters manuell ändern, sollten Sie nicht unter den Wert herunterskalieren,
dfs.replicationda Amazon EMR die Größenänderung nicht sicher abschließen kann. -
Wenn Sie Managed Scaling oder Autoscaling verwenden, stellen Sie sicher, dass die Mindestkapazität Ihres Clusters nicht unter dem Faktor liegt.
dfs.replication -
Die Anzahl der Core-Instances sollte mindestens
dfs.replicationplus eins sein. Dadurch wird sichergestellt, dass Amazon EMR einen fehlerhaften Core-Knoten erfolgreich ersetzen kann, wenn Sie den Austausch fehlerhafter Kerne aktiviert haben.
Wichtig
Der Ausfall eines einzelnen Core-Knotens kann zu HDFS-Datenverlust führen, wenn Sie auf 1 setzen. dfs.replication Wenn Ihr Cluster über HDFS-Speicher verfügt, empfehlen wir, den Cluster mit mindestens vier Kernknoten für Produktionsworkloads zu konfigurieren, um Datenverlust zu vermeiden, und außerdem den dfs.replication Faktor auf mindestens 2 festzulegen.
