Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Write-Ahead-Protokolle (WAL) für Amazon EMR
Mit Amazon EMR 6.15 und höher können Sie Ihre Apache HBase Write-Ahead-Logs (WAL) in die Amazon EMR WAL schreiben. Bei niedrigeren Amazon EMR-Versionen ist WAL die einzige HBase Apache-Komponente, die HBase auf der lokalen Festplatte für Cluster gespeichert wird, wenn Sie einen Cluster mit der Option on Amazon S3 erstellen, und Sie können andere Komponenten wie das Stammverzeichnis, store files (HFiles), Tabellenmetadaten und Daten auf Amazon S3 speichern.
Sie können Amazon EMR WAL verwenden, um Daten wiederherzustellen, die nicht in Amazon S3 gespeichert wurden. Um Ihre HBase Cluster vollständig zu sichern, entscheiden Sie sich für die Nutzung des Amazon EMR WAL-Service. RegionServerSchreibt hinter den Kulissen Ihre HBase Write-Ahead-Logs (WAL) in die WAL für Amazon EMR.
Für den Fall, dass Ihr Cluster oder die AZ fehlerhaft oder nicht verfügbar sind, können Sie einen neuen Cluster erstellen, ihn auf dasselbe S3-Stammverzeichnis und denselben Amazon EMR WAL-Arbeitsbereich verweisen und die Daten in WAL innerhalb weniger Minuten automatisch wiederherstellen. Weitere Informationen finden Sie unter Wiederherstellung von Amazon EMR WAL.
Ab den Amazon EMR-Versionen 7.3.0 und höher erstellt Amazon EMR mehrere EMR WALs für jeden Server und gruppiert mehrere HBase Regionen zu einer Amazon EMR-WAL. Dadurch wird Apache HBase WAL verbessert, um die Protokollnutzung zu verbessern und die Kosten zu optimieren. Verwenden Sie den Parameterhbase.wal.regiongrouping.numgroups, um die Anzahl der Amazon EMR WAL-Instances pro HBase RegionServer zu konfigurieren. Standardmäßig ist dieser Parameter auf 2 festgelegt. Es gibt zwei Systemtabellen, die in keiner WAL-Gruppe enthalten sind: Meta und Masterstore. Diese Tabellen verwenden immer ihr eigenes Individuum WALs.
Wenn Sie eine ältere Version als Amazon EMR 7.3.0 ausführen, empfehlen wir, die Tabellen im alten HBase Cluster manuell zu deaktivieren, um sicherzustellen, dass alle Daten in der Amazon EMR WAL in Amazon S3 gespeichert werden. Löschen Sie dann die alte Amazon EMR WAL, beenden Sie den alten Cluster und richten Sie einen neuen Cluster ein, auf dem die neueste Version ausgeführt wird. Wenn Sie auf Probleme stoßen und die Tabellen auf dem alten Cluster nicht deaktivieren können, können Sie den alten Cluster direkt beenden und auf dem neuen Cluster auftrue. setzenemr.wal.multiplex.migrate. Wenn auf true gesetzt, HBase wird versucht, die Daten von alten Amazon EMR WAL-Instances während der HBase Regionsinitialisierung wiederzugeben und die alten WALs nach der Wiedergabe zu löschen. Dieser Wiedergabevorgang verursacht zusätzliche Kosten für Lesevorgänge. Nach der Migration empfehlen wir, den Cluster zu konfigurieren und auf einzustellenemr.wal.multiplex.migrate. false Alternativ können Sie den Parameter entfernen, um die Initialisierung der HBase Region zu beschleunigen.
Anmerkung
Amazon EMR WAL löscht die Daten nach dem HBase Leeren. Wenn die Daten HBase nicht geleert werden, speichert Amazon EMR WAL die Daten für maximal 30 Tage. Nach 30 Tagen löscht Amazon EMR WAL die Daten automatisch. Amazon EMR speichert WAL-Instances für bis zu 30 Tage ab dem Zeitpunkt, an dem Sie einen EMR-Cluster beenden. Wenn Sie jedoch innerhalb dieser 30 Tage einen neuen WAL-fähigen Cluster aus demselben S3-Stammverzeichnis starten, löscht Amazon EMR keine der WAL-Instances aus Ihrem vorherigen Cluster. Weitere Informationen finden Sie unter Wiederherstellung von Amazon EMR WAL.
In den folgenden Abschnitten wird beschrieben, wie Sie Amazon EMR WAL mit Ihrem HBase -fähigen EMR-Cluster einrichten und verwenden.
