Verstehen, wie mit der konsistenten Ansicht von EMRFS Objekte in Amazon S3 nachverfolgt werden - Amazon EMR

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Verstehen, wie mit der konsistenten Ansicht von EMRFS Objekte in Amazon S3 nachverfolgt werden

EMRFS erstellt eine konsistente Ansicht der Objekte in Amazon S3, indem es Informationen über diese Objekte zu den EMRFS-Metadaten hinzufügt. EMRFS fügt diese Listen seinen Metadaten hinzu, wenn Folgendes zutrifft:

  • Ein Objekt wird von EMRFS im Laufe eines Amazon-EMR-Auftrags geschrieben.

  • Ein Objekt wird unter Verwendung der EMRFS-CLI mit EMRFS-Metadaten synchronisiert bzw. in die EMRFS-Metadaten importiert.

Objekte, die von EMRFS gelesen werden, werden nicht automatisch zu den Metadaten hinzugefügt. Wenn EMRFS ein Objekt löscht, verbleibt eine Liste in den Metadaten mit dem Status „Gelöscht“, bis diese Auflistung über die EMRFS-CLI bereinigt wird. Weitere Informationen zur CLI finden Sie unter Die EMRFS-CLI-Befehlsreferenz. Weitere Informationen zum Bereinigen von Listen in den EMRFS-Metadaten finden Sie unter Konsistente Ansicht der Metadaten in EMRFS.

Für jede Amazon-S3-Operation überprüft EMRFS die Metadaten auf Informationen über die Objekte in der konsistenten Ansicht. Wenn EMRFS feststellt, dass Amazon S3 während einer dieser Operationen inkonsistent ist, wird die Operation entsprechend den in den emrfs-site-Konfigurationseigenschaften definierten Parametern wiederholt. Nachdem EMRFS alle Wiederholversuche ausgeschöpft hat, wirft es entweder eine ConsistencyException auf, oder es protokolliert die Ausnahme und setzt den Workflow fort. Weitere Informationen zur Wiederholungslogik finden Sie unter Logik für Wiederholversuche. Sie finden die ConsistencyExceptions in Ihren Protokollen, zum Beispiel:

  • listStatus: Kein Amazon S3 Objekt für Metadatenelement /S3_bucket/dir/object

  • getFileStatus: Schlüssel dir/file ist in Metadaten vorhanden, aber nicht Amazon S3

Wenn Sie ein mit der konsistenten Ansicht von EMRFS nachverfolgtes Objekt direkt in Amazon S3 löschen, behandelt EMRFS dieses Objekt als inkonsistent, da es weiterhin in den Metadaten als in Amazon S3 vorhanden angezeigt wird. Wenn Ihre Metadaten nicht mehr mit den Objekten synchronisiert sind, die EMRFS in Amazon S3 nachverfolgt, können Sie den Unterbefehl sync der EMRFS-CLI ausführen, um die Metadaten zurückzusetzen, sodass sie den aktuellen Stand in Amazon S3 reflektieren. Um Abweichungen zwischen Metadaten und Amazon S3 zu entdecken, verwenden Sie den Befehl diff. EMRFS verfügt nur über eine konsistente Ansicht der Objekte, auf die in den Metadaten verwiesen wird; im gleichen Amazon-S3-Pfad können andere Objekte vorhanden sein, die nicht verfolgt werden. Wenn EMRFS die Objekte in einem Amazon-S3-Pfad auflistet, wird die Gesamtmenge der Objekte zurückgegeben, die in den Metadaten nachverfolgt werden und im Amazon-S3-Pfad vorhanden sind.