Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Rotierende Protokolle
Amazon EMR Serverless kann Spark-Anwendungsprotokolle und Ereignisprotokolle rotieren. Die Protokollrotation hilft bei dem Problem, dass Jobs mit langer Laufzeit große Protokolldateien generieren, die Ihren gesamten Speicherplatz beanspruchen können. Das Rotieren von Protokollen hilft Ihnen, Festplattenspeicher zu sparen, und reduziert die Anzahl der Auftragsfehler, da Sie keinen Speicherplatz mehr auf Ihrer Festplatte haben.
Die Protokollrotation ist standardmäßig aktiviert und nur für Spark-Jobs verfügbar.
Spark-Ereignisprotokolle
Anmerkung
Die Rotation der Spark-Ereignisprotokolle ist für alle Amazon EMR-Release-Labels verfügbar.
Anstatt eine einzelne Ereignisprotokolldatei zu generieren, rotiert EMR Serverless das Ereignisprotokoll in regelmäßigen Zeitintervallen und entfernt die älteren Ereignisprotokolldateien. Das Rotieren von Protokollen wirkt sich nicht auf die in den S3-Bucket hochgeladenen Protokolle aus.
Protokolle der Spark-Anwendung
Anmerkung
Die Rotation der Spark-Anwendungsprotokolle ist für alle Amazon EMR-Release-Labels verfügbar.
EMR Serverless rotiert auch die Spark-Anwendungsprotokolle für Treiber und Executoren, wie z. B. und -Dateien. stdout stderr Sie können auf die neuesten Protokolldateien zugreifen, indem Sie die Log-Links in Studio mithilfe der Links zu Spark History Server und Live UI auswählen. Protokolldateien sind die gekürzten Versionen der neuesten Protokolle. Um auf die älteren rotierten Protokolle zu verweisen, geben Sie beim Speichern der Protokolle einen Amazon S3-Speicherort an. Weitere Informationen finden Sie unter Logging for EMR Serverless with Amazon S3-Buckets.
Die neuesten Protokolldateien finden Sie an der folgenden Stelle. EMR Serverless aktualisiert die Dateien alle 15 Sekunden. Diese Dateien können zwischen 0 MB und 128 MB liegen.
<example-S3-logUri>/applications/<application-id>/jobs/<job-id>/SPARK_DRIVER/stderr.gz
Der folgende Speicherort enthält die älteren rotierten Dateien. Jede Datei ist 128 MB groß.
<example-S3-logUri>/applications/<application-id>/jobs/<job-id>/SPARK_DRIVER/archived/stderr_<index>.gz
Das gleiche Verhalten gilt auch für Spark-Executoren. Diese Änderung gilt nur für die S3-Protokollierung. Durch die Protokollrotation werden keine Änderungen an den auf Amazon hochgeladenen Log-Streams vorgenommen CloudWatch.
EMR Serverless Versionen 7.1.0 und höher unterstützen Wiederholungsversuche für Streaming- und Batch-Jobs. Wenn Sie Wiederholungsversuche für Ihren Job aktiviert haben, fügt EMR Serverless dem Protokollpfad für solche Jobs ein Präfix hinzu, damit Sie die Protokolle besser verfolgen und voneinander unterscheiden können. Dieser Pfad enthält alle rotierten Protokolle.
'/applications/<applicationId>/jobs/<jobId>/attempts/<attemptNumber>/'.
