Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Registri rotanti
Amazon EMR Serverless è in grado di ruotare i log delle applicazioni Spark e i registri degli eventi. La rotazione dei log aiuta a risolvere il problema dei processi di lunga durata che generano file di registro di grandi dimensioni che possono occupare tutto lo spazio su disco. La rotazione dei log consente di risparmiare spazio su disco e riduce il numero di errori di lavoro perché non rimane più spazio sul disco.
La rotazione dei log è abilitata per impostazione predefinita ed è disponibile solo per i job Spark.
Registri degli eventi di Spark
Nota
La rotazione del registro degli eventi di Spark è disponibile in tutte le etichette di rilascio di Amazon EMR.
Invece di generare un singolo file di registro degli eventi, EMR Serverless ruota il registro degli eventi a intervalli di tempo regolari e rimuove i vecchi file di registro degli eventi. La rotazione dei log non influisce sui log caricati nel bucket S3.
Registri delle applicazioni Spark
Nota
La rotazione dei log delle applicazioni Spark è disponibile in tutte le etichette di rilascio di Amazon EMR.
EMR Serverless ruota anche i log delle applicazioni Spark per driver ed esecutori, ad esempio file e file. stdout stderr È possibile accedere ai file di registro più recenti scegliendo i collegamenti di registro in Studio utilizzando i collegamenti Spark History Server e Live UI. I file di registro sono le versioni troncate dei log più recenti. Per fare riferimento ai log ruotati precedenti, specifica una posizione Amazon S3 durante l'archiviazione dei log. Per ulteriori informazioni, consulta Logging for EMR Serverless with Amazon S3 bucket.
Puoi trovare i file di registro più recenti nella seguente posizione. EMR Serverless aggiorna i file ogni 15 secondi. Questi file possono variare da 0 MB a 128 MB.
<example-S3-logUri>/applications/<application-id>/jobs/<job-id>/SPARK_DRIVER/stderr.gz
La seguente posizione contiene i file ruotati più vecchi. Ogni file è di 128 MB.
<example-S3-logUri>/applications/<application-id>/jobs/<job-id>/SPARK_DRIVER/archived/stderr_<index>.gz
Lo stesso comportamento si applica anche agli esecutori di Spark. Questa modifica è applicabile solo alla registrazione S3. La rotazione dei log non introduce alcuna modifica ai flussi di log caricati su Amazon. CloudWatch
Le versioni 7.1.0 e successive di EMR Serverless supportano i tentativi di ripetizione per lo streaming e i lavori in batch. Se avete abilitato i tentativi di nuovo tentativo con il lavoro, EMR Serverless aggiunge un prefisso al percorso di registro per tali processi in modo da poter tracciare e distinguere meglio i log l'uno dall'altro. Questo percorso contiene tutti i log ruotati.
'/applications/<applicationId>/jobs/<jobId>/attempts/<attemptNumber>/'.
