Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Bûches rotatives
Amazon EMR Serverless peut alterner les journaux d'applications et les journaux d'événements Spark. La rotation des journaux permet de résoudre le problème des tâches de longue durée qui génèrent des fichiers journaux volumineux qui peuvent occuper tout l'espace disque. La rotation des journaux vous permet d'économiser de l'espace de stockage sur disque et de réduire le nombre d'échecs de tâches, car il ne vous reste plus d'espace sur votre disque.
La rotation des journaux est activée par défaut et n'est disponible que pour les tâches Spark.
Journaux d'événements Spark
Note
La rotation du journal d'événements Spark est disponible sur toutes les étiquettes de version d'Amazon EMR.
Au lieu de générer un seul fichier journal des événements, EMR Serverless fait pivoter le journal des événements à intervalles réguliers et supprime les anciens fichiers journaux d'événements. La rotation des journaux n'affecte pas les journaux chargés dans le compartiment S3.
Journaux des applications Spark
Note
La rotation des journaux des applications Spark est disponible sur toutes les étiquettes de version d'Amazon EMR.
EMR Serverless fait également pivoter les journaux de l'application Spark pour les pilotes et les exécuteurs, tels que les fichiers et. stdout stderr Vous pouvez accéder aux derniers fichiers journaux en choisissant les liens des journaux dans Studio à l'aide du serveur d'historique Spark et des liens de l'interface utilisateur Live. Les fichiers journaux sont les versions tronquées des derniers journaux. Pour consulter les anciens journaux soumis à une rotation, vous devez spécifier un emplacement Amazon S3 lorsque vous stockez les journaux. Consultez Logging for EMR Serverless avec des buckets Amazon S3 pour plus d'informations.
Vous trouverez les derniers fichiers journaux à l'emplacement suivant. EMR Serverless actualise les fichiers toutes les 15 secondes. Ces fichiers peuvent aller de 0 Mo à 128 Mo.
<example-S3-logUri>/applications/<application-id>/jobs/<job-id>/SPARK_DRIVER/stderr.gz
L'emplacement suivant contient les anciens fichiers ayant fait l'objet d'une rotation. La taille de chaque fichier est de 128 Mo.
<example-S3-logUri>/applications/<application-id>/jobs/<job-id>/SPARK_DRIVER/archived/stderr_<index>.gz
Le même comportement s'applique également aux exécuteurs Spark. Cette modification s'applique uniquement à la journalisation S3. La rotation des journaux n'apporte aucune modification aux flux de journaux chargés sur Amazon CloudWatch.
Les versions 7.1.0 et supérieures d'EMR Serverless prennent en charge les nouvelles tentatives pour le streaming et les tâches par lots. Si vous avez activé les nouvelles tentatives pour votre tâche, EMR Serverless ajoute un préfixe au chemin du journal pour ces tâches afin que vous puissiez mieux suivre et distinguer les journaux les uns des autres. Ce chemin contient tous les journaux ayant fait l'objet d'une rotation.
'/applications/<applicationId>/jobs/<jobId>/attempts/<attemptNumber>/'.
