View a markdown version of this page

Administración de registros de trabajos en streaming - Amazon EMR

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Administración de registros de trabajos en streaming

Los trabajos de streaming admiten la rotación de registros para los registros de aplicaciones y eventos de Spark, así como la compactación de registros para los registros de eventos de Spark. Esto le ayuda a administrar sus recursos con eficacia.

Rotación de registros

Los trabajos de streaming admiten la rotación de registros para los registros de aplicaciones y registros de eventos de Spark. La rotación de registros evita que los trabajos de streaming prolongados generen archivos de registro de gran tamaño que podrían ocupar todo el espacio disponible en el disco. La rotación de registros le ayuda a ahorrar espacio en disco y evita errores en los trabajos debido a la falta de espacio en disco. Para obtener más información, consulte Rotación de registros.

Compactación de registros

Los trabajos de streaming también admiten la compactación de registros para los registros de eventos de Spark siempre que haya registros administrados disponibles. Para obtener más información sobre los registros administrados, consulte Logging with managed storage. Los trabajos de streaming pueden durar bastante, y la cantidad de datos de eventos puede acumularse con el tiempo y aumentar considerablemente el tamaño de los archivos de registro. El servidor de historial de Spark lee y carga estos eventos en la memoria para la IU de la aplicación Spark. Este proceso puede provocar elevados costes y latencias, especialmente si los registros de eventos almacenados en Amazon S3 son muy grandes.

La compactación de registros reduce el tamaño del registro de eventos, por lo que el servidor de historial de Spark no necesita cargar más de 1 GB de registros de eventos en ningún momento. Para obtener más información, consulte Monitoring and Instrumentation en la documentación de Apache Spark.