Usa el compilador EMRFS S3-optimized

El S3-optimized confirmador de EMRFS es una OutputCommitterimplementación alternativa que está optimizada para escribir archivos en Amazon S3 cuando se usa EMRFS. El S3-optimized confirmador de EMRFS mejora el rendimiento de las aplicaciones al evitar las operaciones de enumeración y cambio de nombre realizadas en Amazon S3 durante las fases de confirmación de tareas y tareas. El confirmador está disponible con la versión 5.19.0 y posteriores de Amazon EMR y está habilitado de forma predeterminada con la versión 5.20.0 y posteriores de Amazon EMR. El confirmador se utiliza para los trabajos de Spark que utilizan Spark o Datasets. DataFrames A partir de Amazon EMR 6.4.0, este confirmador se puede utilizar para todos los formatos habituales, incluidos los formatos Parquet, ORC y basados en texto (incluidos CSV y JSON). En el caso de las versiones anteriores a Amazon EMR 6.4.0, solo se admite el formato Parquet. Existen circunstancias bajo las cuales no se utiliza el confirmador. Para obtener más información, consulte Requisitos para el comité de EMRFS S3-optimized.