Mejora del rendimiento de Spark con Amazon S3

Amazon EMR ofrece características para ayudar a optimizar el rendimiento cuando se utiliza Spark para consultar, leer y escribir datos guardados en Amazon S3.

S3 Select puede mejorar el rendimiento de las consultas para archivos JSON y CSV en algunas aplicaciones al “delegar” el procesamiento en Amazon S3.

El S3-optimized confirmador de EMRFS es una alternativa a la OutputCommitterclase, que utiliza la función de cargas multiparte de EMRFS para mejorar el rendimiento al escribir archivos de Parquet en Amazon S3 mediante Spark y Datasets. DataFrames