Use o committer do EMRFS S3-optimized

O S3-optimized committer do EMRFS é uma OutputCommitterimplementação alternativa otimizada para gravar arquivos no Amazon S3 ao usar o EMRFS. O S3-optimized committer do EMRFS melhora o desempenho do aplicativo evitando operações de lista e renomeação feitas no Amazon S3 durante as fases de confirmação de tarefas e trabalhos. O confirmador está disponível com as versões 5.19.0 e posteriores do Amazon EMR e é habilitado por padrão nas versões 5.20.0 e posteriores do Amazon EMR. O committer é usado para trabalhos do Spark que usam Spark ou conjuntos de dados DataFrames. Desde o Amazon EMR 6.4.0, esse confirmador pode ser usado para todos os formatos comuns, incluindo parquet, ORC e formatos baseados em texto (incluindo CSV e JSON). Para versões anteriores ao Amazon EMR 6.4.0, somente o formato Parquet é compatível. Há circunstâncias em que o committer não é usado. Para obter mais informações, consulte Requisitos para o comité do EMRFS S3-optimized.