Utiliser le validateur EMRFS S3-optimized

Le S3-optimized committer EMRFS est une OutputCommitterimplémentation alternative optimisée pour écrire des fichiers sur Amazon S3 lors de l'utilisation d'EMRFS. Le S3-optimized committer EMRFS améliore les performances des applications en évitant les opérations de liste et de renommage effectuées dans Amazon S3 pendant les phases de validation des tâches et des tâches. Le valideur est disponible dans les versions 5.19.0 et ultérieures d'Amazon EMR et est activé par défaut dans les versions 5.20.0 et ultérieures d'Amazon EMR. Le committer est utilisé pour les tâches Spark qui utilisent Spark ou Datasets. DataFrames À partir d'Amazon EMR 6.4.0, ce validateur peut être utilisé pour tous les formats courants, notamment parquet, ORC et les formats basés sur le texte (notamment CSV et JSON). Pour les versions antérieures à Amazon EMR 6.4.0, seul le format Parquet est pris en charge. Dans certaines situations, le valideur n'est pas utilisé. Pour de plus amples informations, veuillez consulter Exigences relatives au transmetteur EMRFS S3-optimized.