Utiliser le protocole de validation EMRFS S3-optimized

Le protocole de S3-optimized validation EMRFS est une FileCommitProtocolimplémentation alternative optimisée pour écrire des fichiers avec Spark Dynamic Partition Overwrite sur Amazon S3 lors de l'utilisation d'EMRFS. Le protocole améliore les performances des applications en évitant les opérations de renommage dans Amazon S3 pendant la phase de validation de la tâche de remplacement de partition dynamique Spark.

Notez que le S3-optimized validateur EMRFS améliore également les performances en évitant les opérations de renommage. Cependant, cela ne fonctionne pas pour les cas de remplacement de partition dynamique, tandis que les améliorations du protocole de validation ne ciblent que les cas de remplacement de partition dynamique.

Le protocole de validation est disponible avec les versions 5.30.0 et suivantes d'Amazon EMR et 6.2.0 et suivantes, et il est activé par défaut. Amazon EMR a ajouté une amélioration du parallélisme à partir de la version 5.31.0. Le protocole est utilisé pour les tâches Spark qui utilisent Spark ou Datasets. DataFrames Dans certaines circonstances, le protocole de validation n'est pas utilisé. Pour de plus amples informations, veuillez consulter Exigences relatives au protocole de validation EMRFS S3-optimized.