Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Activer le S3-optimized committer EMRFS pour Amazon EMR 5.19.0

Si vous utilisez Amazon EMR 5.19.0, vous pouvez définir la propriété spark.sql.parquet.fs.optimized.committer.optimization-enabled sur true lorsque vous créez un cluster, ou depuis Spark si vous utilisez Amazon EMR.

Activation du commit EMRFS lors de la création S3-optimized d'un cluster

Utilisez la classification de configuration spark-defaults pour définir la propriété spark.sql.parquet.fs.optimized.committer.optimization-enabled sur true. Pour de plus amples informations, veuillez consulter Configuration des applications.

Activation du commit EMRFS depuis S3-optimized Spark

Vous pouvez définir spark.sql.parquet.fs.optimized.committer.optimization-enabled sur true en l'ancrant dans un SparkConf, en le passant comme paramètre --conf dans le shell Spark ou les outils spark-submit et spark-sql, ou dans conf/spark-defaults.conf. Pour plus d'informations, consultez Configuration Spark dans la documentation Apache Spark.

L'exemple suivant montre comment activer le valideur en exécutant une commande spark-sql.

spark-sql \
  --conf spark.sql.parquet.fs.optimized.committer.optimization-enabled=true \
  -e "INSERT OVERWRITE TABLE target_table SELECT * FROM source_table;"