Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Habilite el confirmador de EMRFS S3-optimized para Amazon EMR 5.19.0

Si utiliza Amazon EMR 5.19.0, puede establecer manualmente la propiedad spark.sql.parquet.fs.optimized.committer.optimization-enabled en true al crear un clúster o desde Spark si está utilizando Amazon EMR.

Habilitar el confirmador de EMRFS S3-optimized al crear un clúster

Utilice la clasificación de configuración spark-defaults para establecer la propiedad spark.sql.parquet.fs.optimized.committer.optimization-enabled en true. Para obtener más información, consulte Configuración de aplicaciones.

Habilitar el confirmador de EMRFS desde Spark S3-optimized

Puede establecer la propiedad spark.sql.parquet.fs.optimized.committer.optimization-enabled en true codificándola de forma rígida en un SparkConf, pasándola como un parámetro --conf en el shell de Spark o las herramientas spark-submit y spark-sql, o en conf/spark-defaults.conf. Para obtener más información, consulte Spark configuration en la documentación de Apache Spark.

En el siguiente ejemplo, se muestra cómo activar el confirmador mientras se ejecuta un comando spark-sql.

spark-sql \
  --conf spark.sql.parquet.fs.optimized.committer.optimization-enabled=true \
  -e "INSERT OVERWRITE TABLE target_table SELECT * FROM source_table;"